V rozhovore v roku 2023 prezradil, ako strávil obdobie v rehabilitačnej liečebni, aby sa zbavil závislosti od tabletiek na spanie, a snažil sa čeliť svojej problematickej minulosti. Keď mal šesť rokov, zneužíval ho priateľ jeho biologickej matky.
„Moja mama bola alkoholička. Poslali ma do Afriky, aby som sa naučil disciplíne, a potom ma poslali späť. V siedmich rokoch som začal fajčiť, v ôsmich som začal predávať drogy. Jeden človek mi povedal, že dieťa na bicykli nezastavia, tak som sa vozil s futbalovou loptou a pod ňou som mal drogy. V jedenástich ma na moste zavesil chlapík zo susedného sídliska,“ opísal svoje detstvo Alli.
Jeho biologickí rodičia sa rozišli, keď mal tri roky. Trávil čas s bohatým otcom v Nigérii v 10-izbovom sídle, navštevoval súkromnú školu a starali sa oňho tri slúžky. Keď sa jeho otec opäť oženil a presťahoval sa do Texasu, tak sa vrátil za matkou do Veľkej Británie.
Alliho život sa zmenil, keď si ho adoptovali Alan a Sally Hickfordovci. Stále majú vraj veľmi blízky vzťah, ale so svojou biologickou rodinou nemá žiadny kontakt. Počas kariéry sa rozhodol vynechať svoje priezvisko na drese a mal tam iba krstné meno.