Le vieux village d’ouled El-Hadef commença à s’esquisser à la fin du 15^e siècle, formant ainsi le premier grand noyau urbain extra-oasien. Cependant, il demeura jusqu’au début du 17^e siècle l’un des faubourgs de Tozeur dont Bled el Hadhar constituait le centre, et fut décrit par les sources de l’époque comme abritant «les citoyens honorables et nobles de la cité» en raison des grandes richesses que détenaient ses habitants.

En 1608, les armées ottomanes menèrent une violente campagne militaire contre le centre médiéval de Bled el Hadhar et il en résulta une grave détérioration dudit quartier. Cet évènement historique profita considérablement au clan des Aouled el Hadef qui parvint, grâce à l’importance de ses richesses, à nouer de puissantes alliances avec le nouveau pouvoir ottoman, à tel point que le cheikh de la ville qui y incarna l’autorité réelle continua jusqu’au milieu du 19^e siècle à être choisi parmi les notables du quartier. Aussi, sa position se renforçat-elle et devint-il un centre d’attraction urbaine autour duquel se formèrent de nouveaux quartiers et à proximité duquel les Ottomans édifièrent le siège officiel de leur autorité, le «Dar el Bey». Ainsi, se constitua le nouvel espace de la ville de Tozeur dont le quartier d’Aouledel Hadeffut «le fondement et l’exemple à suivre».

La position économique et sociale prééminente de ce clan se répercuta sur l’architecture du quartier qui compte plus de quinze monuments entre mosquées, zaouïas et medersas et où l’usage intensif de la brique dans la construction et l’ornementation constitue le principal attrait qui soulève l’admiration de ses visiteurs depuis le début de l’époque moderne.