Les vingt-cinq dernieres annees ont connu une veritable revolution dans notre connaissance des systemes planetaires avec plus de 1800 planetes extrasolaires connues a ce jour. L'etude observationnelle des disques de debris constitue l'approche proposee dans ce travail de these pour eclairer les processus de formation et d'evolution des systemes planetaires. Un disque de debris est constitue de particules de poussiere generees par des collisions de petits corps rocheux, analogues des asteroides et cometes de notre systeme solaire, en orbite autour d'une etoile de la sequence principale. La lumiere stellaire qu'elles diffusent represente une observable particulierement riche en informations sur l'architecture du systeme, mais difficile d'acces en raison du contraste eleve et de la faible separation angulaire avec l'etoile. Le developpement recent de nouveaux instruments a haut contraste equipes d'optique adaptative extreme represente un formidable potentiel pour l'etude de ces systemes. Dans le contexte de ces nouveaux developpements, cet ouvrage porte sur la caracterisation des disques de debris grace a deux instruments, NaCo et SPHERE, installes au VLT au Chili"