Le développement rapide de l'internet et des techniques de publication sur le web crée de nombreuses sources d'information publiées sous forme de pages HTML sur le World Wide Web. Cependant, les pages Web contiennent également beaucoup d'informations redondantes et non pertinentes. Les panneaux de navigation, la table des matières (TOC), les publicités, les déclarations de copyright, les catalogues de services, les politiques de confidentialité, etc. sur les pages Web sont considérés comme des contenus pertinents et non pertinents. Ces informations rendent complexes diverses tâches d'exploration du Web, telles que l'exploration des pages Web, la classification des pages Web, le classement basé sur les liens, la distillation des sujets.