Une information est dite valide et bien informée uniquement si tous les sujets et objets relatifs à un domaine particulier sont tous disposés de manière quantitative. Pour concevoir un système de recherche d'information sémantique, tous ces sujets et objets par rapport à son prédicat doivent être définis dans la base de données donnée. Cela peut être fait par l'ingénierie ontologique. La portée principale de ce travail est de construire un cadre de recherche sémantique multimodale intellectuelle, qui a la combinaison de la sémantique textuelle et de la sémantique visuelle. Pour soutenir le concept de multimodalité, le concept d'ontologie est utilisé dans cette recherche. Les connaissances du domaine du basket-ball en matière d'image et de modalité textuelle sont intégrées dans une ontologie. Cette ontologie sera l'épine dorsale d'un cadre de recherche sémantique. Cependant, pour affiner la recherche, au lieu de fournir des attributs de données claires en ce qui concerne les caractéristiques des images, des ensembles de données floues sont fournis. Une nouvelle procédure doit être suivie pour identifier le vecteur de caractéristiques textuelles et d'images afin de remplir les attributs de données floues de l'ontologie.