Se dice que la información es válida y está bien informada sólo si todos los sujetos y objetos con respecto a un determinado dominio están dispuestos de forma cuantitativa. Para diseñar un sistema de recuperación de información semántica, todos estos sujetos y objetos con respecto a su predicado tienen que ser definidos en la base de datos dada. Esto puede hacerse mediante la ingeniería ontológica. El objetivo principal de este trabajo es construir un marco de búsqueda semántica multimodal intelectual, que tiene la combinación de semántica textual y visual. Para apoyar el concepto de multimodalidad, en esta investigación se utiliza el concepto de ontología. El conocimiento del dominio del baloncesto con respecto a la imagen y la modalidad textual se integra en una ontología. Esta ontología será la columna vertebral de un marco de búsqueda semántica. Sin embargo, para perfeccionar la búsqueda, en lugar de proporcionar un atributo de datos nítidos con respecto a la característica de la imagen, se proporcionan conjuntos de datos difusos. Es necesario seguir un procedimiento novedoso para identificar el vector de características textuales y de imagen para rellenar los atributos de datos de la ontología difusa.