Eine Information gilt nur dann als gültig und kenntnisreich, wenn alle Subjekte und Objekte in Bezug auf einen bestimmten Bereich quantitativ geordnet sind. Um ein semantisches Information Retrieval System zu entwerfen, müssen alle diese Subjekte und Objekte in Bezug auf ihr Prädikat in der gegebenen Datenbank definiert werden. Dies kann durch Ontology Engineering geschehen. Das Hauptziel dieser Arbeit ist der Aufbau eines intellektuellen multimodalen semantischen Suchrahmens, der sowohl textuelle als auch visuelle Semantik kombiniert. Um das Konzept der Multimodalität zu unterstützen, wird in dieser Arbeit das Konzept der Ontologie verwendet. Das Domänenwissen des Basketballs in Bezug auf die Bild- und Textsemantik wird in eine Ontologie integriert. Diese Ontologie wird das Rückgrat eines semantischen Suchrahmens sein. Um die Suche zu verfeinern, werden jedoch keine eindeutigen Datenattribute in Bezug auf das Bildmerkmal, sondern unscharfe Datensätze zur Verfügung gestellt. Es muss ein neuartiges Verfahren angewandt werden, um den text- und bildbasierten Merkmalsvektor zu identifizieren, mit dem die Datenattribute der Fuzzy-Ontologie ausgefüllt werden.