Dokument Semantische Infrastruktur

Dokument

In der semantischen Infrastruktur ist ein Dokument die grundlegende Einheit, die von Suchmaschinen gecrawlt, indexiert und bewertet wird. Jedes Dokument hat eine kanonische URL, einen Titel, eine Meta-Beschreibung und einen Inhaltskörper. Die semantische Qualität eines Dokuments bemisst sich daran, wie klar es seine Zielentitäten beschreibt, wie vollständig es das zugehörige semantische Feld abdeckt und wie präzise seine strukturierten Daten sind. In der Informationsarchitektur bilden Dokumente die Blätter des Baums, die über die interne Verlinkung mit Pillar Pages und Content Hubs verbunden sind. Suchmaschinen ordnen jedem Dokument eine primäre Suchintention und einen Entitätsbezug zu. Für die semantische Infrastruktur ist die korrekte Zuordnung von Dokumenten zu Entitäten und Themen entscheidend: Jedes Dokument sollte eine klare thematische Positionierung haben und diese durch Markup kommunizieren. Duplicate Content, die Existenz mehrerer Dokumente mit identischem Inhalt, untergräbt die semantische Klarheit.

Was ein Dokument in semantischen Systemen wirklich ist: Mehr als eine Datei

In klassischen Informationssystemen ist ein Dokument eine Datei. In semantischen Infrastrukturen ist es ein strukturiertes Objekt mit Identität, Metadaten und Beziehungen.

Dieser Unterschied ist fundamental. Eine Datei hat einen Pfad und einen Inhalt. Ein semantisches Dokument hat eine persistente URI, einen Typ, Attribute wie Sprache, Autor, Publikationsdatum und Beziehungen zu anderen Dokumenten, Themen und Entitäten. Es ist ein Knoten in einem Wissensgraphen, nicht nur ein Container für Text.

In Dublin Core, dem Metadatenstandard für Bibliotheken und Webinhalte, ist ein Dokument über 15 Kerneigenschaften definiert: Titel, Urheber, Thema, Beschreibung, Herausgeber, Datum und weitere. Diese Eigenschaften ermöglichen maschinenlesbare Beschreibung unabhängig vom Inhalt.

Noah Goodman und andere Forscher haben gezeigt, dass die Granularität der Dokumentdefinition die Qualität von Retrieval-Systemen erheblich beeinflusst. Ist ein Dokument ein ganzer Artikel oder ein Absatz? Beides hat Vor- und Nachteile. Chunking-Strategien in Retrieval-Augmented-Generation-Systemen kämpfen genau mit dieser Frage.

Wer Dokumente als erstklassige Entitäten mit Identität und Beziehungen behandelt, baut eine Infrastruktur, die über Volltextsuche hinausgeht.

Dokumente auffinden: Retrieval-Architekturen und semantische Ähnlichkeit

Dokumente zu finden ist das älteste Problem der Informationswissenschaft. Semantische Infrastruktur löst es grundlegend anders als klassische Suchmaschinen.

TF-IDF und BM25 sind die Standardverfahren traditioneller Volltextsuche. Sie messen, wie oft Terme im Dokument vorkommen und gewichten nach inverser Dokumenthäufigkeit. Das funktioniert gut für exakte Treffersuche, versagt aber bei semantisch ähnlichen Formulierungen: Fahrzeug und Auto sind lexikalisch verschieden, semantisch identisch.

Dense Retrieval löst das durch Embedding-Modelle. Dokumente und Anfragen werden in denselben Vektorraum eingebettet. Ähnlichkeit wird als Kosinus-Abstand gemessen. Systeme wie FAISS oder Pinecone ermöglichen Nearest-Neighbor-Suche über Millionen von Vektoren in Millisekunden.

Das beste aktuelle Muster kombiniert beide Ansätze: Hybrid Retrieval. BM25 liefert schnell Kandidaten mit hoher Recall-Rate, ein Cross-Encoder rerankt diese Kandidaten nach semantischer Ähnlichkeit. Das Ergebnis ist präziser als jeder Einzelansatz.

Für semantische Infrastruktur bedeutet das: Dokumente müssen beim Eingang indexiert, gechunkt, eingebettet und mit Metadaten versehen werden. Erst dann können sie in einem modernen Retrieval-System korrekt gefunden werden. Der Indexierungsprozess ist genauso wichtig wie der Suchalgorithmus selbst.