Cosine Similarity Semantische Infrastruktur

Cosine Similarity ist eine mathematische Metrik, die die Ähnlichkeit zweier Vektoren über den Kosinus ihres Einschlusswinkels berechnet. In Embedding-basierten Systemen dient sie als Standard-Ähnlichkeitsmass und bestimmt, welche Inhalte als semantisch verwandt eingestuft werden.

Cosine Similarity in der semantischen Suche

Cosine Similarity ist die meistverwendete Metrik zur Berechnung semantischer Ähnlichkeit in Embedding-basierten Systemen. Sie berechnet den Kosinus des Winkels zwischen zwei Vektoren im hochdimensionalen Raum, wobei ein Wert von 1 perfekte Übereinstimmung, 0 keine Beziehung und -1 perfekte Gegensätzlichkeit bedeutet. Der Vorteil gegenüber der euklidischen Distanz liegt darin, dass Cosine Similarity die Richtung der Vektoren vergleicht, nicht deren Magnitude, was für normalisierte Embeddings besonders geeignet ist.

In der Praxis wird Cosine Similarity in Vektordatenbanken wie Qdrant, Pinecone oder Weaviate als Standard-Distanzmetrik für die semantische Suche verwendet. Anwendungen umfassen die Suche nach semantisch ähnlichen Inhalten, die Cluster-Analyse thematisch verwandter Dokumente, die Erkennung von Near-Duplicates, die Evaluation der semantischen Kohärenz und die Identifikation semantischer Lücken im Content-Bestand.

Die Interpretation von Cosine-Similarity-Werten erfordert Erfahrung und Kontextwissen. Ein Schwellenwert von 0,8 kann in einem Modell hohe Ähnlichkeit bedeuten und in einem anderen nur moderate Ähnlichkeit. Die Qualität der Ergebnisse hängt direkt von der Qualität der zugrunde liegenden Embeddings ab. Unterschiedliche Embedding-Modelle erzeugen unterschiedliche Vektorräume, in denen dieselben Texte verschiedene Ähnlichkeitswerte erhalten.

Für die RAG-Retrievability ist Cosine Similarity der Gatekeeper, der bestimmt, welche Passagen als relevant genug erachtet werden, um dem Generator bereitgestellt zu werden. Entity-orientierte Suchstrategien nutzen Cosine Similarity, um die Übereinstimmung zwischen einer Suchanfrage und den Embedding-Repräsentationen von Entitätsbeschreibungen zu messen, wie es etwa im Kontext von Knowledge-Graph-Alignment beschrieben wird.