BM25 Semantische Infrastruktur
BM25 ist ein probabilistisches Relevanzranking-Modell, das als Weiterentwicklung von TF-IDF die Relevanz von Dokumenten für eine Suchanfrage bewertet. Es ist der Standard-Ranking-Algorithmus in vielen modernen Suchsystemen wie Elasticsearch und Lucene.
Der Standard-Algorithmus für lexikalisches Retrieval
BM25 (Best Match 25) gehört zur Familie der Okapi-BM-Modelle und ist der Standard-Ranking-Algorithmus in vielen modernen Suchsystemen, darunter Elasticsearch, Apache Solr und Lucene. Im Vergleich zu einfachem TF-IDF bietet BM25 zwei wichtige Verbesserungen: eine Sättigungsfunktion, die verhindert, dass die vielfache Wiederholung eines Begriffs den Score unbegrenzt steigert, und eine Normalisierung nach Dokumentlänge, die verhindert, dass längere Dokumente automatisch höher bewertet werden.
Die Parameter k1 und b steuern das Verhalten: k1 beeinflusst die Termfrequenz-Sättigung und b die Dokumentlängen-Normalisierung. Für die semantische Infrastruktur ist das Verständnis von BM25 wichtig, weil es erklärt, warum bestimmte Optimierungsstrategien funktionieren. Die Keyword-Stuffing-Ära endete auch deshalb, weil BM25 durch seine Sättigungsfunktion exzessive Keyword-Wiederholung nicht belohnt.
In der Praxis wird BM25 oft als erster Retrieval-Schritt verwendet, dessen Ergebnisse dann von neuronalen Reranking-Modellen verfeinert werden. Aktuelle Analysen zeigen, dass hybrides Retrieval, das semantische Suche mit BM25-Keyword-Matching kombiniert, eine 48-prozentige Verbesserung gegenüber einzelnen Methoden liefert. Für RAG-Systeme ist BM25 weiterhin relevant, da es als schneller, lexikalischer Retriever in Kombination mit semantischen Embedding-Suchern eingesetzt wird.
Die Optimierung für BM25 erfordert die natürliche, kontextgerechte Verwendung relevanter Begriffe ohne Überoptimierung. Das Verständnis der Grenzen von BM25, insbesondere seine Unfähigkeit, Synonyme und semantische Ähnlichkeiten zu erkennen, motiviert den Einsatz ergänzender semantischer Methoden.