F1-Score Semantische Infrastruktur

Der F1-Score ist das harmonische Mittel aus Precision und Recall und bietet eine ausbalancierte Bewertung der Leistungsfähigkeit eines Informationssystems. Er bestraft extreme Werte und eignet sich besonders dann, wenn beide Aspekte gleich wichtig sind.

Der F1-Score als ausgewogene Evaluationsmetrik

Der F1-Score kombiniert Precision und Recall zu einer einzelnen Metrik. Die Formel F1 = 2 (Precision Recall) / (Precision + Recall) bestraft extreme Werte: Ein System mit perfekter Precision aber niedrigem Recall erhält einen niedrigen F1-Score und umgekehrt. Damit ist der F1-Score besonders aussagekräftig, wenn ein ausgewogenes Verhältnis zwischen Präzision und Vollständigkeit angestrebt wird.

Für die semantische Infrastruktur ist der F1-Score eine wichtige Evaluationsmetrik für verschiedene Komponenten. Er bewertet die Qualität der Entity Recognition, die Leistung des semantischen Retrievals, die Korrektheit der automatischen Klassifikation und die Wirksamkeit der Ontologie-basierten Suche. In NLP-Pipelines, die Entitäten erkennen, Relationen extrahieren oder Texte klassifizieren, dient der F1-Score als zentrale Vergleichsgröße.

Für RAG-Systeme kann der F1-Score die Qualität des Retrievers bewerten, indem gemessen wird, wie vollständig und präzise die relevanten Passagen gefunden werden. Die gewichtete Variante F-beta erlaubt es, Precision oder Recall stärker zu gewichten, je nach Anwendungsfall. In medizinischen Anwendungen wird oft Recall betont (F2-Score), um keine relevanten Informationen zu übersehen, während in Empfehlungssystemen Precision wichtiger sein kann (F0.5-Score).

Für die Content-Strategie lässt sich der F1-Score auch als Denkmodell anwenden: Ein Content-Bestand mit hoher Precision aber niedrigem Recall behandelt seine Themen gut, deckt aber zu wenige davon ab. Ein Bestand mit hohem Recall aber niedriger Precision deckt viele Themen ab, behandelt sie aber oberflächlich. Der F1-Score als Zielmetrik fordert beides: thematische Breite und inhaltliche Tiefe.