von Dominik Grimm
Sei es in Foren, Blogs oder
Social Networks, im Web 2.0 wird überall publiziert, kommentiert und diskutiert. Insbesondere Internetforen machen einen maßgeblichen Anteil an der Meinungsbildung im Netz aus. In unzähligen Foren, die nahezu jeden Themenbereich
abdecken, diskutieren allein im deutschsprachigen Raum täglich Millionen von Mitgliedern. Dabei werden Fragestellungen, Anmerkungen und Erfahrungsberichte zu Produkten und Dienstleistungen zum Teil auf sehr hohem Niveau
ausgetauscht.
Unterschiedliche Studien belegen derzeit, dass der potentielle Kunde dieser Art der Kommunikation eine hohe Bedeutung zumisst und die Angaben in Foren als glaubwürdig erachtet. Viele Unternehmen haben bereits
das Potential dieser frei verfügbaren Informationen erkannt und werten diese systematisch aus. Dabei haben sogenannte automatische Sentimentanalysen die Aufgabe, schnell und unkompliziert einen Überblick über die Tonalität dieser
Beiträge zu liefern.
Man nehme dazu ein Wörterverzeichnis, ergänze es um ein paar Ausdrücke, gleiche die Kommentare an den hinterlegten Variablen ab und voilá: Die Maschine spuckt aus, wie viel Prozent der Beiträge positiv,
negativ oder für die entsprechende Suchanfrage belanglos ist.
Grenzen der Automatisierung
Ein Blick in die Daten bringt jedoch Ernüchterung. Zunächst ist die Vielfältigkeit der deutschen Sprache seit Jahren die
größte Herausforderung an automatische Indexierungs- und Tonalitätsverfahren.
Des Weiteren stellt das Web 2.0 diese Auswertungsmethode vor die aktuell unlösbare Aufgabe, dass Beiträge selten grammatikalischen Formen,
geschweige denn der deutschen Rechtschreibung genügen. Weiterhin haben automatische Indexierungsverfahren zur Erschließung von textuellen Beiträgen - wie Büchern, Zeitschriften und wissenschaftlicher Literatur - an sich schon mit
einer Vielzahl von Problemen zu kämpfen. So sind die Synonymerkennung, die Zerlegung der Komposita und die Stopworteliminierung nur eine Auswahl der Herausforderungen an diese Systeme. Texte aber automatisiert zu verstehen, um sie
daraufhin bewerten zu können, stellt die Wissenschaft vor noch ganz andere Hürden.
Emotionen als Herausforderung
Das Social Web ist voller Emotionen und leider verfügt der Sentiment Analyser nur über wenig
Sentiment. Als veranschaulichendes Beispiel soll hier der ironische Text aus der Abbildung dienen: |
Die Beschreibung des Aufbaus einer Sentimentanalyse lässt beim Leser zunächst einen positiver
Eindruck erwarten. Dieser dauert aber nur so lange
an, bis ihm die Ironie der Aussage deutlich wird. Der Leser entwickelt innerhalb des Leseprozesses ein Gefühl für den Text. Genau hier liegt schon das erste grundlegende Problem von Sentimentanalysen. Eine Maschine fühlt nicht und
ist, ähnlich wie kleine Kinder, nicht in der Lage, Ironie zu erkennen. Sogenannte Emoticons (Smilies usw.) tragen deshalb zu einer Sinngestaltung bei und müssen zugeordnet werden.
Ausdrücke wie zum Beispiel „Scheiße ist das
geil" sind ebenfalls in sich ironisch. Diese erschweren die Auswertungsprozesse um den Faktor X. Unabhängig davon, wie groß das angeschaltete Wörterbuch ist, es wird nicht vollständig sein und schon gar nicht alle
Wortkombinationen, die sowohl negativ als auch positiv besetzt sind, in einer sinnvollen Aneinanderreihung abbilden können.
Allein der Ausdruck geil beinhaltet in sich eine hohe Anzahl verschiedener Kombinationen. Wurden die
Beiträge zudem noch um Stoppwörter reduziert, ist es schlichtweg unmöglich, einen sinnvollen Zusammenhang herzustellen. Ist dem nicht so, ist der Datenbestand extrem hoch. Wird davon ausgegangen, dass die Beiträge in ihrer
ursprünglichen Form zur Verfügung stehen, existieren bei der Auswertung von Wortkombinationen weitere Probleme. Was passiert zum Beispiel, wenn die beiden Begriffe in zwei unterschiedlichen Sätzen stehen? Ist das Ergebnis dann
lösungsneutral? Oder wird ein Ausdruck stärker gewichtet als der andere? Natürlich ist die Einstufung immer vom Zusammenhang abhängig. Nur wenn ein Rechner in ausreichendem Maße Zusammenhänge erkennen würde, hätten ein paar
Stichpunkte ausgereicht und eine Rückwärtsanalyse hätte diesen Beitrag verfasst.
Das Unmögliche einmal angenommen: Sämtliche Begriffe, Wortkombination und Sinnausdrücke sind in einer Datenbank hinterlegt und alle
erdenklichen Rechtschreibformen und -unformen enthalten. Ignoriert wird, dass Unmengen an Ressourcen benötigt werden, um dieses Unterfangen anzulegen, es zu pflegen und zu unterhalten. Werden alle diese Voraussetzungen erfüllt, so
wird ein Beitrag mit dieser Datenbank abgeglichen. Ein Ergebnis wird es jedoch erst nach einer nicht absehbaren Zeitspanne geben, da die Leistungsmöglichkeiten des Systems der Performance Grenzen setzen werden. Bei einer großen
Masse an Beiträgen, die von automatischen Systemen ausgewertet werden sollen, gilt somit die Faustformel: Je schneller, desto schlechter.
Der Teufel steckt im Detail
Des Weiteren macht es auch nur Sinn, vorher
bereinigte Daten zu beurteilen. Ein Beispiel: Im Forum gofeminin wird eine Vielzahl von Themen von einer attraktiven Zielgruppe besprochen. Nun soll anhand eines automatisierten Verfahrens herausgefunden werden, wie die
Stimmungslage zur Victoria Versicherung ist. Neben der Victoria Versicherung wird in diesem Forum aber auch noch Victoria Beckham und das Modelabel Victoria Secrets besprochen. Wird eine Bereinigung der Datenquelle unterlassen,
machen die Beiträge zu den letzteren beiden Victorias das Ergebnis unbrauchbar, da die reine Wortkombination Victoria Versicherung höchst selten von den Usern ausgeschrieben wird. Die Auswertung von Beiträgen wie zum Beispiel
„Meine Tochter Victoria ist bei der Allianz versichert. Die haben ihr ordentlich Probleme gemacht" macht eine vorherige Bereinigung ebenfalls nötig.
Darüber hinaus ist der Threadverlauf ein Indikator, welcher in der
semantischen Analyse nicht zu vernachlässigen ist. Dabei stellt sich die Frage, ob der gesamte Thread, das heißt jeder einzelne Beitrag, bewertet wird oder nur das Ausgangsposting. Wird nur der eröffnende Beitrag bewertet und
dieses Ergebnis auf alle anderen Beiträge vererbt, besteht zum einen die Möglichkeit, dass im Verlauf des Threads die Bewertung gegenteilig ausfällt, zum anderen ist es aber auch mitunter so, dass die eigentliche Fragestellung gar
nicht mehr berücksichtigt wird.
Datenqualität ist entscheidend
Die Datenbasis ist somit ein entscheidender Faktor zur Bewertung von Beiträgen nach Tonalität. Nur eine ausreichend bereinigte Datenbank ermöglicht
qualitativ akzeptable Daten. Deshalb empfiehlt es sich, Anbieter dieser Lösungen explizit mit diesen Fragestellungen zu konfrontieren. Jeder seriöse Anbieter wird seine Vorgehensweise in Hinblick auf diese Fragestellungen erklären
und sagen können, welche Fehlerquote auf Grundlage der ausgewählten Datenbasis zu erwarten ist. Auf dieser Grundlage sollte entschieden werden ob der Anbieter, bzw. das Ergebnis, für den eigenen Gebrauch akzeptabel ist.
Zudem werden Lösungen vorgestellt, in denen im Ergebnis die Häufigkeit von Begriffen angezeigt wird, die im Zusammenhang mit einem Produkt oder Unternehmen genannt werden. Dies gibt im besten Fall eine Übersicht über Themen, die
mit der Ausgangsfragestellung verwandt sind, jedoch fehlt hier der inhaltliche Bezug. Erst über diesen wird der semantische Zusammenhang, der zur Interpretation und Weiterverarbeitung der Daten nötig ist, dargestellt.
Innerhalb der Webmonitoring Anbieter hat unter anderem infospeed die unterschiedlichen Herausforderungen erkannt und bietet an, das Ergebnis einer automatischen Analyse um die Anreicherung intellektueller Auswertungen zu erweitern.
Mit dieser hybriden Methode besteht nicht nur die Möglichkeit, die Stimmungslage im Web zu erfassen, sondern auf Grundlage dieser Daten auch spezifische Rückschlüsse auf die Meinungsbildung zuzulassen. Dazu wird neben der
automatischen Auswertung eine intellektuelle Bewertung der Ergebnisse durch ausgebildete Researcher vorgenommen. Im Ergebnis wird somit dargestellt, was User kritisieren oder loben. Zudem werden gezielte Fragestellungen explizit
beantwortet und schaffen damit einen reellen Mehrwert für die Weiterverarbeitung und Handlungsableitung aus den Daten. Trotz der vielfältigen, zum Teil ungelösten Problemstellungen existiert eine Vielzahl von Anbietern
automatischer Auswertungen. Diese Verfahren seien zwar von der Wirtschaft ausdrücklich gewünscht, was aber nicht heiße, dass diese auch hinreichend umsetzbar seien, gibt Professor Dr. Klaus Lepsky, der an der Fachhochschule Köln an
Verfahren zur linguistischen Erschließung von Texten forscht, zu bedenken.
Eine der zentralsten Fragen bei dem Vorhaben, mit automatischen Analysen zu arbeiten, ist somit der Qualitätsaspekt. Das heißt, wie hoch die
Akzeptanz bei auftretenden Fehlern ist und was an falschen Ergebnissen toleriert werden kann.Da dies in der Summe in den meisten Fällen viele sein werden, eignet sich eine Sentimentanalyse bestenfalls zu einer Trenddarstellung. Es
empfiehlt sich also, den Mehrwert einer Sentimentanalyse in Hinblick auf das damit angestrebte Ziel zu überprüfen. |
