Natural Language Processing

Wie funktionieren NLP-Modelle technisch?

Für uns Menschen ist das Verstehen von Sätzen und deren Zusammenhängen kein Problem – schließlich haben wir das von klein auf gelernt. Doch wie bringt man Maschinen eine Sprache bei? Die Anforderung dabei ist es, dem Computer die Wörter und Sätze so darzureichen, dass er diese verarbeiten kann. Dafür gibt es kein standardisiertes Vorgehen sondern eher eine Art Baukasten, aus dem man Steine zu einem Modell zusammensetzt.

• Einfache Modelle sind zum Beispiel das bag-of-words Modell, bei dem die Häufigkeit jedes auftretendes Wortes als Merkmal zum Trainieren eines Klassifikators verwendet wird. Da nicht alle Wörter relevant sind und z.B. „Glück“ und „glücklich“ gleich behandelt werden sollen, werden Techniken wie die Lemmatisierung und stopping words verwendet. Der Nachteil dieser Modelle ist, dass nur die Anzahl der auftretenden Wörter betrachtet wird und nicht deren Zusammenhänge. Für weniger anspruchsvolle Analysen vor allem mit geringer Komplexität in den auszuwertenden Texten sind die aber häufig zielführend.
• Komplexere Modelle, die Zusammenhänge berücksichtigen, sind zum Beispiel part-of-speech tagging basierend auf dem Hidden Markov Modell, oder Transformer Modelle wie Google‘s BERT. BERT ist ein unüberwachtes Modell, dass durch Millionen von Sätzen die Zusammenhänge einer Sprache lernt. Mittlerweile stellen Firmen wie Google und OpenAI vortrainierte Modelle zur Verfügung, die die Grundstruktur einer Sprache verstehen und „sprechen“, aber noch nicht an Industrien angepasst sind. Diese Modelle lassen sich mit z.B. Finanztexten und -sentiments noch optimieren und so für den benötigten Use Case anpassen.