Der Beitrag wurde verfasst von unseren Experten Thomas Takkin, David Peter und Dr. Pascal Ochs
Was sind Large Language Modelle?
Large Language Modelle (LLMs) sind komplexe künstliche Intelligenzsysteme, die natürliche menschliche Sprache verstehen und Text Ausgaben generieren können. Diese Technologie hat in den vergangenen Jahren einen enormen Entwicklungsschub erfahren und bietet Unternehmen zahlreiche Anwendungsmöglichkeiten.
Ein führendes Unternehmen auf dem Gebiet der LLMs ist OpenAI, das dank GPT-3 & GPT-4 in aller Munde ist. Es wurde im Jahr 2015 gegründet und hat sich zum Ziel gesetzt, die Vorteile von Künstlicher Intelligenz (KI) und maschinellem Lernen der Menschheit zur Verfügung zu stellen.
Eine der Anwendungen von LLMs ist ChatGPT von OpenAI, das menschenähnliche Sprache erzeugen und verstehen kann und mit Nutzern als Chat Bot interagiert. Zuvor waren Chat Bots diesbezüglich eher unbeholfen in der Sprachausgabe. Dies hat sich jedoch mit ChatGPT geändert. Die durch das Tool erzeugten Texte lassen sich in der Regel in vielen Sprachen sehr gut lesen.
Die Hauptanwendungen von LLMs liegen zurzeit in der Entwicklung von „menschenähnlichen“ Chatbots, die Kundenanfragen automatisch bearbeiten können. Diese Chatbots können in verschiedenen Branchen wie dem Einzelhandel, dem Kundenservice oder der Gesundheitsbranche eingesetzt werden. Zum Beispiel kann ein Einzelhändler Chatbots verwenden, um Fragen von Kunden zu beantworten, Produktinformationen bereitzustellen oder Bestellungen aufzugeben. Dadurch wird der Kundenservice verbessert und die Effizienz gesteigert.
Ein weiterer Anwendungsbereich von LLMs ist die automatisierte Erstellung von Produktbeschreibungen oder Marketingtexten. Unternehmen können LLMs verwenden, um Texte schnell und effektiv zu erstellen, und zwar ohne menschliche Schreibkräfte. Dies kann Zeit und Kosten sparen.
Schnittstellenanwendung von Large Language Modellen in Unternehmen
Die meisten LLMs wie ChatGPT (genau GPT-3.5 Turbo von OpenAI), Bert (Open Source), Bloom (Open Source) oder LLaMa (von Meta) können bereits mit verschiedenen Schnittstellen interagieren durch sogenannte Application Programming Interface (API). Des Weiteren wurden verschiedene Open Source Frameworks entwickelt, um mit solchen LLM APIs zu interagieren und deren Basis Funktionalität stark zu erweitern.
Viele Start-Ups integrieren bereits die Funktionalität von LLMs in ihre Produkte. Die Hauptanwendungsfälle liegen in der Chatfunktion und in der textlichen Bearbeitungsfunktion sowie in Agenten-basierter Automatisierung. Im Anwendungsfall mit der Textbearbeitung können zum Beispiel PDFs eingelesen und zusammengefasst werden, dann können Fragen zum Inhalt gestellt oder der Text kann auf bestimmte Eigenschaften überprüft werden. Agent basierte Automatisierungen gehen sogar noch einen Schritt weiter und erlauben dem LLM eine direkte und selbstständige Interaktion mit anderen Tools. ChatGPT ist bekanntlich für mathematische Problemstellungen nicht gut geeignet. Jedoch kann mit den entsprechenden Tools eine automatische Websuche gestartet werden. Die Resultate können dann in einer Tabelle aufgeführt und anschließend mit einem Taschenrechner weiterverarbeitet werden. Zum Schluss wird das Endergebnis als Excel-Tabelle ausgegeben.
![]()
Grafik: Agent basierte LLM Integration
Quelle: Grant Thornton Germany
Bei der Integration und Entwicklung von Anwendungsfällen mit Large Language Modellen gibt es einiges mit dem Model selbst zu beachten. Bei der Anwendung spielt das Framing beziehungsweise die Aufgabe, die man dem LLM stellt, eine große Rolle, um entsprechende Resultate im richtigen Format geliefert zu bekommen. Ein weiterer Schritt ist das Modell Fine-Tuning, wo beispielsweise die Auswahl der Richtigen Temperature (vereinfacht gesagt die LLM Kreativität) die Model Resultate beeinflusst. So könnte eine hohe Temperature zu hoher Kreativität des Modelles führen, welches für bestimmte Aufgaben ungeeignet ist. Des Weiteren ist die Kommunikation mit dem Modell selbst äußerst wichtig, das heißt die Aktivität muss im sogenannten Prompt Engineering beschrieben werden.
Risiken sollten beachtet werden
Die Anwendungsfälle wachsen stetig. Gleichwohl gilt es, bei der Integration mit Schnittstellen, die Risiken sorgfältig abzuwägen. Dazu gehören vor allem der Datenschutz und zukünftige gesetzliche Vorgaben für KI. Die Anwendungsfälle sollten sich daher auf „unkritische“ Bereiche fokussieren. Zurzeit ist es ratsam, sich mit ersten Anwendungsbeispielen beziehungsweise Prototypen im Unternehmen auseinanderzusetzen. Jedoch sollten Unternehmen mit vollen Integrationen in ihre Hauptanwendungen noch warten, bis das Gesetz für KI in der EU verabschiedet wird, was für dieses Jahr geplant ist (Referenz unser Artikel hier https://www.grantthornton.de/themen/2023/readyness-fuer-den-ki-act-der-eu-kommission/).
Wir haben ChatGPT gefragt – was ist dem Mittelstand wichtig beim Einsatz des Tools?
- Anwendungsbeispiele: Konkrete Beispiele wie Chatbots für Kundenkommunikation, automatische Texterstellung, Dokumentenverarbeitung, Recherche oder Berichterstellung.
- Integration und Schnittstellen: Möglichkeiten zur Integration in bestehende Systeme und Prozesse, verfügbare Schnittstellen und Open-Source-Frameworks.
- Risiken und Herausforderungen: Beachtung von Datenschutz, rechtlichen Anforderungen und kritischer Prüfung der Modellergebnisse.
- Kosten und Ressourcen: Berücksichtigung der Implementierungs- und Betriebskosten, einschließlich Lizenzen, Rechenleistung, Training und Integration.
- Zukünftige Entwicklungen und Gesetzgebung: Informieren über aktuelle und zukünftige gesetzliche Vorgaben für den Einsatz von LLMs und Anpassung an rechtliche Anforderungen.
Praxishinweis
Sie haben bereits Ideen für Anwendungsfälle und sind sich nicht sicher, was Sie dabei beachten müssen? Sprechen Sie uns an, um eine erste Einschätzung zu den potenziellen Risiken, technischen Einschränkungen und möglichen Anbindungen zu bekommen. Unser Team IT Consulting unterstützt Sie gerne.
