KI verstehen
Was steckt hinter generativer KI? Diese Seiten erklären Grundlagen und Begriffe und zeigen Prinzipien von Prompting auf. Zudem weisen sie auf Weiterbildungsmöglichkeiten hin.
Wie funktionieren die grossen Sprachmodelle?
Grosse Sprachmodelle (Large Language Models, LLMs) sind KI-Systeme, die mit Hilfe riesiger Textmengen trainiert wurden, um menschliche Sprache statistisch zu analysieren und zu erzeugen. Sie werden von führenden Technologiekonzernen und Forschungseinrichtungen entwickelt und bilden die Grundlage vieler KI-Anwendungen – von Chatbots über Übersetzungsdienste bis hin zu automatisierten Analysen. Bekannte Anbieter wie OpenAI, Google, DeepSeek, Meta oder Anthropic prägen aktuell die rasante Entwicklung in diesem Bereich.
Die Trainingsdaten grosser Sprachmodelle stammen aus vielfältigen Quellen. Zunehmend werden auch Inhalte grosser Medienhäuser über Lizenzverträge genutzt. Damit sichern sich Anbieterinnen wie OpenAI Zugang zu aktuellen, hochwertigen Inhalten und umgehen rechtliche Grauzonen bei urheberrechtlich geschützten Daten.
Es ist zu beachten, dass die zugrunde liegenden Trainingsdatensätze systematische Verzerrungen (Bias) enthalten können, die sich in den generierten Ausgaben der Modelle reproduzieren oder verstärken – einschliesslich sogenannter Halluzinationen, also faktisch unzutreffender oder erfundener Inhalte.
Die grossen Sprachmodelle «verstehen» nicht Dinge und Zusammenhänge, sondern ihre Outputs basieren einzig auf statistischen Wahrscheinlichkeiten von Wortfolgen. Die neusten Modelle geben vor zu denken. Dieses sogenannte «Reasoning” leistet zwar einiges, kann aber nicht mit menschlichem Denken verglichen werden. Die Ergebnisse sind stark abhängig von den eingegebenen Aufforderungen (Prompts). Es wird Sprache modelliert, deshalb der Begriff «Large Language Model». Das Modell berechnet aufgrund von Statistiken, welche Wörter (eigentlich Wort-Teile, Tokens) zu verwenden sind, und stützt sich dabei auf das, was es aus vielen Texten maschinell gelernt hat resp. wie dort die Wortfolgen waren.