Wie ein KI-System technisch aufgebaut ist – 16 Schichten von der Stromversorgung bis zur geprüften Antwort, ohne Vorkenntnisse verständlich.
Wenn jemand in einem Chatfenster eine Frage abschickt, läuft sie durch rund ein Dutzend Schichten – von der Stromversorgung eines Rechenzentrums bis zum einzelnen Wort, das zurückkommt. Diese Seite geht den Weg von unten nach oben.
01
Ganz unten steht ein Gebäude: Stromanschluss im zweistelligen Megawatt-Bereich, redundante Einspeisung, Notstromaggregate und eine Kühlung, die die Abwärme abführt. Der Standort entscheidet mit darüber, welchem Recht die Verarbeitung unterliegt – für Unternehmen in der EU der zentrale Punkt bei der Anbieterwahl.
Frage für Unternehmen: In welchem Land steht der Server?
02
KI-Modelle rechnen nicht auf normalen Prozessoren, sondern auf Grafikprozessoren, die viele gleichartige Rechenoperationen parallel ausführen. Für große Modelle arbeiten hunderte bis tausende dieser Karten zusammen – für das Training über Wochen, für den laufenden Betrieb in kleineren Gruppen.
Deshalb kostet jede Anfrage Geld – auch bei Pauschaltarifen
03
Zwischen den Karten liegt ein sehr schnelles internes Netz, denn beim Rechnen müssen ständig Zwischenergebnisse ausgetauscht werden. Daneben stehen Speichersysteme für Trainingsdaten, Modellgewichte und Protokolle.
04
Auf derselben Hardware laufen viele Kunden gleichzeitig. Die Trennung erfolgt über Virtualisierung und Zugriffskonzepte. Wie sauber diese Trennung ist, gehört zu den Punkten, die man sich vertraglich zusichern lässt.
Stichwort: Auftragsverarbeitung
05
Grundlage jedes Sprachmodells sind sehr große Textmengen. Aus ihnen lernt das Modell statistische Zusammenhänge zwischen Wortteilen – nicht Fakten in Form einer Datenbank. Was nach dem Stichtag passiert ist, kennt das Modell nicht.
Daher: Wissensstichtag und Halluzinationen
06
Über viele Durchläufe passt das Modell Milliarden interner Parameter so an, dass es das jeweils nächste Textstück möglichst gut vorhersagt. Anschließend folgen Feinschliff-Phasen, in denen menschliche Rückmeldungen einfließen, damit Antworten hilfreicher und sicherer werden.
07
Ergebnis ist eine große Datei mit den gelernten Zahlenwerten, den Modellgewichten. Bei offenen Modellen ist diese Datei frei verfügbar und kann auf eigener Hardware betrieben werden; bei proprietären Modellen bleibt sie beim Anbieter.
Offen vs. proprietär entscheidet über lokalen Betrieb
08
Die Eingabe des Nutzers wird selten allein verarbeitet. Davor steht meist eine Systemanweisung, die Rolle, Grenzen und Ton festlegt, dazu kommen vorherige Nachrichten des Gesprächs und – falls eingerichtet – abgerufene Dokumente.
Was das Modell sieht, ist mehr als das Eingabefeld
09
Der gesamte Text wird in Token zerlegt, also in Wortteile, und in Zahlen übersetzt. Danach rechnet das Modell nur noch mit Zahlen. Die Menge dieser Token bestimmt Kosten und Verarbeitungsdauer.
Abrechnung erfolgt fast immer pro Token
10
Das Kontextfenster begrenzt, wie viele Token gleichzeitig berücksichtigt werden können. Ist es voll, fallen ältere Teile des Gesprächs heraus – ein häufiger Grund dafür, dass ein Chatbot Vorheriges „vergisst".
11
Das Modell berechnet für das jeweils nächste Token Wahrscheinlichkeiten und wählt eines aus. Dieser Schritt wiederholt sich, bis die Antwort fertig ist – deshalb erscheint Text bei vielen Oberflächen Wort für Wort. Ein Zufallsanteil sorgt dafür, dass dieselbe Frage nicht immer identisch beantwortet wird.
Kein Nachschlagen, sondern Vorhersage
12
Vor und nach der Generierung greifen Filter, die problematische Inhalte abfangen und versuchen, manipulative Eingaben zu erkennen. Vollständig zuverlässig ist das nicht – Prompt Injection bleibt eine offene Baustelle der Branche.
Siehe Sicherheitsvorfälle
13
Zwischen Modell und Anwendung liegt eine Programmierschnittstelle. Über sie schickt eine Software den Text hin und bekommt die Antwort zurück – abgesichert über einen geheimen Zugangsschlüssel, der wie ein Passwort zu behandeln ist.
Hier hängt jede Integration in eigene Systeme
14
Damit ein Modell auf firmeneigenes Wissen zugreifen kann, werden Dokumente in Abschnitte zerlegt, durchsuchbar abgelegt und bei jeder Anfrage passend dazugeladen. Das Modell selbst bleibt unverändert – nur sein Kontext wird angereichert.
Aktuelles Firmenwissen ohne Neutraining
15
Ein Agent nutzt dasselbe Modell, darf aber zusätzlich Werkzeuge aufrufen: Websuche, Datenbank, Kalender, E-Mail. Er arbeitet in Schleifen – planen, ausführen, Ergebnis bewerten, nächster Schritt. Größere Aufgaben werden auf Subagenten verteilt.
Hier entstehen die meisten Sicherheitsfragen
16
Ganz oben steht die Anwendung, die jemand tatsächlich bedient: Chatfenster, Assistent im Textprogramm, Voicebot am Telefon. Und dahinter der Mensch, der das Ergebnis prüft, freigibt oder verwirft – die letzte und wichtigste Schicht.
Ohne Prüfschritt wird jede Schicht darunter zum Risiko
Begriffe zum Nachschlagen finden sich im Glossar, konkrete Vorfälle unter Sicherheit.