flaibo
Glossar

Inference

Die Handlung von Moment zu Moment, bei der ein KI-Modell eine Antwort auf das erzeugt, was du gerade getippt hast, wobei es Wissen nutzt, das es bereits besitzt, statt irgendetwas Neues zu lernen.

Keine Karte erforderlich

Was das in der Praxis bedeutet

Ein Anwalt fügt einen sensiblen Vertragsentwurf in einen KI-Assistenten ein, um Feedback zu einer Klausel zu erhalten, und macht sich dann Sorgen, dass das Modell nun den Inhalt des Vertrags gelernt hat und ihn später einem anderen Nutzer gegenüber wiederholen könnte. In Wirklichkeit ist diese einzelne Antwort Inferenz: Das Modell liest den eingefügten Text, erzeugt eine Antwort, und sein zugrunde liegendes Wissen bleibt genau so, wie es vorher war, unverändert. Nichts aus diesem Gespräch verändert, was das Modell selbst weiß. Ob ein Anbieter gespeicherte Gespräche außerdem nutzt, um eine künftige Version zu trainieren, ist eine separate Frage, die von den eigenen Bedingungen dieses Anbieters abhängt und die du lesen solltest, bevor du etwas Sensibles einfügst.

Beispiel

Fordere einen Assistenten am Montag auf, einen Bericht zusammenzufassen, und lass dann am Dienstag einen Kollegen genau denselben Assistenten genau dieselbe Frage stellen, ohne gemeinsamen Gesprächsverlauf. Das Modell hat nichts aus dem Austausch vom Montag behalten; jede Anfrage ist ihr eigener, unabhängiger Akt der Inferenz, der nur auf das zurückgreift, was während des Trainings bereits ins Modell eingebacken wurde, plus jeglichen Text, der in diesem konkreten Gespräch enthalten ist.

Häufig verwechselt mit

vs. Training

Training ist der separate, frühere Prozess, bei dem die Gewichte eines Modells ursprünglich aus einem riesigen Datensatz gelernt wurden, oft über Wochen an Rechenzeit hinweg, lange bevor jemand einen Prompt hineingetippt hat. Inferenz ist das, was danach jedes Mal passiert, wenn dieses bereits trainierte Modell auf eine konkrete Eingabe antwortet: schnell, gewöhnlich, und die Gewichte des Modells bleiben dabei vollständig unverändert. Gespeicherter Kontext arbeitet ebenfalls auf der Inferenzebene: Jeder Hintergrund, den du lieferst, ist nur Teil des Textes, den das Modell in diesem Gespräch liest, keine Änderung an den Gewichten des Modells.

Frequently asked questions

Willst du deinen Kontext an einem Ort?

Flaibo bewahrt deine Rolle, deinen Ton und deine bisherige Arbeit an einem Ort und baut sie in die Prompts ein, die du in jede KI mitnimmst, mit der du arbeitest, sodass ein neuer Chat nicht mit einem leeren Kontextfenster beginnen muss.

Kostenlos starten

Dein Kontext, überall