So erhalten Sie gleichbleibende Ergebnisse von lokalen KI-Modellen

Lokale Modelle wirken unberechenbar, wenn derselbe Prompt jedes Mal eine andere Form liefert: mal Aufzählungspunkte, mal ein Aufsatz, mal eine Entschuldigung plus den Aufsatz. Das meiste davon sind Einstellungen und fehlende Vorgaben, keine defekte Installation. Sie können Zusammenfassungen, Extraktion und kleine Codeaufgaben wiederholbar genug machen, um sie im Alltag zu nutzen.

Diese Seite setzt voraus, dass Sie bereits einen klaren Prompt schreiben. Wenn die Formulierung noch locker ist, lesen Sie zuerst So schreiben Sie bessere Prompts für lokale KI-Modelle. Die Methoden, die den Test überstehen, sind zusammengefasst in Was wirklich funktioniert.

Warum die Antwort sich ändert

Die Stichprobe wählt den nächsten Token mit etwas Zufall. Eine höhere Temperatur (temperature) bedeutet mehr Zufall. Ein langer Chat bedeutet, dass frühere Regeln weiter von der letzten Frage entfernt sind. Ein offener Prompt („schreiben Sie etwas Hilfreiches“) hat viele gültige Fortsetzungen, also hat das Auswahlverfahren Raum zum Abschweifen. Sie verringern die Streuung, indem Sie diesen Raum verkleinern: niedrigere Temperatur, ein Seed, wenn Sie einen echten Wiederholungslauf brauchen, ein Format mit wenig Spielraum, ein kurzer Kontext und ein Modell, das nicht fünf Aufgaben gleichzeitig erledigen soll.

1. Senken Sie die Temperatur, bevor Sie den Prompt umschreiben

Setzen Sie für eine Aufgabe, die Sie wiederholen wollen, die Temperatur zwischen 0.1 und 0.3. Lassen Sie top-p auf dem Standard der App, es sei denn, Sie wissen, warum Sie es ändern. Führen Sie dann denselben Prompt dreimal aus.

Derselbe Prompt, drei Absichten:

Listen Sie genau 4 Regeln zur Dateibenennung für einen gemeinsamen Ordner auf. Je ein Satz. Keine Einleitung.

Temperatur 0.9: Sie können 3, 5 oder 4 Regeln bekommen, plus bei manchen Läufen eine freundliche Einleitung. Die Formulierung springt. Beurteilen Sie den Prompt noch nicht.
Temperatur 0.2: Sie sollten bei den meisten Läufen 4 Regeln bekommen. Die Formulierung ändert sich noch etwas. Das ist normal.
Temperatur 0: am besten wiederholbar und manchmal am blassesten. Nutzen Sie sie für Extraktion. Beim Schreiben reicht meist 0.2.

Die Liste wirkt zufällig, also habe ich den ganzen Prompt umgeschrieben, eine lange Rollenbeschreibung hinzugefügt und die Temperatur bei 1.0 gelassen.

Sie haben zu viel geändert und die Einstellung gelassen, die das Durcheinander verursacht. Frieren Sie den Prompt ein, senken Sie die Temperatur und bearbeiten Sie erst dann eine Zeile, wenn das Format noch falsch ist.

2. Nutzen Sie einen Seed, wenn Sie Prompts vergleichen

Ollama, LM Studio und einige andere Programme lassen Sie einen Seed setzen. Dasselbe Modell, derselbe Prompt, derselbe Seed und dieselben Stichprobeneinstellungen sollten nahezu identisch zurückkommen. So erkennen Sie, ob eine Formulierung geholfen hat.

Ein praktischer Vergleich:

Setzen Sie die Temperatur auf 0.2 und den Seed auf 42.
Speichern Sie die Ausgabe von Prompt A.
Ändern Sie eine Zeile, um Prompt B zu machen. Behalten Sie den Seed.
Vergleichen Sie A und B. Wenn B besser ist, behalten Sie es und probieren Sie einmal Seed 43, um zu sehen, ob das Format noch hält.

Wenn Ihre App keine Seed-Steuerung hat, bekommen Sie keine Wiederholungen Zeichen für Zeichen. Sie können trotzdem ein Format und eine niedrige Temperatur verlangen, und das brauchen Sie für den Alltag. Ein Seed ist zum Testen, nicht für Personen, die eine Zusammenfassung lesen.

3. Machen Sie das Format schwer zu verlassen

Je enger die Form, desto weniger kann das Auswahlverfahren tun. Beschriftungen sind besser als „ordnen Sie das“.

Können Sie diese Kunden-E-Mail in etwas ordnen, das unser Team nutzen kann?

Schreiben Sie die E-Mail nur in diese Beschriftungen um: Anliegen: Produkt: Frist: Fehlend: Regeln: - Eine Zeile pro Beschriftung - Wenn unbekannt, schreiben Sie „nicht angegeben“ - Fügen Sie keine empfohlene Antwort hinzu E-Mail: [einfügen]

Wenn das Modell trotzdem eine empfohlene Antwort hinzufügt, setzen Sie das Verbot in eine eigene letzte Zeile: „Schreiben Sie keine Antwort.“ Regeln in der letzten Zeile werden öfter befolgt als Regeln, die in der Mitte vergraben sind.

4. Ergänzen Sie eine Prüfung von einer Zeile für spröde Formate

Nutzen Sie das für JSON, Tabellen und genaue Zahlen. Nutzen Sie es nicht für gewöhnlichen Fließtext.

Geben Sie JSON mit den Schlüsseln sku und qty zurück. qty ist eine ganze Zahl. Fehlende Werte sind null. Wenn ein Schlüssel fehlt, korrigieren Sie das JSON, bevor Sie antworten. Erklären Sie die Korrektur nicht. Text: [einfügen]

Lesen Sie die Ausgabe. Wenn Sie einen Absatz sehen, der mit „Ich habe das JSON geprüft“ beginnt, zeigt das Modell die Prüfung. Ergänzen Sie „Geben Sie nur das JSON aus“ oder entfernen Sie die Prüfung und verlassen Sie sich auf die Schlüsselliste. Manche kleinen Modelle können keine stille Prüfung. Dann ist die Schlüsselliste allein der bessere Prompt.

Prüfen Sie Ihre Arbeit sehr sorgfältig, bedenken Sie Sonderfälle und sorgen Sie dafür, dass ein nachdenklicher Mensch stolz auf diese Geburtstagsnachricht wäre.

Es gibt nichts zu prüfen. Sie bekommen eine steife Nachricht und manchmal einen Absatz über Qualität. Begrenzen Sie stattdessen die Wörter.

5. Halten Sie den Kontext kurz

Regeln von vor zehn Nachrichten lässt ein kleines Modell leicht fallen. Plaudern Sie bei einer wiederholbaren Aufgabe nicht weiter. Starten Sie eine neue Sitzung oder fügen Sie die Regeln erneut oben in die letzte Nachricht ein.

Ein Muster, das stabil bleibt:

Eine System- oder erste Nachricht mit den Regeln.
Eine Nutzernachricht mit dem Quelltext.
Wenn Sie eine Überarbeitung brauchen, ein neuer Chat, der die Regeln plus die vorherige Ausgabe enthält, nicht die ganze Geschichte.

[nach 15 Runden gemischter Fragen] Dasselbe Format wie zuvor, Sie wissen, was ich meine.

Oft weiß es das nicht. Fügen Sie das Format erneut ein. „Wie zuvor“ ist kein Format.

6. Passen Sie die Modellgröße an die Aufgabe an

Ein kleineres Modell mit einem engen Prompt ist oft beständiger als ein größeres allgemeines Modell mit einem schlampigen, aber es ist keine Zauberei. Nutzen Sie ein kleines Modell zum Umschreiben, Extrahieren und für kurze Zusammenfassungen von Text, den Sie liefern. Nutzen Sie ein größeres lokales Modell, wenn die Aufgabe längeren Code oder mehrstufiges Überlegen braucht. Bitten Sie ein 3B-Modell nicht, eine Datei von 400 Zeilen zu prüfen, und erwarten Sie keine stabile Prüfung.

Wenn das Format auf einem 7B-Modell hält und auf einem 3B-Modell auseinanderfällt, behalten Sie den Prompt und wechseln Sie das Modell. Fügen Sie nicht weiter Regeln hinzu, bis das kleine Modell darunter begraben ist.

Eine wiederholbare Checkliste

Schreiben Sie das Format als Beschriftungen, eine Zahl oder JSON-Schlüssel.
Setzen Sie den Quelltext nach den Regeln, hinter eine klare Beschriftung.
Setzen Sie die Temperatur auf 0.2 für alles, dem Sie vertrauen wollen.
Setzen Sie ein maximales Token-Limit etwas über der Antwort, die Sie verlangt haben.
Führen Sie zweimal aus. Wenn die Form abweicht, ziehen Sie die letzte Zeile enger, bevor Sie neue Regeln hinzufügen.
Wenn Sie zwei Formulierungen vergleichen, setzen Sie einen Seed.
Wenn der Chat lang ist, beginnen Sie neu und fügen Sie die Regeln erneut ein.

Was Beständigkeit nicht ist

Sie ist nicht jedes Mal identische Sätze, außer die Temperatur liegt nahe 0 und der Prompt ist sehr eng.
Sie lässt ein Modell keine echten Quellen zitieren, die es nicht sehen kann. Fügen Sie die Quelle ein.
Sie nimmt nicht die Pflicht weg, die Ausgabe zu lesen. Eine stabile falsche Antwort ist immer noch falsch. Prüfen Sie bei der Extraktion zwei Felder gegen den Originaltext.
Sie wird nicht besser, indem Sie eine riesige Vorrede einfügen wie „Sie sind eine Fachkraft, die nie Fehler macht“. Diese Zeile ändert die Stichprobe nicht.

Wenn der Prompt stabil ist, speichern Sie ihn. Die Prompt-Bibliothek ist eine Reihe von Ausgangspunkten, die Sie neben Ihren eigenen ablegen können. Wenn Sie unsicher sind, ob ein gespeicherter Prompt zu lang für das Kontextfenster ist, schätzen Sie ihn mit dem Token-Zähler, bevor Sie eine große Datei anhängen.