Sådan får du ensartede resultater fra lokale modeller

Lokale modeller føles uforudsigelige, når den samme Prompt giver en anden form hver gang: nogle gange punkter, nogle gange et essay, nogle gange en undskyldning plus essayet. Det meste af det er indstillinger og manglende rammer, ikke en ødelagt installation. Du kan gøre opsummeringer, udtræk og små kodeopgaver gentagelige nok til en daglig arbejdsgang.

Denne side antager, at du allerede skriver en klar Prompt. Hvis formuleringen stadig er løs, så læs Sådan skriver du bedre Prompts til lokale AI-modeller først. De metoder, der overlever test, er samlet i Hvad der faktisk virker.

Hvorfor svaret ændrer sig

Udtrækket af det næste Token sker med en vis tilfældighed. Højere temperatur (temperature) betyder mere tilfældighed. En lang samtale betyder, at tidligere regler ligger længere fra det seneste spørgsmål. En åben Prompt (“skriv noget nyttigt”) har mange gyldige fortsættelser, så udvælgeren har plads til at drive. Du mindsker variationen ved at gøre det rum mindre: lavere temperatur, et Seed når du har brug for en ægte genkørsel, et format med lidt plads, en kort kontekst og en model, der ikke bliver bedt om at lave fem opgaver.

1. Sænk temperaturen, før du skriver Prompten om

Til en opgave, du vil gentage, så sæt temperaturen mellem 0,1 og 0,3. Lad top-p stå på programmets standard, medmindre du ved, hvorfor du ændrer den. Kør derefter den identiske Prompt tre gange.

Samme Prompt, tre hensigter:

List præcis 4 regler for filnavne i en delt mappe. Én sætning hver. Ingen indledning.

Temperatur 0,9: du kan få 3, 5 eller 4 regler plus en venlig indledning på nogle kørsler. Formuleringen hopper rundt. Døm ikke Prompten endnu.
Temperatur 0,2: du bør få 4 regler de fleste kørsler. Formuleringen ændrer sig stadig lidt. Det er normalt.
Temperatur 0: den mest gentagelige, og nogle gange den mest fade. Brug den til udtræk. Til skrivning er 0,2 som regel nok.

Listen ser tilfældig ud, så jeg skrev hele Prompten om, tilføjede en lang rolle og lod temperaturen stå på 1,0.

Du ændrede for meget, og du lod den indstilling stå, der laver omrokeringen. Frys Prompten, sænk temperaturen, og ret først derefter én linje, hvis formatet stadig er forkert.

2. Brug et Seed, når du sammenligner Prompts

Ollama, LM Studio og nogle andre programmer lader dig sætte et Seed. Samme model, samme Prompt, samme Seed og samme udtræksindstillinger bør komme tilbage næsten identiske. Sådan ser du, om en formulering hjalp.

En praktisk sammenligning:

Sæt temperaturen til 0,2 og Seed til 42.
Gem resultatet fra Prompt A.
Ændr én linje for at lave Prompt B. Behold Seed.
Sammenlign A og B. Hvis B er bedre, så behold den, og prøv derefter Seed 43 én gang for at se, om formatet stadig holder.

Hvis dit program ikke har Seed-styring, kan du ikke få helt identiske gentagelser. Du kan stadig kræve et format og en lav temperatur, og det er det, du har brug for til daglig brug. Et Seed er til test, ikke til brugere, der læser en opsummering.

3. Gør formatet svært at drive fra

Jo strammere formen er, jo mindre kan udvælgeren gøre. Etiketter er bedre end “organisér det her”.

Kan du organisere denne kundemail til noget, vores team kan bruge?

Omskriv mailen til kun disse etiketter: Anmodning: Produkt: Frist: Mangler: Regler: - Én linje pr. etiket - Hvis ukendt, så skriv “ikke angivet” - Tilføj ikke et anbefalet svar Mail: [indsæt]

Hvis modellen stadig tilføjer et anbefalet svar, så sæt forbuddet på sin egen sidste linje: “Skriv ikke et svar.” Regler på sidste linje bliver fulgt oftere end regler, der er begravet i midten.

4. Tilføj et tjek på én linje til skrøbelige formater

Brug det til JSON, tabeller og præcise antal. Brug det ikke til almindelig prosa.

Returner JSON med nøglerne sku og qty. qty er et heltal. Manglende værdier er null. Hvis en nøgle mangler, så ret JSON, før du svarer. Forklar ikke rettelsen. Tekst: [indsæt]

Læs resultatet. Hvis du ser et afsnit, der starter med “Jeg tjekkede JSON”, viser modellen tjekket. Tilføj “Returner kun JSON”, eller fjern tjekket, og stol på nøglelisten. Nogle små modeller kan ikke lave et stille tjek. I det tilfælde er nøglelisten alene den bedre Prompt.

Dobbelttjek dit arbejde grundigt, overvej kanttilfælde, og sørg for, at et eftertænksomt menneske ville være stolt af denne fødselsdagshilsen.

Der er ikke noget at tjekke. Du får en stiv hilsen og nogle gange et afsnit om kvalitet. Sæt et loft på ordene i stedet.

5. Hold konteksten kort

Regler fra ti beskeder siden er lette for en lille model at tabe. Til et job, der skal kunne gentages, så bliv ikke ved med at skrive videre. Start en ny session, eller indsæt reglerne igen øverst i den seneste besked.

Et mønster, der holder sig stabilt:

Én systembesked eller første besked med reglerne.
Én brugerbesked med kildeteksten.
Hvis du har brug for en revision: en ny samtale, der indeholder reglerne plus det forrige resultat, ikke hele historikken.

[efter 15 ture med blandede spørgsmål] Samme format som før, du ved, hvad jeg mener.

Det ved den ofte ikke. Indsæt formatet igen. “Samme som før” er ikke et format.

6. Match modellens størrelse til opgaven

En mindre model med en snæver Prompt er ofte mere ensartet end en større, generel model med en sjusket Prompt, men det er ikke magi. Brug en lille model til omskrivning, udtræk og korte opsummeringer af tekst, du selv giver. Brug en større lokal model, når opgaven kræver længere kode eller ræsonnement i flere trin. Bed ikke en 3B-model om at gennemgå en fil på 400 linjer og forvente en stabil gennemgang.

Hvis formatet holder på en 7B-model og falder fra hinanden på en 3B-model, så behold Prompten, og skift model. Bliv ikke ved med at tilføje regler, indtil den lille model er begravet.

En tjekliste, der kan gentages

Skriv formatet som etiketter, et antal eller JSON-nøgler.
Sæt kildeteksten efter reglerne, bag en tydelig etiket.
Sæt temperaturen til 0,2 for alt, du vil stole på.
Sæt en maks. Token-grænse lidt over det svar, du bad om.
Kør to gange. Hvis formen afviger, så stram den sidste linje, før du tilføjer nye regler.
Hvis du sammenligner to formuleringer, så sæt et Seed.
Hvis samtalen er lang, så start forfra, og indsæt reglerne igen.

Hvad ensartethed ikke er

Det er ikke identiske sætninger hver gang, medmindre temperaturen er tæt på 0, og Prompten er meget stram.
Det får ikke en model til at citere rigtige kilder, den ikke kan se. Indsæt kilden.
Det fjerner ikke behovet for at læse resultatet. Et stabilt forkert svar er stadig forkert. Til udtræk: tjek to felter mod originalteksten.
Det bliver ikke bedre af at indsætte en enorm indledning om “du er en ekspert, der aldrig laver fejl”. Den linje ændrer ikke udtrækket.

Når Prompten er stabil, så gem den. Prompt-biblioteket er et sæt udgangspunkter, du kan gemme ved siden af dine egne. Hvis du er usikker på, om en gemt Prompt er for lang til kontekstvinduet, så estimér den med Token-tælleren, før du vedhæfter en stor fil.