Come ottenere risultati costanti dai modelli locali di IA

I modelli locali sembrano imprevedibili quando lo stesso prompt dà una forma diversa ogni volta: a volte punti elenco, a volte un saggio, a volte una scusa più il saggio. Quasi tutto questo sono impostazioni e vincoli mancanti, non un’installazione rotta. Puoi rendere riassunti, estrazione e piccoli compiti di codice abbastanza ripetibili da usarli in un flusso quotidiano.

Questa pagina presume che tu scriva già un prompt chiaro. Se la formulazione è ancora lenta, leggi prima Come scrivere prompt migliori per modelli locali di IA. I metodi che sopravvivono alle prove sono riassunti in Cosa funziona davvero.

Perché la risposta cambia

Il campionamento sceglie il token successivo con un po’ di casualità. Una temperatura (temperature) più alta significa più casualità. Una chat lunga significa che le regole precedenti sono più lontane dall’ultima domanda. Un prompt aperto («scrivi qualcosa di utile») ha molti completamenti validi, così il campionatore ha spazio per vagare. Riduci la variazione restringendo quello spazio: temperatura più bassa, un Seed quando ti serve una vera riesecuzione, un formato con poco margine, un contesto corto e un modello a cui non si chiedono cinque lavori.

1. Abbassa la temperatura prima di riscrivere il prompt

Per un compito che vuoi ripetere, imposta la temperatura tra 0.1 e 0.3. Lascia top-p al valore predefinito dell’applicazione, salvo che tu sappia perché lo cambi. Poi esegui il prompt identico tre volte.

Lo stesso prompt, tre intenzioni:

Elenca esattamente 4 regole per nominare i file in una cartella condivisa. Una frase ciascuna. Nessuna introduzione.

Temperatura 0.9: puoi ottenere 3, 5 o 4 regole, più un’introduzione cordiale in alcune esecuzioni. La formulazione salta. Non giudicare ancora il prompt.
Temperatura 0.2: dovresti ottenere 4 regole nella maggior parte delle esecuzioni. La formulazione cambia ancora un poco. È normale.
Temperatura 0: il più ripetibile, e a volte il più scialbo. Usalo per l’estrazione. Per la scrittura, 0.2 di solito basta.

L’elenco sembra casuale, così ho riscritto l’intero prompt, ho aggiunto un personaggio lungo e ho lasciato la temperatura a 1.0.

Hai cambiato troppo e hai lasciato l’impostazione che causa il rimescolamento. Congela il prompt, abbassa la temperatura e solo allora modifica una riga se il formato è ancora sbagliato.

2. Usa un Seed quando confronti i prompt

Ollama, LM Studio e alcuni altri programmi ti lasciano impostare un Seed. Lo stesso modello, lo stesso prompt, lo stesso Seed e le stesse impostazioni di campionamento dovrebbero tornare quasi identici. È così che capisci se un cambio di formulazione ha aiutato.

Un confronto pratico:

Imposta la temperatura a 0.2 e il Seed a 42.
Salva il risultato del prompt A.
Cambia una riga per fare il prompt B. Tieni il Seed.
Confronta A e B. Se B è migliore, tienilo e poi prova una volta il Seed 43 per vedere se il formato regge ancora.

Se la tua applicazione non ha un controllo del Seed, non puoi ottenere ripetizioni identiche al bit. Puoi comunque esigere un formato e una temperatura bassa, che è ciò che ti serve per l’uso quotidiano. Un Seed serve per le prove, non per chi legge un riassunto.

3. Rendi il formato difficile da abbandonare

Più la forma è stretta, meno può fare il campionatore. Le etichette sono meglio di «organizza questo».

Puoi organizzare questa email di un cliente in qualcosa che il gruppo possa usare?

Riscrivi l’email solo con queste etichette: Richiesta: Prodotto: Scadenza: Manca: Regole: - Una riga per etichetta - Se non si sa, scrivi «non indicato» - Non aggiungere una risposta consigliata Email: [incolla]

Se il modello aggiunge ancora una risposta consigliata, metti il divieto su un’ultima riga a sé: «Non scrivere una risposta». Le regole dell’ultima riga vengono seguite più spesso delle regole sepolte in mezzo.

4. Aggiungi un controllo di una riga per i formati fragili

Usalo per JSON, tabelle e conteggi esatti. Non usarlo per la prosa ordinaria.

Restituisci JSON con le chiavi sku e qty. qty è un intero. I valori mancanti sono null. Se manca una chiave, correggi il JSON prima di rispondere. Non spiegare la correzione. Testo: [incolla]

Leggi il risultato. Se vedi un paragrafo che inizia con «Ho controllato il JSON», il modello sta mostrando il controllo. Aggiungi «Restituisci solo il JSON» oppure togli il controllo e affidati all’elenco delle chiavi. Alcuni modelli piccoli non sanno fare un controllo silenzioso. In quel caso l’elenco delle chiavi da solo è il prompt migliore.

Ricontrolla il lavoro con cura, considera i casi limite e assicurati che una persona riflessiva sarebbe orgogliosa di questo messaggio di compleanno.

Non c’è niente da controllare. Otterrai un messaggio rigido e a volte un paragrafo sulla qualità. Limita le parole, invece.

5. Tieni il contesto corto

Le regole di dieci messaggi fa sono facili da lasciare cadere per un modello piccolo. Per un lavoro ripetibile, non continuare a chiacchierare. Apri una sessione nuova, oppure incolla di nuovo le regole in cima all’ultimo messaggio.

Uno schema che resta stabile:

Un messaggio di sistema o un primo messaggio con le regole.
Un messaggio dell’utente con il testo sorgente.
Se ti serve una revisione, una chat nuova che contiene le regole più il risultato precedente, non l’intera cronologia.

[dopo 15 turni di domande mescolate] Lo stesso formato di prima, sai che cosa intendo.

Spesso non lo sa. Incolla di nuovo il formato. «Come prima» non è un formato.

6. Abbina la dimensione del modello al lavoro

Un modello più piccolo con un prompt stretto è spesso più costante di un modello generale più grande con uno trascurato, ma non è magia. Usa un modello piccolo per riscrivere, estrarre e fare riassunti brevi di un testo che fornisci tu. Usa un modello locale più grande quando il compito richiede codice più lungo o un ragionamento a più passi. Non chiedere a un modello da 3B di rivedere un file di 400 righe e aspettarti una revisione stabile.

Se il formato regge su un modello da 7B e si sfascia su uno da 3B, tieni il prompt e cambia modello. Non continuare ad aggiungere regole fino a seppellire il modello piccolo.

Una lista di controllo ripetibile

Scrivi il formato come etichette, un conteggio o chiavi JSON.
Metti il testo sorgente dopo le regole, dietro un’etichetta chiara.
Imposta la temperatura a 0.2 per qualunque cosa di cui vuoi fidarti.
Imposta un limite massimo di token un po’ sopra la risposta che hai chiesto.
Esegui due volte. Se la forma differisce, stringi l’ultima riga prima di aggiungere regole nuove.
Se confronti due formulazioni, imposta un Seed.
Se la chat è lunga, ricomincia e incolla di nuovo le regole.

Che cosa la costanza non è

Non sono frasi identiche ogni volta, salvo che la temperatura sia vicina a 0 e il prompt sia molto stretto.
Non fa citare a un modello fonti reali che non può vedere. Incolla la fonte.
Non toglie il bisogno di leggere il risultato. Una risposta stabile e sbagliata è comunque sbagliata. Per l’estrazione, controlla due campi rispetto al testo originale.
Non migliora incollando un enorme preambolo «sei un esperto che non sbaglia mai». Quella riga non cambia il campionamento.

Quando il prompt è stabile, salvalo. La Biblioteca di prompt è un insieme di punti di partenza che puoi conservare accanto ai tuoi. Se non sai se un prompt salvato è troppo lungo per la finestra di contesto, stimane la dimensione con il Contatore di token prima di allegare un file grande.