Contatore di token per modelli locali

Stima quanti token userà un prompt prima di incollarlo in un modello locale. Il conteggio si calcola nel tuo browser. Non è il tokenizzatore ufficiale di Llama, Mistral, Phi o Qwen, e può scostarsi all’incirca del 10–15 percento. Usalo per vedere se un prompt è corto, comodo o sta per riempire la finestra di contesto, non come una cifra di fatturazione.

Famiglia di modelli

Come si fa la stima

La pagina conta i caratteri e divide per un fattore che dipende dalla famiglia di modelli che scegli. La prosa inglese sta spesso vicino a quattro caratteri per token sui tokenizzatori BPE in stile Llama. Codice, JSON e testo in altri sistemi di scrittura possono essere più densi o più radi, ed è per questo che il risultato è etichettato come stima. Lo strumento mostra anche il conteggio di caratteri e di parole così puoi verificare il numero: un paragrafo inglese di 400 parole sta spesso nell’intervallo da 500 a 700 token, non a 4.000.

I tokenizzatori in stile Phi sono spesso un po’ più compatti sull’inglese, quindi quell’opzione usa un divisore leggermente più piccolo e la stima esce un po’ più alta. Qwen è abbastanza vicino al fattore di Llama per una stima di pianificazione. Se ti serve un conteggio esatto, usa il tokenizzatore della tua applicazione o gli strumenti propri del modello. Questa pagina non coinciderà con quel numero ogni volta.

Come usare il numero

Incolla il prompt e il documento che pensi di allegare come testo.
Scegli la famiglia di modelli più vicina. Se non sei sicuro, usa Llama / Mistral.
Confronta la stima con il contesto che esegui davvero: 4k, 8k, 16k o quello che dice la scheda del modello per la tua quantizzazione.
Lascia spazio per la risposta. Se il prompt è già il 70 percento della finestra, il modello taglierà la risposta o lascerà cadere l’inizio del prompt.

Un margine pratico: tieni il prompt sotto la metà del contesto se vuoi una risposta lunga, e sotto i tre quarti se vuoi solo un’estrazione corta. La stima non promette che l’applicazione usi la stessa finestra. Alcune applicazioni riservano token per un prompt di sistema che non puoi vedere. Se le risposte si fermano presto, accorcia la fonte, non solo le istruzioni.

Esempi svolti

Un prompt di email da 120 parole senza allegato di solito è qualche centinaio di token. La dimensione della finestra non è il tuo problema. Lo sono formato e temperatura (temperature). Vedi Come ottenere risultati costanti.
Un articolo di 3.000 parole più un’istruzione di riassunto può arrivare intorno ai 4.000 token. Sta in una finestra da 8k con spazio per un riassunto corto, ed è stretto su una finestra da 4k.
Un intero file di codice incollato «per contesto» spesso esaurisce lo spazio prima della domanda. Incolla la funzione, non l’intero deposito.

Riassumi il testo qui sotto in 5 punti elenco. Testo: [se questo blocco più l’articolo stimano oltre metà del tuo contesto, dividi l’articolo]

Che cosa questo strumento non farà

Non carica il file di vocabolario del modello, quindi non può contare token speciali né un prompt di sistema invisibile.
Non offre un conteggio perfetto per ogni lingua. Cinese, giapponese e coreano usano spesso meno caratteri per token di quanto assuma il fattore per l’inglese, così la stima può restare bassa. Se il testo non è soprattutto in inglese, tratta il numero come un minimo e lascia spazio in più.
Non invia il tuo testo da nessuna parte. Il conteggio avviene nella pagina.

Domande

Perché non coincide con il numero di token di LM Studio o Ollama?

Quelle applicazioni usano il tokenizzatore del modello. Questa pagina usa un divisore di caratteri. Restare entro circa il 15 percento è previsto. Se sei a poche centinaia di token dal limite, fidati dell’applicazione, non di questa stima.

Quale famiglia devo scegliere per Gemma o per modelli locali in stile GPT?

Usa la stima generica o quella di Llama. La differenza è più piccola del margine di errore di questo metodo.

Devo contare anche la risposta?

Questo riquadro conta solo ciò che incolli. Aggiungi tu la lunghezza della risposta. Cinque punti elenco costano poco. «Scrivi 2.000 parole» no.

Un conteggio di token più corto può sistemare una risposta cattiva?

Solo se il fallimento era una finestra piena. Se il formato è sbagliato su un prompt corto, riscrivi il prompt. Inizia da Come scrivere prompt migliori per modelli locali di IA.