Token-teller
Schat hoeveel tokens een prompt gaat gebruiken voordat je hem in een lokaal model plakt. De telling wordt in je browser berekend. Het is niet de officiële tokenisator van Llama, Mistral, Phi of Qwen, en hij kan er ruwweg 10 tot 15 procent naast zitten. Gebruik hem om te zien of een prompt kort is, ruim zit of het contextvenster bijna vult — niet als een factuurbedrag.
Hoe de schatting wordt gemaakt
De pagina telt tekens en deelt door een factor die afhangt van de modelfamilie die je kiest. Engels proza zit op tokenisators in Llama-stijl met BPE vaak dicht bij vier tekens per token. Code, JSON en tekst in andere schriften kunnen dichter of ijler zijn, en daarom heet het resultaat een schatting. De tool toont ook het aantal tekens en woorden, zodat je het getal kunt controleren: een Engelse alinea van 400 woorden zit vaak in de band van 500 tot 700 tokens, niet op 4.000.
Tokenisators in Phi-stijl zijn op Engels vaak iets compacter, dus die optie gebruikt een iets kleinere deler en de schatting komt iets hoger uit. Qwen zit dicht genoeg bij de Llama-factor voor een planningsschatting. Als je een exacte telling nodig hebt, gebruik dan de tokenisator in je programma of de eigen tools van het model. Deze pagina zal dat getal niet elke keer evenaren.
Hoe je het getal gebruikt
- Plak de prompt en het document dat je als tekst wilt meesturen.
- Kies de dichtstbijzijnde modelfamilie. Bij twijfel gebruik je Llama / Mistral.
- Vergelijk de schatting met de context die je echt draait: 4k, 8k, 16k, of wat de modelkaart zegt voor jouw kwantisatie.
- Laat ruimte over voor het antwoord. Als de prompt al 70 procent van het venster is, kapt het model het antwoord af of laat het het begin van de prompt vallen.
Een praktische marge: houd de prompt onder de helft van de context als je een lang antwoord wilt, en onder driekwart als je alleen een korte extractie wilt. De schatting is geen belofte dat het programma hetzelfde venster gebruikt. Sommige apps reserveren tokens voor een systeemprompt die je niet ziet. Als antwoorden vroeg stoppen, kort dan de bron in, niet alleen de instructies.
Uitgewerkte voorbeelden
- Een e-mailprompt van 120 woorden zonder bijlage is meestal een paar honderd tokens. De venstergrootte is niet je probleem. Formaat en temperatuur wel. Zie Hoe je consistente resultaten krijgt.
- Een artikel van 3.000 woorden plus een samenvatinstructie kan rond de 4.000 tokens uitkomen. Dat past in een venster van 8k met ruimte voor een korte samenvatting, en het zit krap in een venster van 4k.
- Een heel codebestand geplakt “voor de context” blaast het budget vaak op vóór de vraag. Plak de functie, niet het hele project.
Wat deze tool niet doet
- Hij laadt het vocabulairebestand van het model niet, dus hij kan geen speciale tokens of een onzichtbare systeemprompt tellen.
- Hij ondersteunt geen perfecte telling voor elke taal. Chinees, Japans en Koreaans gebruiken vaak minder tekens per token dan de Engelse factor aanneemt, dus de schatting kan te laag uitvallen. Als de tekst vooral niet Engels is, behandel het getal dan als een ondergrens en laat extra ruimte.
- Hij stuurt je tekst nergens heen. Het tellen gebeurt op de pagina.
Vragen
Waarom komt dit niet overeen met het tokenaantal in LM Studio of Ollama?
Die apps gebruiken de tokenisator van het model. Deze pagina gebruikt een deler op tekens. Binnen ongeveer 15 procent blijven is verwacht. Als je binnen een paar honderd tokens van de limiet zit, vertrouw dan het programma, niet deze schatting.
Welke familie kies ik voor Gemma of lokale modellen in GPT-stijl?
Gebruik de algemene schatting of die van Llama. Het verschil is kleiner dan de foutmarge van deze methode.
Moet ik het antwoord ook meetellen?
Dit vak telt alleen wat je plakt. Tel de lengte van het antwoord er zelf bij op. Vijf punten zijn goedkoop. “Schrijf 2.000 woorden” is dat niet.
Kan een lager tokenaantal een slecht antwoord repareren?
Alleen als de fout een vol venster was. Als het formaat fout is bij een korte prompt, herschrijf dan de prompt. Begin met Hoe je betere Prompts schrijft voor lokale AI-modellen.