Token-tæller
Skøn, hvor mange Tokens en Prompt vil bruge, før du indsætter den i en lokal model. Tallet regnes i din browser. Det er ikke den officielle tokenizer for Llama, Mistral, Phi eller Qwen, og det kan ramme ved siden af med omkring 10 til 15 procent. Brug det til at se, om en Prompt er kort, behagelig eller ved at fylde kontekstvinduet — ikke som et tal til afregning.
Sådan laves estimatet
Siden tæller tegn og dividerer med en faktor, der afhænger af den modelfamilie, du vælger. Engelsk prosa ligger ofte nær fire tegn pr. Token på BPE-tokenizere i Llama-stil. Kode, JSON og tekst i andre skriftsystemer kan være tættere eller mere spredt, og derfor er resultatet mærket som et estimat. Værktøjet viser også tegn- og ordtal, så du kan tjekke tallet fornuftigt: et engelsk afsnit på 400 ord ligger ofte i området 500 til 700 Tokens, ikke 4.000.
Tokenizere i Phi-stil er ofte en smule mere kompakte på engelsk, så den mulighed bruger en lidt mindre divisor, og estimatet bliver en smule højere. Qwen ligger tæt nok på Llama-faktoren til et planlægningsestimat. Hvis du har brug for et præcist tal, så brug tokenizeren i dit program eller modellens egne værktøjer. Denne side rammer ikke det tal hver gang.
Sådan bruger du tallet
- Indsæt Prompten og det dokument, du vil vedhæfte som tekst.
- Vælg den nærmeste modelfamilie. Hvis du er i tvivl, så brug Llama / Mistral.
- Sammenlign estimatet med den kontekst, du faktisk kører: 4k, 8k, 16k eller det, modelkortet siger for din kvantisering.
- Lad der være plads til svaret. Hvis Prompten allerede er 70 procent af vinduet, klipper modellen svaret eller taber starten af Prompten.
En praktisk buffer: hold Prompten under halvdelen af konteksten, hvis du vil have et langt svar, og under tre fjerdedele, hvis du kun vil have et kort udtræk. Estimatet er ikke et løfte om, at programmet bruger det samme vindue. Nogle programmer reserverer Tokens til en system-Prompt, du ikke kan se. Hvis svar stopper tidligt, så gør kilden kortere, ikke kun instruktionerne.
Gennemregnede eksempler
- En mail-Prompt på 120 ord uden vedhæftning er som regel nogle få hundrede Tokens. Vinduesstørrelsen er ikke dit problem. Format og temperatur er det. Se Sådan får du ensartede resultater.
- En artikel på 3.000 ord plus en opsummeringsinstruktion kan lande omkring 4.000 Tokens. Det passer i et vindue på 8k med plads til en kort opsummering, og det er trangt i et vindue på 4k.
- En hel kodefil indsat “for kontekst” sprænger ofte budgettet, før spørgsmålet kommer. Indsæt funktionen, ikke hele repositoriet.
Det her værktøj gør ikke
- Det indlæser ikke modellens ordforrådsfil, så det kan ikke tælle særlige Tokens eller en usynlig system-Prompt.
- Det understøtter ikke et perfekt tal for hvert sprog. Kinesisk, japansk og koreansk bruger ofte færre tegn pr. Token, end den engelske faktor antager, så estimatet kan blive for lavt. Hvis teksten mest ikke er engelsk, så behandl tallet som et gulv, og lad der være ekstra plads.
- Det sender ikke din tekst nogen steder. Optællingen sker på siden.
Spørgsmål
Hvorfor matcher det ikke Token-tallet i LM Studio eller Ollama?
De programmer bruger modellens tokenizer. Denne side bruger en tegndivisor. At ligge inden for omkring 15 procent er forventet. Hvis du er inden for nogle få hundrede Tokens fra grænsen, så stol på programmet, ikke på dette estimat.
Hvilken familie skal jeg vælge til Gemma eller lokale modeller i GPT-stil?
Brug det generelle estimat eller Llama-estimatet. Forskellen er mindre end fejlmarginen for denne metode.
Skal jeg også tælle svaret?
Feltet tæller kun det, du indsætter. Læg selv svarlængden oveni. Fem punkter er billige. “Skriv 2.000 ord” er det ikke.
Kan et lavere Token-tal rette et dårligt svar?
Kun hvis fejlen var et fuldt vindue. Hvis formatet er forkert på en kort Prompt, så skriv Prompten om. Start med Sådan skriver du bedre Prompts til lokale AI-modeller.