Počítadlo Tokenov
Odhadnite, koľko Tokenov Prompt spotrebuje, skôr než ho vložíte do lokálneho modelu. Počet sa počíta vo vašom prehliadači. Nie je to oficiálny tokenizer pre Llama, Mistral, Phi ani Qwen a môže sa mýliť zhruba o 10 až 15 percent. Použite ho na to, aby ste videli, či je Prompt krátky, pohodlný alebo sa chystá zaplniť kontextové okno — nie ako číslo na fakturáciu.
Ako odhad vzniká
Stránka spočíta znaky a vydelí ich koeficientom podľa rodiny modelov, ktorú zvolíte. Anglická próza je na tokenizéroch BPE v štýle Llama často blízko štyroch znakov na Token. Kód, JSON a text v iných písmach môžu byť hustejšie alebo redšie, preto je výsledok označený ako odhad. Nástroj tiež ukazuje počet znakov a slov, aby ste číslo mohli skontrolovať sedliackym rozumom: anglický odsek o 400 slovách býva v pásme 500 až 700 Tokenov, nie 4 000.
Tokenizéry v štýle Phi bývajú na angličtine o niečo úspornejšie, takže táto voľba používa o niečo menší deliteľ a odhad vyjde trochu vyššie. Qwen je na plánovací odhad dosť blízko koeficientu Llama. Ak potrebujete presný počet, použite tokenizer vo svojej aplikácii alebo vlastné nástroje modelu. Táto stránka sa s tým číslom nezhodne zakaždým.
Ako číslo použiť
- Vložte Prompt a dokument, ktorý chcete priložiť ako text.
- Vyberte najbližšiu rodinu modelov. Ak si nie ste istí, použite Llama / Mistral.
- Porovnajte odhad s kontextom, ktorý naozaj spúšťate: 4k, 8k, 16k alebo čokoľvek, čo karta modelu uvádza pre vašu kvantizáciu.
- Nechajte miesto na odpoveď. Ak Prompt už zaberá 70 percent okna, model odpoveď odsekne alebo zahodí začiatok Promptu.
Praktická rezerva: Prompt držte pod polovicou kontextu, ak chcete dlhú odpoveď, a pod tromi štvrtinami, ak chcete len krátku extrakciu. Odhad nie je sľub, že aplikácia používa to isté okno. Niektoré aplikácie si rezervujú Tokeny na systémový Prompt, ktorý nevidíte. Ak odpovede končia skoro, skráťte zdroj, nie len inštrukcie.
Prepočítané príklady
- Prompt k e-mailu o 120 slovách bez prílohy má zvyčajne pár stoviek Tokenov. Veľkosť okna nie je váš problém. Formát a teplota (temperature) áno. Pozrite Ako získať stabilné výsledky.
- Článok o 3 000 slovách plus inštrukcia na súhrn môže vyjsť okolo 4 000 Tokenov. To sa zmestí do okna 8k s miestom na krátky súhrn a na okne 4k je to tesné.
- Celý súbor kódu vložený „kvôli kontextu“ často minie rozpočet ešte pred otázkou. Vložte funkciu, nie celé úložisko.
Čo tento nástroj neurobí
- Nenačítava súbor slovníka modelu, takže nevie spočítať zvláštne Tokeny ani neviditeľný systémový Prompt.
- Nepodporuje dokonalý počet pre každý jazyk. Čínština, japončina a kórejčina často použijú menej znakov na Token, než anglický koeficient predpokladá, takže odhad môže vyjsť nízko. Ak text väčšinou nie je po anglicky, berte číslo ako dolnú hranicu a nechajte si rezervu.
- Váš text nikam neposiela. Počítanie prebieha na stránke.
Otázky
Prečo sa to nezhoduje s počtom Tokenov v LM Studio alebo Ollama?
Tie aplikácie používajú tokenizer modelu. Táto stránka používa deliteľ podľa znakov. Odchýlka asi do 15 percent sa očakáva. Ak ste pár stoviek Tokenov od limitu, verte aplikácii, nie tomuto odhadu.
Ktorú rodinu mám zvoliť pre Gemma alebo lokálne modely v štýle GPT?
Použite všeobecný odhad alebo odhad pre Llama. Rozdiel je menší než chybové pásmo tejto metódy.
Mám počítať aj odpoveď?
Toto pole počíta len to, čo vložíte. Dĺžku odpovede si pripočítajte sami. Päť odrážok je lacných. „Napíšte 2 000 slov“ nie je.
Môže kratší počet Tokenov opraviť zlú odpoveď?
Len ak zlyhanie spôsobilo plné okno. Ak je formát zle aj pri krátkom Prompte, prepíšte Prompt. Začnite pri Ako písať lepšie Prompty pre lokálne modely AI.