Počítadlo Tokenů
Odhadněte, kolik Tokenů Prompt spotřebuje, než ho vložíte do lokálního modelu. Počet se počítá ve vašem prohlížeči. Není to oficiální tokenizer pro Llama, Mistral, Phi ani Qwen a může se mýlit zhruba o 10 až 15 procent. Použijte ho k tomu, abyste viděli, jestli je Prompt krátký, pohodlný, nebo se chystá zaplnit kontextové okno — ne jako číslo k fakturaci.
Jak odhad vzniká
Stránka spočítá znaky a vydělí je koeficientem podle rodiny modelů, kterou zvolíte. Anglická próza je na tokenizérech BPE ve stylu Llama často blízko čtyř znaků na Token. Kód, JSON a text v jiných písmech mohou být hustší nebo řidší, proto je výsledek označený jako odhad. Nástroj také ukazuje počet znaků a slov, abyste číslo mohli zkontrolovat selským rozumem: anglický odstavec o 400 slovech bývá v pásmu 500 až 700 Tokenů, ne 4 000.
Tokenizéry ve stylu Phi bývají na angličtině o něco úspornější, takže tato volba používá o něco menší dělitel a odhad vyjde trochu výš. Qwen je pro plánovací odhad dost blízko koeficientu Llama. Potřebujete-li přesný počet, použijte tokenizer ve své aplikaci nebo vlastní nástroje modelu. Tahle stránka se s tím číslem neshodne pokaždé.
Jak číslo použít
- Vložte Prompt a dokument, který chcete přiložit jako text.
- Vyberte nejbližší rodinu modelů. Pokud si nejste jistí, použijte Llama / Mistral.
- Porovnejte odhad s kontextem, který opravdu spouštíte: 4k, 8k, 16k, nebo cokoli, co karta modelu uvádí pro vaši kvantizaci.
- Nechte místo na odpověď. Pokud Prompt už zabírá 70 procent okna, model odpověď usekne, nebo zahodí začátek Promptu.
Praktická rezerva: Prompt držte pod polovinou kontextu, pokud chcete dlouhou odpověď, a pod třemi čtvrtinami, pokud chcete jen krátkou extrakci. Odhad není slib, že aplikace používá stejné okno. Některé aplikace si rezervují Tokeny na systémový Prompt, který nevidíte. Pokud odpovědi končí brzy, zkraťte zdroj, ne jen instrukce.
Propočítané příklady
- Prompt k e-mailu o 120 slovech bez přílohy má obvykle pár set Tokenů. Velikost okna není váš problém. Formát a teplota (temperature) ano. Viz Jak získat stabilní výsledky.
- Článek o 3 000 slovech plus instrukce ke shrnutí může vyjít kolem 4 000 Tokenů. To se vejde do okna 8k s místem na krátké shrnutí a na okně 4k je to těsné.
- Celý soubor kódu vložený „kvůli kontextu“ často vyčerpá rozpočet ještě před otázkou. Vložte funkci, ne celé úložiště.
Co tento nástroj neudělá
- Nenačítá soubor slovníku modelu, takže neumí spočítat zvláštní Tokeny ani neviditelný systémový Prompt.
- Nepodporuje dokonalý počet pro každý jazyk. Čínština, japonština a korejština často použijí méně znaků na Token, než anglický koeficient předpokládá, takže odhad může vyjít nízko. Pokud text většinou není anglicky, berte číslo jako dolní mez a nechte si rezervu.
- Váš text nikam neposílá. Počítání probíhá na stránce.
Otázky
Proč se to neshoduje s počtem Tokenů v LM Studio nebo Ollama?
Ty aplikace používají tokenizer modelu. Tahle stránka používá dělitel podle znaků. Odchylka asi do 15 procent se čeká. Pokud jste pár set Tokenů od limitu, věřte aplikaci, ne tomuto odhadu.
Jakou rodinu mám zvolit pro Gemma nebo lokální modely ve stylu GPT?
Použijte obecný odhad nebo odhad pro Llama. Rozdíl je menší než chybové pásmo této metody.
Mám počítat i odpověď?
Tohle pole počítá jen to, co vložíte. Délku odpovědi si přičtěte sami. Pět odrážek je levných. „Napište 2 000 slov“ není.
Může kratší počet Tokenů spravit špatnou odpověď?
Jen pokud selhání způsobilo plné okno. Pokud je formát špatně i u krátkého Promptu, přepište Prompt. Začněte u Jak psát lepší Prompty pro lokální modely AI.