Licznik Tokenów
Oszacuj, ile Tokenów zużyje Prompt, zanim wkleisz go do modelu lokalnego. Liczba jest liczona w przeglądarce. To nie jest oficjalny tokenizer Llama, Mistral, Phi ani Qwen i może się mylić o mniej więcej 10 do 15 procent. Użyj go, żeby zobaczyć, czy Prompt jest krótki, wygodny, czy zaraz zatka okno kontekstu — nie jako liczby do rozliczeń.
Jak powstaje szacunek
Strona liczy znaki i dzieli przez współczynnik zależny od rodziny modeli, którą wybierzesz. Angielska proza często ma blisko cztery znaki na Token przy tokenizerach BPE w stylu Llama. Kod, JSON i tekst w innych pismach bywa gęstszy albo rzadszy, dlatego wynik jest oznaczony jako szacunek. Narzędzie pokazuje też liczbę znaków i słów, żebyś mógł sprawdzić liczbę zdrowym rozsądkiem: angielski akapit na 400 słów często mieści się w 500 do 700 Tokenów, a nie w 4 000.
Tokenizery w stylu Phi często są na angielskim nieco bardziej zwarte, więc ta opcja używa trochę mniejszego dzielnika i szacunek wychodzi nieco wyżej. Qwen jest na tyle blisko współczynnika Llama, że wystarcza do planowania. Jeśli potrzebujesz dokładnej liczby, użyj tokenizera w swoim programie albo narzędzi samego modelu. Ta strona nie trafi w tę liczbę za każdym razem.
Jak użyć liczby
- Wklej Prompt i dokument, który chcesz dołączyć jako tekst.
- Wybierz najbliższą rodzinę modeli. Jeśli nie masz pewności, użyj Llama / Mistral.
- Porównaj szacunek z kontekstem, który naprawdę uruchamiasz: 4k, 8k, 16k albo tym, co karta modelu podaje dla twojej kwantyzacji.
- Zostaw miejsce na odpowiedź. Jeśli Prompt już zajmuje 70 procent okna, model utnie odpowiedź albo zgubi początek Promptu.
Praktyczny zapas: trzymaj Prompt poniżej połowy kontekstu, gdy chcesz długiej odpowiedzi, i poniżej trzech czwartych, gdy chcesz tylko krótkiego wyciągnięcia. Szacunek nie obiecuje, że program używa tego samego okna. Niektóre aplikacje rezerwują Tokeny na systemowy Prompt, którego nie widzisz. Jeśli odpowiedzi urywają się wcześnie, skróć źródło, nie tylko instrukcje.
Przykłady policzone
- Prompt maila na 120 słów bez załącznika to zwykle kilkaset Tokenów. Rozmiar okna nie jest twoim problemem. Format i temperatura są. Zobacz Jak uzyskiwać spójne wyniki.
- Artykuł na 3 000 słów plus instrukcja streszczenia może wyjść około 4 000 Tokenów. To mieści się w oknie 8k z miejscem na krótkie streszczenie i jest ciasno w oknie 4k.
- Cały plik kodu wklejony „dla kontekstu” często przepala budżet, zanim padnie pytanie. Wklej funkcję, nie całe repozytorium.
Czego to narzędzie nie zrobi
- Nie wczytuje pliku słownika modelu, więc nie policzy tokenów specjalnych ani niewidocznego systemowego Promptu.
- Nie daje idealnej liczby dla każdego języka. Chiński, japoński i koreański często używają mniej znaków na Token, niż zakłada współczynnik angielski, więc szacunek może wyjść za nisko. Jeśli tekst w większości nie jest po angielsku, traktuj liczbę jako dolną granicę i zostaw zapas.
- Nie wysyła twojego tekstu nigdzie. Liczenie dzieje się na stronie.
Pytania
Dlaczego to nie zgadza się z liczbą Tokenów w LM Studio albo Ollama?
Te aplikacje używają tokenizera modelu. Ta strona używa dzielnika znaków. Różnica w granicach około 15 procent jest oczekiwana. Jeśli jesteś o kilkaset Tokenów od limitu, ufaj programowi, nie temu szacunkowi.
Którą rodzinę wybrać dla Gemma albo modeli lokalnych w stylu GPT?
Użyj szacunku ogólnego albo Llama. Różnica jest mniejsza niż błąd tej metody.
Czy liczyć też odpowiedź?
To pole liczy tylko to, co wklejasz. Długość odpowiedzi dodaj sam. Pięć punktów jest tanie. „Napisz 2 000 słów” nie jest.
Czy mniejsza liczba Tokenów naprawi złą odpowiedź?
Tylko wtedy, gdy przyczyną było pełne okno. Jeśli format jest zły przy krótkim Prompcie, przepisz Prompt. Zacznij od Jak pisać lepsze Prompty do lokalnych modeli AI.