Token-Zähler für lokale Modelle

Schätzen Sie, wie viele Tokens ein Prompt verbraucht, bevor Sie ihn in ein lokales Modell einfügen. Die Zahl wird in Ihrem Browser berechnet. Es ist nicht der offizielle Tokenizer für Llama, Mistral, Phi oder Qwen und kann um grob 10 bis 15 Prozent danebenliegen. Nutzen Sie ihn, um zu sehen, ob ein Prompt kurz, bequem oder kurz davor ist, das Kontextfenster zu füllen — nicht als Abrechnungszahl.

Modellfamilie

Wie die Schätzung entsteht

Die Seite zählt Zeichen und teilt durch einen Faktor, der von der Modellfamilie abhängt, die Sie wählen. Englischer Fließtext liegt bei Tokenizern im Llama-Stil mit BPE oft nahe vier Zeichen pro Token. Code, JSON und Text in anderen Schriften können dichter oder dünner sein, deshalb ist das Ergebnis als Schätzung beschriftet. Das Werkzeug zeigt auch Zeichen- und Wortzahlen, damit Sie die Zahl gegenprüfen können: ein englischer Absatz von 400 Wörtern liegt oft im Bereich von 500 bis 700 Tokens, nicht bei 4.000.

Tokenizer im Phi-Stil sind bei Englisch oft etwas kompakter, deshalb nutzt diese Option einen etwas kleineren Teiler und die Schätzung fällt etwas höher aus. Qwen liegt für eine Planungsschätzung nah genug am Llama-Faktor. Wenn Sie eine genaue Zahl brauchen, nutzen Sie den Tokenizer in Ihrem Programm oder die eigenen Werkzeuge des Modells. Diese Seite wird diese Zahl nicht jedes Mal treffen.

Wie Sie die Zahl nutzen

Fügen Sie den Prompt und das Dokument ein, das Sie als Text anhängen wollen.
Wählen Sie die nächste Modellfamilie. Wenn Sie unsicher sind, nutzen Sie Llama / Mistral.
Vergleichen Sie die Schätzung mit dem Kontext, den Sie wirklich laufen lassen: 4k, 8k, 16k oder was die Modellkarte für Ihre Quantisierung sagt.
Lassen Sie Raum für die Antwort. Wenn der Prompt schon 70 Prozent des Fensters ist, schneidet das Modell die Antwort ab oder lässt den Anfang des Prompts fallen.

Ein praktischer Puffer: halten Sie den Prompt unter der Hälfte des Kontexts, wenn Sie eine lange Antwort wollen, und unter drei Vierteln, wenn Sie nur eine kurze Extraktion wollen. Die Schätzung ist kein Versprechen, dass das Programm dasselbe Fenster nutzt. Manche Apps reservieren Tokens für einen System-Prompt, den Sie nicht sehen. Wenn Antworten früh aufhören, kürzen Sie die Quelle, nicht nur die Anweisungen.

Ausgearbeitete Beispiele

Ein E-Mail-Prompt von 120 Wörtern ohne Anhang ist meist ein paar hundert Tokens. Die Fenstergröße ist nicht Ihr Problem. Format und Temperatur (temperature) sind es. Siehe So erhalten Sie gleichbleibende Ergebnisse.
Ein Artikel von 3.000 Wörtern plus eine Zusammenfassungsanweisung kann bei etwa 4.000 Tokens landen. Das passt in ein 8k-Fenster mit Raum für eine kurze Zusammenfassung und ist auf einem 4k-Fenster eng.
Eine ganze Codedatei „als Kontext“ eingefügt sprengt oft das Budget, bevor die Frage kommt. Fügen Sie die Funktion ein, nicht das Projektarchiv.

Fassen Sie den Text unten in 5 Aufzählungspunkten zusammen. Text: [wenn dieser Block plus der Artikel über die Hälfte Ihres Kontexts schätzt, teilen Sie den Artikel]

Was dieses Werkzeug nicht tut

Es lädt die Vokabulardatei des Modells nicht, also kann es keine Sonder-Tokens und keinen unsichtbaren System-Prompt zählen.
Es unterstützt keine perfekte Zahl für jede Sprache. Chinesisch, Japanisch und Koreanisch nutzen oft weniger Zeichen pro Token, als der englische Faktor annimmt, deshalb kann die Schätzung zu niedrig ausfallen. Wenn der Text überwiegend nicht Englisch ist, behandeln Sie die Zahl als Untergrenze und lassen Sie extra Raum.
Es sendet Ihren Text nirgendwohin. Das Zählen geschieht auf der Seite.

Fragen

Warum trifft das nicht die Token-Zahl in LM Studio oder Ollama?

Diese Apps nutzen den Tokenizer des Modells. Diese Seite nutzt einen Zeichenteiler. Eine Abweichung von etwa 15 Prozent ist zu erwarten. Wenn Sie nur ein paar hundert Tokens von der Grenze entfernt sind, vertrauen Sie dem Programm, nicht dieser Schätzung.

Welche Familie soll ich für Gemma oder lokale Modelle im GPT-Stil wählen?

Nutzen Sie die allgemeine Schätzung oder die für Llama. Der Unterschied ist kleiner als die Fehlerspanne dieser Methode.

Soll ich die Antwort auch zählen?

Dieses Feld zählt nur, was Sie einfügen. Addieren Sie die Länge der Antwort selbst. Fünf Aufzählungspunkte sind günstig. „Schreiben Sie 2.000 Wörter“ ist es nicht.

Kann eine kürzere Token-Zahl eine schlechte Antwort reparieren?

Nur wenn das Scheitern ein volles Fenster war. Wenn das Format bei einem kurzen Prompt falsch ist, schreiben Sie den Prompt um. Beginnen Sie mit So schreiben Sie bessere Prompts für lokale KI-Modelle.