Compteur de Tokens pour modèles locaux

Estimez combien de Tokens un prompt utilisera avant de le coller dans un modèle local. Le compte est calculé dans votre navigateur. Ce n’est pas le tokenizer officiel de Llama, Mistral, Phi ou Qwen, et il peut s’écarter d’environ 10 à 15 pour cent. Utilisez-le pour voir si un prompt est court, confortable ou sur le point d’encombrer la fenêtre de contexte — pas comme un chiffre de facturation.

Famille de modèles

Comment l’estimation est faite

La page compte les caractères et divise par un facteur qui dépend de la famille de modèles que vous choisissez. La prose anglaise est souvent près de quatre caractères par Token sur les tokenizers BPE de style Llama. Le code, le JSON et le texte dans d’autres écritures peuvent être plus denses ou plus clairsemés, c’est pourquoi le résultat est étiqueté comme une estimation. L’outil montre aussi les comptes de caractères et de mots pour que vous puissiez vérifier le nombre : un paragraphe anglais de 400 mots est souvent dans la fourchette de 500 à 700 Tokens, pas 4 000.

Les tokenizers de style Phi sont souvent un peu plus compacts sur l’anglais, donc cette option utilise un diviseur un peu plus petit et l’estimation sort un peu plus haute. Qwen est assez proche du facteur Llama pour une estimation de planification. Si vous avez besoin d’un compte exact, utilisez le tokenizer de votre programme ou les outils propres au modèle. Cette page ne retrouvera pas ce nombre à chaque fois.

Comment utiliser le nombre

Collez le prompt et le document que vous comptez joindre comme texte.
Choisissez la famille de modèles la plus proche. Si vous n’êtes pas sûr, utilisez Llama / Mistral.
Comparez l’estimation avec le contexte que vous exécutez vraiment : 4k, 8k, 16k, ou ce que la fiche du modèle indique pour votre quantification.
Laissez de la place pour la réponse. Si le prompt est déjà à 70 pour cent de la fenêtre, le modèle coupera la réponse ou laissera tomber le début du prompt.

Une marge pratique : gardez le prompt sous la moitié du contexte si vous voulez une longue réponse, et sous les trois quarts si vous ne voulez qu’une courte extraction. L’estimation n’est pas une promesse que le programme utilise la même fenêtre. Certaines applications réservent des Tokens pour un prompt système que vous ne voyez pas. Si les réponses s’arrêtent tôt, raccourcissez la source, pas seulement les instructions.

Exemples travaillés

Un prompt d’e-mail de 120 mots sans pièce jointe fait d’habitude quelques centaines de Tokens. La taille de la fenêtre n’est pas votre problème. Le format et la température (temperature) le sont. Voir Comment obtenir des résultats stables.
Un article de 3 000 mots plus une instruction de résumé peut tomber autour de 4 000 Tokens. Cela tient dans une fenêtre de 8k avec de la place pour un court résumé, et c’est serré sur une fenêtre de 4k.
Tout un fichier de code collé « pour le contexte » fait souvent sauter le budget avant la question. Collez la fonction, pas le dépôt.

Résumez le texte ci-dessous en 5 puces. Texte : [si ce bloc plus l’article estime plus de la moitié de votre contexte, découpez l’article]

Ce que cet outil ne fera pas

Il ne charge pas le fichier de vocabulaire du modèle, donc il ne peut pas compter les Tokens spéciaux ni un prompt système invisible.
Il ne prend pas en charge un compte parfait pour chaque langue. Le chinois, le japonais et le coréen utilisent souvent moins de caractères par Token que le facteur anglais ne suppose, donc l’estimation peut être trop basse. Si le texte n’est pas surtout de l’anglais, traitez le nombre comme un plancher et laissez de la marge.
Il n’envoie votre texte nulle part. Le comptage se fait dans la page.

Questions

Pourquoi cela ne correspond-il pas au nombre de Tokens dans LM Studio ou Ollama ?

Ces applications utilisent le tokenizer du modèle. Cette page utilise un diviseur de caractères. Être à environ 15 pour cent près est attendu. Si vous êtes à quelques centaines de Tokens de la limite, fiez-vous au programme, pas à cette estimation.

Quelle famille choisir pour Gemma ou les modèles locaux de style GPT ?

Utilisez l’estimation générique ou celle de Llama. La différence est plus petite que la marge d’erreur de cette méthode.

Dois-je compter la réponse aussi ?

Ce champ ne compte que ce que vous collez. Ajoutez vous-même la longueur de la réponse. Cinq puces coûtent peu. « Écrivez 2 000 mots » ne coûte pas peu.

Un compte de Tokens plus court peut-il réparer une mauvaise réponse ?

Seulement si l’échec était une fenêtre pleine. Si le format est faux sur un prompt court, réécrivez le prompt. Commencez par Comment écrire de meilleurs prompts pour les modèles d’IA locaux.