Contador de Tokens
Estime quantos tokens um prompt vai usar antes de o colar num modelo local. A contagem é calculada no seu navegador. Não é o tokenizador oficial de Llama, Mistral, Phi ou Qwen, e pode falhar em cerca de 10 a 15 por cento. Use-o para ver se um prompt é curto, confortável ou está prestes a encher a janela de contexto — não como um valor de faturação.
Como a estimativa é feita
A página conta caracteres e divide por um fator que depende da família de modelos que escolher. A prosa em inglês anda muitas vezes perto de quatro caracteres por token em tokenizadores BPE ao estilo Llama. Código, JSON e texto noutros sistemas de escrita podem ser mais densos ou mais esparsos, e é por isso que o resultado se chama estimativa. A ferramenta também mostra contagens de caracteres e de palavras para poder conferir o número: um parágrafo inglês de 400 palavras anda muitas vezes na faixa de 500 a 700 tokens, não em 4.000.
Os tokenizadores ao estilo Phi são muitas vezes um pouco mais compactos em inglês, por isso essa opção usa um divisor um pouco menor e a estimativa sai um pouco mais alta. O Qwen está suficientemente perto do fator do Llama para uma estimativa de planeamento. Se precisar de uma contagem exata, use o tokenizador do seu programa ou as ferramentas do próprio modelo. Esta página não vai acertar nesse número de todas as vezes.
Como usar o número
- Cole o prompt e o documento que planeia anexar, em texto.
- Escolha a família de modelos mais próxima. Se não tiver a certeza, use Llama / Mistral.
- Compare a estimativa com o contexto que realmente executa: 4k, 8k, 16k, ou o que a ficha do modelo indicar para a sua quantização.
- Deixe espaço para a resposta. Se o prompt já for 70 por cento da janela, o modelo vai cortar a resposta ou largar o início do prompt.
Uma margem prática: mantenha o prompt abaixo de metade do contexto se quiser uma resposta longa, e abaixo de três quartos se só quiser uma extração curta. A estimativa não é uma promessa de que o programa usa a mesma janela. Algumas aplicações reservam tokens para um prompt de sistema que você não vê. Se as respostas pararem cedo, encurte a origem, não apenas as instruções.
Exemplos trabalhados
- Um prompt de e-mail de 120 palavras sem anexo são normalmente algumas centenas de tokens. O tamanho da janela não é o seu problema. O formato e a temperatura é que são. Veja Como obter resultados consistentes.
- Um artigo de 3.000 palavras mais uma instrução de resumo pode ficar à volta de 4.000 tokens. Isso cabe numa janela de 8k com espaço para um resumo curto, e fica apertado numa janela de 4k.
- Um ficheiro de código inteiro colado «para contexto» estoura muitas vezes o orçamento antes da pergunta. Cole a função, não o repositório.
O que esta ferramenta não faz
- Não carrega o ficheiro de vocabulário do modelo, por isso não consegue contar tokens especiais nem um prompt de sistema invisível.
- Não oferece uma contagem perfeita para todas as línguas. Chinês, japonês e coreano usam muitas vezes menos caracteres por token do que o fator de inglês pressupõe, por isso a estimativa pode ficar baixa. Se o texto for sobretudo noutra língua que não o inglês, trate o número como um mínimo e deixe margem extra.
- Não envia o seu texto para lado nenhum. A contagem acontece na página.
Perguntas
Porque é que isto não coincide com o número de tokens no LM Studio ou no Ollama?
Essas aplicações usam o tokenizador do modelo. Esta página usa um divisor de caracteres. Ficar dentro de cerca de 15 por cento é o esperado. Se estiver a poucas centenas de tokens do limite, confie no programa, não nesta estimativa.
Que família devo escolher para a Gemma ou para modelos locais ao estilo GPT?
Use a estimativa genérica ou a do Llama. A diferença é menor do que a margem de erro deste método.
Devo contar também a resposta?
Esta caixa só conta o que você cola. Acrescente você mesmo o tamanho da resposta. Cinco pontos são baratos. «Escreva 2.000 palavras» não é.
Uma contagem de tokens mais baixa pode corrigir uma resposta má?
Só se a falha tiver sido uma janela cheia. Se o formato estiver errado num prompt curto, reescreva o prompt. Comece por Como escrever melhores Prompts para modelos de IA locais.