Contador de tokens para modelos locales

Estima cuántos tokens usará un prompt antes de pegarlo en un modelo local. El recuento se calcula en tu navegador. No es el tokenizador oficial de Llama, Mistral, Phi o Qwen, y puede desviarse más o menos un 10 a un 15 por ciento. Úsalo para ver si un prompt es corto, holgado o está a punto de llenar la ventana de contexto, no como una cifra de facturación.

Familia de modelos

Cómo se hace la estimación

La página cuenta caracteres y divide por un factor que depende de la familia de modelos que elijas. La prosa en inglés suele estar cerca de cuatro caracteres por token en los tokenizadores BPE al estilo de Llama. El código, el JSON y el texto en otros sistemas de escritura pueden ser más densos o más dispersos, por eso el resultado se etiqueta como estimación. La herramienta también muestra el recuento de caracteres y de palabras para que puedas contrastar el número: un párrafo en inglés de 400 palabras suele estar en el rango de 500 a 700 tokens, no en 4.000.

Los tokenizadores al estilo de Phi suelen ser un poco más compactos en inglés, así que esa opción usa un divisor algo menor y la estimación sale un poco más alta. Qwen está lo bastante cerca del factor de Llama para una estimación de planificación. Si necesitas un recuento exacto, usa el tokenizador de tu aplicación o las herramientas propias del modelo. Esta página no coincidirá con ese número todas las veces.

Cómo usar el número

Pega el prompt y el documento que piensas adjuntar como texto.
Elige la familia de modelos más cercana. Si no estás seguro, usa Llama / Mistral.
Compara la estimación con el contexto que realmente ejecutas: 4k, 8k, 16k o lo que diga la ficha del modelo para tu cuantización.
Deja sitio para la respuesta. Si el prompt ya ocupa el 70 por ciento de la ventana, el modelo cortará la respuesta o soltará el principio del prompt.

Un margen práctico: mantén el prompt por debajo de la mitad del contexto si quieres una respuesta larga, y por debajo de tres cuartos si solo quieres una extracción corta. La estimación no promete que la aplicación use la misma ventana. Algunas aplicaciones reservan tokens para un prompt del sistema que no puedes ver. Si las respuestas se cortan pronto, acorta la fuente, no solo las instrucciones.

Ejemplos trabajados

Un prompt de correo de 120 palabras sin adjunto suele ser unos pocos cientos de tokens. El tamaño de la ventana no es tu problema. Lo son el formato y la temperatura (temperature). Mira Cómo obtener resultados consistentes.
Un artículo de 3.000 palabras más una instrucción de resumen puede caer alrededor de 4.000 tokens. Eso cabe en una ventana de 8k con sitio para un resumen corto, y queda justo en una ventana de 4k.
Un archivo de código entero pegado «para dar contexto» a menudo se come el presupuesto antes de la pregunta. Pega la función, no el repositorio.

Resume el texto de abajo en 5 viñetas. Texto: [si este bloque más el artículo estiman más de la mitad de tu contexto, parte el artículo]

Qué no hará esta herramienta

No carga el archivo de vocabulario del modelo, así que no puede contar tokens especiales ni un prompt del sistema invisible.
No ofrece un recuento perfecto para cada idioma. El chino, el japonés y el coreano suelen usar menos caracteres por token de lo que supone el factor para inglés, así que la estimación puede quedarse corta. Si el texto no es sobre todo inglés, trata el número como un suelo y deja sitio de más.
No envía tu texto a ninguna parte. El recuento ocurre en la página.

Preguntas

¿Por qué no coincide con el número de tokens de LM Studio u Ollama?

Esas aplicaciones usan el tokenizador del modelo. Esta página usa un divisor de caracteres. Estar dentro de un 15 por ciento es lo esperado. Si estás a unos pocos cientos de tokens del límite, fíate de la aplicación, no de esta estimación.

¿Qué familia debo elegir para Gemma o para modelos locales al estilo GPT?

Usa la estimación genérica o la de Llama. La diferencia es menor que el margen de error de este método.

¿Debo contar también la respuesta?

Este recuadro solo cuenta lo que pegas. Añade tú la extensión de la respuesta. Cinco viñetas salen baratas. «Escribe 2.000 palabras» no.

¿Un recuento de tokens más corto puede arreglar una mala respuesta?

Solo si el fallo fue una ventana llena. Si el formato está mal en un prompt corto, reescribe el prompt. Empieza por Cómo escribir mejores prompts para modelos locales de IA.