Cómo obtener resultados consistentes de modelos locales de IA

Los modelos locales parecen impredecibles cuando el mismo prompt da una forma distinta cada vez: a veces viñetas, a veces un ensayo, a veces una disculpa más el ensayo. Casi todo eso son ajustes y restricciones que faltan, no una instalación rota. Puedes hacer que los resúmenes, la extracción y las tareas pequeñas de código se repitan lo bastante como para usarlos en un flujo diario.

Esta página supone que ya escribes un prompt claro. Si la redacción sigue suelta, lee primero Cómo escribir mejores prompts para modelos locales de IA. Los métodos que sobreviven a las pruebas se resumen en Lo que sí funciona.

Por qué cambia la respuesta

El muestreo elige el siguiente token con algo de azar. Una temperatura (temperature) más alta significa más azar. Un chat largo significa que las reglas anteriores están más lejos de la última pregunta. Un prompt abierto («escribe algo útil») tiene muchas continuaciones válidas, así que el muestreador tiene sitio para vagar. Reduces la variación encogiendo ese sitio: temperatura más baja, un Seed cuando necesitas una repetición real, un formato con poco margen, un contexto corto y un modelo al que no se le piden cinco trabajos.

1. Baja la temperatura antes de reescribir el prompt

Para una tarea que quieras repetir, pon la temperatura entre 0.1 y 0.3. Deja top-p en el valor predeterminado de la aplicación salvo que sepas por qué lo cambias. Luego ejecuta el mismo prompt tres veces.

El mismo prompt, tres intenciones:

Enumera exactamente 4 reglas para nombrar archivos en una carpeta compartida. Una frase cada una. Sin introducción.

Temperatura 0.9: puedes obtener 3, 5 o 4 reglas, más una intro amable en algunas ejecuciones. La redacción salta. No juzgues todavía el prompt.
Temperatura 0.2: deberías obtener 4 reglas en la mayoría de las ejecuciones. La redacción aún cambia un poco. Eso es normal.
Temperatura 0: lo más repetible, y a veces lo más soso. Úsalo para extracción. Para redactar, 0.2 suele bastar.

La lista parece aleatoria, así que reescribí el prompt entero, añadí un personaje largo y dejé la temperatura en 1.0.

Cambiaste demasiado y dejaste el ajuste que provoca el barajado. Congela el prompt, baja la temperatura y solo entonces edita una línea si el formato sigue mal.

2. Usa un Seed cuando compares prompts

Ollama, LM Studio y algunos otros programas te dejan fijar un Seed. El mismo modelo, el mismo prompt, el mismo Seed y los mismos ajustes de muestreo deberían volver casi idénticos. Así sabes si un cambio de redacción ayudó.

Una comparación práctica:

Pon la temperatura en 0.2 y el Seed en 42.
Guarda la salida del prompt A.
Cambia una línea para hacer el prompt B. Conserva el Seed.
Compara A y B. Si B es mejor, quédate con él y luego prueba una vez el Seed 43 para ver si el formato se mantiene.

Si tu aplicación no tiene control de Seed, no puedes obtener repeticiones idénticas al bit. Aun así puedes exigir un formato y una temperatura baja, que es lo que necesitas para el uso diario. Un Seed sirve para probar, no para quien lee un resumen.

3. Haz que el formato sea difícil de abandonar

Cuanto más cerrada es la forma, menos puede hacer el muestreador. Las etiquetas son mejores que «organiza esto».

¿Puedes organizar este correo de un cliente en algo que el equipo pueda usar?

Reescribe el correo solo con estas etiquetas: Petición: Producto: Plazo: Falta: Reglas: - Una línea por etiqueta - Si no se sabe, escribe «no indicado» - No añadas una respuesta recomendada Correo: [pega]

Si el modelo sigue añadiendo una respuesta recomendada, pon la prohibición en una última línea propia: «No escribas una respuesta». Las reglas de la última línea se siguen más a menudo que las reglas enterradas en el medio.

4. Añade una comprobación de una línea para formatos frágiles

Úsalo para JSON, tablas y recuentos exactos. No lo uses para prosa normal.

Devuelve JSON con las claves sku y qty. qty es un entero. Los valores que faltan son null. Si falta una clave, corrige el JSON antes de responder. No expliques la corrección. Texto: [pega]

Lee la salida. Si ves un párrafo que empieza por «Comprobé el JSON», el modelo está mostrando la comprobación. Añade «Devuelve solo el JSON» o quita la comprobación y apóyate en la lista de claves. Algunos modelos pequeños no pueden hacer una comprobación silenciosa. En ese caso, la lista de claves sola es el mejor prompt.

Revisa tu trabajo con cuidado, considera los casos límite y asegúrate de que una persona reflexiva se sentiría orgullosa de este mensaje de cumpleaños.

No hay nada que comprobar. Obtendrás un mensaje rígido y a veces un párrafo sobre la calidad. Limita las palabras en su lugar.

5. Mantén el contexto corto

Las reglas de hace diez mensajes son fáciles de soltar para un modelo pequeño. Para un trabajo repetible, no sigas charlando. Abre una sesión nueva, o pega las reglas otra vez al principio del último mensaje.

Un patrón que se mantiene estable:

Un mensaje de sistema o un primer mensaje con las reglas.
Un mensaje de usuario con el texto fuente.
Si necesitas una revisión, un chat nuevo que contenga las reglas más la salida anterior, no el historial entero.

[después de 15 turnos de preguntas mezcladas] El mismo formato que antes, ya sabes a qué me refiero.

A menudo no lo sabe. Pega el formato otra vez. «Igual que antes» no es un formato.

6. Ajusta el tamaño del modelo al trabajo

Un modelo más pequeño con un prompt estrecho suele ser más consistente que un modelo general más grande con uno descuidado, pero no es magia. Usa un modelo pequeño para reescribir, extraer y hacer resúmenes cortos de un texto que tú aportas. Usa un modelo local más grande cuando la tarea necesite código más largo o razonamiento en varios pasos. No pidas a un modelo de 3B que revise un archivo de 400 líneas y esperes una revisión estable.

Si el formato se mantiene en un modelo de 7B y se deshace en uno de 3B, conserva el prompt y cambia de modelo. No sigas añadiendo reglas hasta enterrar al modelo pequeño.

Una lista de comprobación repetible

Escribe el formato como etiquetas, un recuento o claves JSON.
Pon el texto fuente después de las reglas, detrás de una etiqueta clara.
Pon la temperatura en 0.2 para cualquier cosa de la que quieras fiarte.
Fija un límite máximo de tokens un poco por encima de la respuesta que pediste.
Ejecuta dos veces. Si la forma difiere, aprieta la última línea antes de añadir reglas nuevas.
Si comparas dos redacciones, fija un Seed.
Si el chat es largo, empieza de nuevo y pega las reglas otra vez.

Qué no es la consistencia

No son frases idénticas cada vez, salvo que la temperatura esté cerca de 0 y el prompt sea muy cerrado.
No hace que un modelo cite fuentes reales que no puede ver. Pega la fuente.
No elimina la necesidad de leer la salida. Una respuesta estable y errónea sigue siendo errónea. En extracción, contrasta dos campos con el texto original.
No mejora por pegar un prefacio enorme de «eres un experto que nunca se equivoca». Esa línea no cambia el muestreo.

Cuando el prompt sea estable, guárdalo. La Biblioteca de prompts es un conjunto de puntos de partida que puedes guardar junto a los tuyos. Si no sabes si un prompt guardado es demasiado largo para la ventana de contexto, estímalo con el Contador de tokens antes de adjuntar un archivo grande.