Por qué las respuestas de la IA cambian cada vez

Pregúntale a ChatGPT qué herramientas lideran tu categoría. Anota los nombres. Cierra la ventana, abre una nueva y haz la misma pregunta. Es muy probable que la lista no sea la misma: una marca que estaba ha desaparecido, otra que nunca habías escuchado ha aparecido. Entre las dos preguntas no cambió nada en el mundo, ni en tu sitio.

Ante esto, se reacciona casi siempre de una de dos maneras equivocadas: o la herramienta que lo señala está averiada, o algo publicado la semana pasada por fin empezó a funcionar. Las dos lecturas convierten el ruido en decisiones, el error más costoso en este terreno.

La volatilidad de las respuestas no es un defecto que se pueda reportar a soporte técnico. Es una propiedad de cómo estos sistemas producen texto. Una vez que sabes de dónde viene, dejas de intentar eliminarla y empiezas a medir a su alrededor.

Cinco razones del cambio

El modelo muestrea, no consulta nada

Un modelo de lenguaje no recupera una respuesta guardada para entregártela. La escribe fragmento a fragmento, calculando en cada paso una distribución de probabilidad sobre lo que podría venir a continuación de forma plausible. Después elige. No siempre el candidato mejor situado: los parámetros de muestreo, la temperatura y el top-p entre ellos, dejan pasar deliberadamente opciones peor situadas. Eso es lo que hace que el texto se lea como prosa y no como una grabación repetida.

La consecuencia es estructural. Si tu marca se encuentra cerca del límite de lo que el modelo considera una recomendación plausible, aparece nombrada en algunas ejecuciones y se omite en otras, a partir de la misma pregunta, sin que nada haya cambiado. Las marcas bien instaladas en el territorio de confianza del modelo salen casi siempre. Las que están lejos, casi nunca. Son los casos límite los que oscilan.

La capa de instrucciones ocultas se reescribe

Todo asistente dirigido al público envuelve tu pregunta en instrucciones que nunca ves. Esa capa le indica al modelo cómo comportarse, cuánta cautela mantener, si debe nombrar productos comerciales, cuándo buscar en la web antes de responder. Los proveedores la modifican con frecuencia y ninguno publica un registro de cambios. Un endurecimiento silencioso de la regla sobre qué marcas recomendar puede reordenar toda una categoría, sin un modelo nuevo y sin ningún anuncio.

El modelo detrás del nombre del producto se sustituye

El asistente conserva su nombre. Los pesos que hay detrás, no. Sale una versión nueva, se retira una más antigua, una variante más económica empieza a atender parte del tráfico. Lo que el sistema sabe, y la manera en que lo expresa, cambia. Tus preguntas siguen siendo idénticas. Quien las lee ahora es un lector distinto.

La búsqueda de fuentes capta una web distinta cada vez

Cuando un asistente busca antes de responder, está leyendo páginas en vivo, y la web en vivo no es un objeto estable. Los resultados se reordenan, se edita una página, se publica un artículo comparativo y se indexa. Los documentos que el modelo lee mientras responde no son los que leyó ayer, así que la respuesta construida a partir de ellos tampoco. En las plataformas que dependen mucho de la búsqueda de fuentes, esta es la mayor fuente de movimiento: tu visibilidad puede cambiar por una decisión editorial tomada en una publicación que nunca has visitado.

Tu propia sesión no es un instrumento neutral

La memoria, las preferencias guardadas, las instrucciones personalizadas y la conversación que ya está por encima de la pregunta condicionan lo que viene después. Pregunta por un competidor, luego quién más existe: obtienes algo distinto de una pregunta en frío en una sesión limpia. Comprueba tu marca conectado a la cuenta que llevas un año usando para hablar de ella, y no verás lo que ve un desconocido. Verás tu propio reflejo.

Qué significa esto para la medición

Juntando estos cinco puntos, la conclusión es simple: una sola respuesta es una anécdota, no un dato. Es una extracción de una distribución que casi no aporta información. Presentarla como un hallazgo equivale a mostrar un solo lanzamiento de moneda como prueba sobre la moneda.

Aquí es donde el reporte interno se derrumba en silencio. Alguien revisa un martes, ve la marca nombrada, y le dice al equipo que el contenido está dando resultado. Otra persona revisa la semana siguiente, no ve nada, y el equipo concluye que la visibilidad se ha desplomado. La distribución no se movió: se muestreó dos veces, y las dos muestras no coinciden, que es justo lo que hacen las muestras.

Lo que aporta información es la repetición junto con una dirección. Ejecuta el mismo prompt muchas veces y obtienes una tasa: con qué frecuencia, entre todas esas respuestas, aparece la marca. Una tasa es una medición. Compárala con la tasa de hace un mes, sobre los mismos prompts y en el mismo idioma, y obtienes el único resultado que merece la pena mostrarle a alguien: una línea de tendencia.

Cómo separar el ruido del movimiento real

Esto no requiere ninguna sofisticación estadística, solo disciplina sobre qué mantienes fijo.

• Congela el conjunto de prompts. Reescribe las preguntas entre una lectura y otra, y habrás cambiado el instrumento además de la medición. Cuando se te ocurra una formulación mejor, añádela como un prompt nuevo y deja que el antiguo siga funcionando.
• Congela el idioma. La misma pregunta en español y en alemán no es la misma pregunta, porque los modelos se apoyan en cuerpos de texto distintos. Nunca compares entre idiomas y lo llames tendencia.
• Ejecuta cada prompt más de una vez. Un resultado basado en una sola ejecución es un lanzamiento de moneda con un gráfico alrededor. Varias ejecuciones, agregadas, convierten una anécdota en una tasa.
• Lee la dirección a lo largo de varias lecturas, nunca la diferencia entre dos. La diferencia entre dos muestras ruidosas es sobre todo ruido. Varias lecturas dibujan una forma, y esa forma es la señal.
• Mantén a los competidores como control. Si tu tasa baja y también baja la de todos los demás en esa plataforma, algo cambió ahí, no en tu empresa.

Lo que honestamente ofrece un ritmo de muestreo

Aquí toca ser directos sobre nuestro propio producto, porque el sector normalmente no lo es en este punto. PSentry ejecuta tu conjunto fijo de prompts en ChatGPT, Claude, Gemini y Perplexity, en cada idioma en el que vendes, y registra dónde te nombraron, dónde te citaron como fuente y a quién recomendaron en tu lugar. Los rastreos se ejecutan según un calendario, dos veces al mes: un ritmo de muestreo, no vigilancia. Te dice si la tendencia se mueve y en qué dirección, no que un proveedor acaba de reescribir su capa de instrucciones. Si la presencia de un competidor se dispara un jueves, te enteras en el siguiente rastreo, no esa misma noche. No vendemos alertas instantáneas, porque una alerta activada por una sola lectura ruidosa es una notificación sobre nada, disfrazada de urgencia.

Falso triunfo y falsa alarma

Falso triunfo: publicaste una página comparativa, hiciste la pregunta esa misma tarde, viste tu nombre, y concluiste que la página funcionó. O quizá fue solo la ejecución en la que el muestreo salió a tu favor. La prueba honesta es si tu tasa de aparición en las próximas lecturas es más alta que en las anteriores. Eso lleva semanas, y es la única versión que resiste cuando alguien pregunta cómo lo sabes.

Falsa alarma: tu marca desapareció de una respuesta y se convocó una reunión. Antes, pregúntate tres cosas: era el prompt idéntico, era el idioma idéntico, fue una sola ejecución. Si la respuesta a cualquiera de ellas es sí, todavía no hay nada que discutir: mejor esperar a la siguiente lectura que reescribir el sitio a partir de una sola frase.

La disciplina que exige este campo es dejar de leer las respuestas individuales como veredictos. Son muestras, y solo la forma que dibujan con el tiempo significa algo.

Preguntas Frecuentes

Si la respuesta cambia cada vez, ¿es inútil medirla?

No, pero medirla una sola vez sí lo es. La volatilidad no hace que un sistema sea inmedible, lo hace inmedible en una sola observación. El clima es volátil y perfectamente medible. Lo que estás estimando es una tasa de aparición, y una tasa necesita muchas observaciones antes de estabilizarse.

¿Cuántas ejecuciones de un prompt son suficientes?

No hay un umbral exacto, y quien cite uno con precisión está adivinando. La regla práctica es que necesitas suficientes ejecuciones para que añadir más deje de cambiar el panorama. Hasta entonces, trata los prompts en los que apareces solo a veces como genuinamente límite.

¿Puedo eliminar el azar poniendo la temperatura a cero?

No en los asistentes que tus compradores usan de verdad, que no exponen ningún control de ese tipo. Incluso vía API, los ajustes bajos reducen la variación sin garantizar un resultado idéntico, y no cambian nada en las otras fuentes de movimiento: modelo actualizado, instrucciones reescritas, páginas distintas recuperadas.

¿La volatilidad afecta igual a las cuatro plataformas?

No. Las plataformas que buscan páginas en vivo heredan también la inestabilidad de la web, así que se mueven más. Las respuestas que vienen de lo que un modelo absorbió en el entrenamiento cambian a saltos cuando el modelo se actualiza, en lugar de variar de forma continua.

¿Una marca mencionada de forma inconsistente está mejor que una que nunca se menciona?

Sí. Menciones inconsistentes significan que el modelo te considera plausible sin estar del todo seguro, una posición distinta a quedar fuera del conjunto de candidatos. Son justo esos prompts oscilantes donde un cambio se nota primero.