Medir más a menudo empeora el dato. No lo hace solo más caro ni más redundante: lo empeora en el sentido preciso de que produce cambios que explicar que nunca estuvieron ahí. Es la forma más común de equivocarse con esto, y es lo contrario del instinto con el que todo el mundo llega.

La razón está en el mecanismo. Los modelos de lenguaje son probabilísticos. Haz la misma pregunta dos veces, en dos sesiones limpias, y puedes obtener dos listas distintas de proveedores recomendados, sin que haya cambiado nada en el mundo, en tu web ni en el modelo. Esa varianza no es un error que eliminar: es una propiedad de lo que estás midiendo, y toda decisión sobre la frecuencia se deriva de tomárselo en serio.

Una sola ejecución no es una medición

Si una ejecución puede nombrarte y la siguiente omitirte, un control es un lanzamiento de moneda, y el control de hoy comparado con el de la semana pasada son dos monedas comparadas entre sí. Sea cual sea la diferencia que encuentres, puedes construirle un relato: marketing publicó una página, un competidor escribió algo, el modelo cambió. Todas verosímiles, ninguna sostenida.

Lo que lleva información es una proporción: sobre muchas ejecuciones de la misma pregunta, cuántas veces te nombraron. Ese número es lo bastante estable como para compararse. Una respuesta suelta es una anécdota sobre una muestra sacada de una distribución.

Lo cual le da la vuelta a la pregunta. El instinto pregunta cada cuánto medir. La pregunta útil es cuántas repeticiones necesita una sola medición antes de significar algo.

Cuántas repeticiones

No hay un número universal, y quien te cite uno no ha mirado sus propios datos. La forma sí se conoce, y la tuya la encuentras en una tarde.

Coge una pregunta que importe. Ejecútala 10 veces, en 10 sesiones limpias, y anota si tu marca apareció. Si te nombraron en 9 de las 10, o en ninguna, la pregunta es estable y bastan pocas repeticiones. Si caes en algún punto intermedio, esa pregunta está en una frontera, y una ejecución suelta de ella no vale nada: va a oscilar, y cada oscilación va a parecer una noticia.

Las preguntas frontera son las que generan las falsas alarmas y suelen ser también las interesantes, porque ahí es donde estás cerca de entrar. Identifícalas y trátalas aparte: más repeticiones, y la regla de no reportar movimiento en ellas mientras la proporción no se desplace de forma sustancial a lo largo de un ciclo entero.

El presupuesto es fijo, así que esto es un canje

Cada medición es una pregunta, en un asistente, en un idioma, repetida cierto número de veces. Multiplica y el total crece deprisa: un conjunto modesto de 20 preguntas, sobre 4 asistentes, en 5 idiomas, ya son 400 respuestas para una sola repetición de todo, y una sola repetición de todo es exactamente lo que acabamos de establecer que no dice nada.

Estás repartiendo un presupuesto fijo entre cuatro dimensiones que quieren más de él. Los planes reflejan ese canje en vez de esconderlo: el de entrada monitoriza 20 preguntas en un sitio y escanea 30 ejecuciones al mes; los siguientes escalones suben a 100, 300 y 600 preguntas monitorizadas, con 150, 500 y 1200 ejecuciones escaneables al mes. Los análisis son 2 al mes en todos los planes. Esas cifras se leen como una restricción y no como una lista de funciones: no puedes tener a la vez un conjunto ancho, todos los idiomas y repetición abundante.

Mi preferencia es recortar el conjunto de preguntas antes que las repeticiones. Veinte preguntas en las que crees son mejor instrumento que doscientas en las que no.

El informe mensual que parece un panel diario

Aquí está el punto donde esto se rompe en la práctica, y no es técnico: es de reporte.

En muchas empresas la medición la ejecuta una agencia y llega en un informe mensual. El informe suele traer una gráfica con muchos puntos, porque una gráfica con dos puntos parece poco trabajo, y esos puntos intermedios se obtienen con una ejecución cada uno. El resultado es una curva de aspecto convincente cuyos dientes son íntegramente varianza, y una reunión entera dedicada a explicar por qué en la tercera semana bajó.

No es mala fe de nadie. Es que el formato del informe se diseñó para métricas que sí se mueven a diario, como el tráfico, y se ha reutilizado para una que no. La conversación que hay que tener con quien produce el informe cabe en una frase: prefiero dos puntos con diez repeticiones cada uno que diez puntos con una.

Y conviene pedir explícitamente que en el informe aparezca de cuántas ejecuciones sale cada proporción. Un valor sin ese dato no se puede interpretar, y quien lo lleva a un comité no puede responder a la primera pregunta que le van a hacer.

Ajusta la frecuencia a la velocidad real del fenómeno

Lo que determina si un asistente te nombra es, a grandes rasgos, lo que la web dice de ti y lo que absorbió un entrenamiento. Ninguna de las dos cosas se mueve a escala diaria. La cobertura de terceros se acumula durante meses. La documentación se escribe y luego se queda ahí. Un entrenamiento ocurre cuando lo decide el proveedor. Debajo no hay ningún proceso diario, así que muestrear cada día es muestrear sesenta veces una señal mensual y llamar movimiento a la diferencia.

Dos veces al mes es una cadencia razonable frente a eso, y por eso el producto funciona así en lugar de ofrecer algo más rápido. Es también la razón de que aquí no existan las alertas en tiempo real y no estén en camino. Una alerta que salta cuando una ejecución deja de nombrarte saltaría constantemente, por varianza, y tras la tercera falsa alarma ya no la lee nadie.

El único momento en que un escalón es real

Hay una excepción, y conocerla es casi toda la diferencia entre leer bien estos números y leerlos mal.

Los proveedores publican versiones nuevas de los modelos. Cuando lo hacen, las respuestas pueden desplazarse de golpe, y ese desplazamiento es real y no ruido de muestreo. La forma de distinguirlos es mirar si el movimiento está concentrado o es general. Si se movieron unas pocas preguntas y el resto está quieto, pasó algo concreto. Si se movió casi todo a la vez, en un asistente, en la misma dirección, casi con seguridad estás viendo una versión nueva y no algo que hayáis hecho tú o tus competidores.

Son dos diagnósticos opuestos, y quien solo sigue una puntuación agregada no puede separarlos, porque el agregado se ve igual en ambos casos. Buen motivo para conservar el detalle por pregunta, y para registrar en cada ejecución la fecha, el asistente, el idioma, la pregunta literal, a quién se nombró, y si la respuesta citaba fuentes o venía de la memoria. Ese último campo es el que todo el mundo se salta y luego echa de menos. Es ese conjunto lo que PSentry ejecuta por calendario conservando el detalle. Pero lo que decide la calidad del dato no es la herramienta: es mantener quieto el conjunto de preguntas, reportar por trimestre en lugar de por ciclo, y comprobar, antes de explicar un movimiento, si se ha movido todo lo demás.