Misurare più spesso peggiora il dato. Non lo rende solo più costoso o ridondante: lo peggiora, nel senso preciso che produce variazioni da spiegare che non c'erano. È il modo più comune di sbagliare questa cosa, ed è l'opposto dell'istinto con cui ci si arriva.

Il motivo sta nel meccanismo. I modelli linguistici sono probabilistici. Fai la stessa domanda due volte, in due sessioni pulite, e puoi ottenere due liste diverse di fornitori consigliati, senza che sia cambiato niente nel mondo, sul tuo sito o nel modello. Quella varianza non è un errore da eliminare: è una proprietà della cosa che stai misurando, e ogni decisione sulla cadenza discende dal prenderla sul serio.

Una singola esecuzione non è una misura

Se un'esecuzione può nominarti e la successiva ometterti, allora un controllo è un lancio di moneta, e il controllo di oggi confrontato con quello della settimana scorsa sono due monete confrontate fra loro. Qualunque differenza trovi, ci puoi costruire sopra una storia: il marketing ha pubblicato una pagina, un concorrente ha scritto qualcosa, il modello è cambiato. Tutte plausibili, nessuna sostenuta dai dati, e l'esercizio è astrologia con un cruscotto.

Quello che porta informazione è una proporzione: su molte esecuzioni della stessa domanda, quante volte sei stato nominato. Quel numero è abbastanza stabile da poter essere confrontato. Una risposta singola è un aneddoto su un campione estratto da una distribuzione.

Il che ribalta la domanda sulla cadenza. L'istinto chiede ogni quanto misurare. La domanda utile è quante ripetizioni serve una singola misura prima di significare qualcosa. Sbagliala, e aumentare la frequenza ti dà solo più punti inaffidabili su cui tirare una linea, e una linea tirata sul rumore sembra identica a una tendenza.

Quante ripetizioni

Non esiste un numero universale, e chi te ne cita uno non ha guardato i propri dati. Ma la forma si conosce, e la tua la trovi in un pomeriggio.

Prendi una domanda che conta. Eseguila 10 volte, in 10 sessioni pulite, e segna se il tuo marchio è comparso. Poi guarda la sequenza. Se sei stato nominato in 9 volte su 10, o in nessuna, la domanda è stabile e poche ripetizioni bastano. Se stai da qualche parte in mezzo, quella domanda sta su un confine, e una sua singola esecuzione non vale niente: oscillerà, e ogni oscillazione sembrerà una notizia.

Le domande di confine sono quelle che generano i falsi allarmi, e sono anche di solito le più interessanti, perché è lì che sei vicino a essere incluso. Individuale e trattale diversamente: più ripetizioni, e la regola di non riportare movimento su di loro se la proporzione non si sposta in modo sostanziale nell'arco di un intero ciclo.

Il budget è fisso, quindi è uno scambio

Ogni misura è una domanda, su un assistente, in una lingua, ripetuta un certo numero di volte. Moltiplica e il totale cresce in fretta: un insieme modesto di 20 domande, su 4 assistenti, in 5 lingue, sono già 400 risposte per una singola ripetizione di tutto, e una singola ripetizione di tutto è esattamente la cosa che abbiamo appena stabilito non dirti niente.

Stai quindi distribuendo un budget fisso su quattro dimensioni che ne vogliono tutte di più. I piani riflettono lo scambio invece di nasconderlo: quello di ingresso monitora 20 domande su un sito e ne scansiona 30 al mese; i gradini successivi salgono a 100, 300 e 600 domande monitorate, con 150, 500 e 1200 esecuzioni scansionabili al mese. Le scansioni sono 2 al mese su tutti i piani. Quei numeri vanno letti come un vincolo e non come un elenco di funzioni: ti dicono che non puoi avere insieme un insieme largo, tutte le lingue e ripetizioni pesanti, e che fingere il contrario significa solo che le ripetizioni scendono a una in silenzio.

La mia preferenza è tagliare le domande prima delle ripetizioni. Un insieme stretto di cui ti fidi batte un insieme largo di numeri che oscillano ciascuno per conto suo.

La finestra della fiera

Qui c'è una cosa che la manifattura italiana ha e quasi nessun altro settore possiede: un calendario naturale su cui appoggiare le misure.

Le fiere di settore concentrano in due settimane la pubblicazione di materiale su di te che non hai scritto tu: schede nel catalogo espositori, elenchi di novità, pezzi sulla stampa tecnica, riprese sui siti dei distributori. È l'unico momento dell'anno in cui il web che parla di te si muove per una causa nota, con una data, e non per deriva.

Il che lo rende la finestra sperimentale migliore che avrai. Una misura densa nelle due settimane prima, e la stessa misura identica sei-otto settimane dopo, su un insieme di domande che non hai toccato nel frattempo, ti dice qualcosa che nessuna cadenza regolare ti dirà: se quel materiale è finito nelle risposte oppure no. Sei-otto settimane e non due, perché fra la pubblicazione di una pagina e il suo eventuale uso in una risposta c'è un ritardo che non controlli.

Attenzione a una tentazione: non aggiungere domande sulla novità presentata in fiera dentro l'insieme che stai confrontando. Le domande nuove vanno in un insieme a parte, se no il confronto prima-dopo confronta due cose diverse.

Adegua la cadenza a quanto in fretta cambia la cosa

Cosa determina se un assistente ti nomina è, grosso modo, quello che il web dice di te e quello che un addestramento ha assorbito. Nessuna delle due si muove su scala giornaliera. La copertura di terzi si accumula in mesi. La documentazione viene scritta e poi sta lì. Un addestramento avviene quando decide il fornitore. Sotto non c'è nessun processo quotidiano, quindi campionare ogni giorno vuol dire campionare sessanta volte un segnale mensile e chiamare movimento la differenza.

Due volte al mese è una cadenza ragionevole rispetto a quello, ed è il motivo per cui il prodotto gira così invece di offrire qualcosa di più veloce. È anche il motivo per cui qui gli alert in tempo reale non esistono e non stanno arrivando. Un alert che scatta quando una singola esecuzione smette di nominarti scatterebbe di continuo, sulla varianza, e dopo il terzo falso allarme non lo legge più nessuno.

L'unico momento in cui uno scalino è vero

C'è un'eccezione, e conoscerla è quasi tutto ciò che separa il leggere bene questi numeri dal leggerli male.

I fornitori rilasciano versioni nuove dei modelli. Quando succede, le risposte possono spostarsi bruscamente, e quello spostamento è reale e non rumore di campionamento. Il modo per distinguerli è guardare se il movimento è concentrato o generale. Se si sono mosse poche domande e il resto è fermo, è successo qualcosa di specifico. Se si è mosso quasi tutto insieme, su un assistente, nella stessa direzione, quasi certamente stai guardando una versione nuova e non qualcosa che avete fatto tu o i tuoi concorrenti.

Sono due diagnosi opposte, e chi segue solo un punteggio aggregato non può distinguerle, perché l'aggregato è identico nei due casi. Che è un buon argomento per tenere disponibile il dettaglio per domanda, e per registrare a ogni esecuzione la data, l'assistente, la lingua, la domanda esatta, chi è stato nominato e se la risposta citava fonti o veniva dalla memoria. Quest'ultimo campo è quello che tutti saltano e che dopo si rimpiange, perché una risposta che ha recuperato e una che non l'ha fatto sono due misure diverse travestite dallo stesso numero.

Il resto è aritmetica, ed è dove il conto si mette male per il lavoro manuale: PSentry esegue lo stesso insieme a calendario e conserva quel dettaglio. Ma la parte che decide la qualità del dato non è lo strumento: è tenere fermo l'insieme di domande, riportare per trimestre invece che per ciclo, e chiedersi sempre, prima di spiegare uno spostamento, se si è mosso tutto il resto.