Quello che vede il tuo cliente in ChatGPT non lo misuriamo
Nessuna misura via API riproduce lo schermo di un compratore in ChatGPT, nemmeno la nostra. Perché, e perché vale comunque più dello screenshot girato su WhatsApp.
« Ma su ChatGPT ci siamo o no? » Posta così, la domanda non ha risposta, e non per reticenza di chi la riceve. Non esiste un ChatGPT unico a cui chiederlo. Ne esistono tanti quante sono le combinazioni di piano, account, impostazioni e posizione di chi lo usa, e nessuna misura fatta via API riproduce quello che vede un compratore preciso sul suo schermo, in ChatGPT come negli altri tre assistenti. Nemmeno la nostra.
Per un'azienda che vende misurazione non è l'ammissione più furba con cui cominciare. È però vera, e tanto vale sentirla da chi misura prima che salti fuori in riunione. Lo scarto non ha una causa sola: sono quattro strati modesti, uno sopra l'altro, e a documentarli sono gli stessi fornitori.
Il modello. ChatGPT non dà a tutti lo stesso. Il centro assistenza di OpenAI ha pagine separate per quello che spetta al piano gratuito, ai piani a pagamento e agli spazi di lavoro Enterprise ed Edu, e pubblica le note di rilascio dei modelli, che è un modo educato per dire che la risposta cambia. Il commerciale con l'account gratuito sul telefono e il responsabile acquisti dentro l'Enterprise aziendale fanno la stessa domanda a quello che entrambi chiamano ChatGPT, e possono ricevere risposta da modelli diversi.
L'account. La memoria, quando è attiva, porta nelle chat nuove il contesto di quelle vecchie, e le istruzioni personalizzate, disponibili su tutti i piani, valgono per ogni conversazione. Un direttore commerciale che da mesi parla con ChatGPT dei propri prodotti non è un campione di niente: se la memoria è accesa, sta interrogando un assistente che della sua azienda ha già sentito parlare parecchio, e proprio da lui.
Il luogo. Quando ChatGPT cerca sul web, OpenAI dichiara che può stimare una posizione approssimativa dall'indirizzo IP e condividerla con i suoi fornitori di ricerca per migliorare i risultati. La stessa domanda sui fornitori fatta da Brescia o da Monaco di Baviera non è, a rigore, la stessa richiesta.
La chiamata. Una richiesta API contiene solo quello che ci mette chi la scrive. L'API di OpenAI permette di passare allo strumento di ricerca una posizione approssimativa, ma è una scelta messa nero su bianco da qualcuno, non qualcosa che si eredita da una persona seduta alla scrivania. E anche con la ricerca attiva è il modello a decidere, domanda per domanda, se cercare o no.
Lo screenshot del lunedì
Poi c'è il modo in cui, in molte PMI, la faccenda arriva davvero sul tavolo. Non con un report, ma con uno screenshot. L'agente di zona prova durante una trasferta, il titolare ci gioca la domenica sera, e il lunedì mattina l'immagine gira nel gruppo WhatsApp dell'ufficio commerciale con un commento di tre parole: « Guarda, ci cita. » Oppure, peggio: « Cita solo loro. » Alla riunione delle nove è già un fatto acquisito.
Lo screenshot ha dalla sua l'evidenza: si legge in due secondi, si inoltra, si proietta. Vale però quanto la foto del pesce appena pescato, vera ma muta sul lago. Non dice da quale account è stato fatto, con che piano, con quale memoria alle spalle, da dove, né quante volte la stessa domanda avrebbe restituito la stessa risposta. È una sola estrazione da un ventaglio largo, con l'ora stampata in alto. E un aneddoto che conferma quello che il titolare pensava già del concorrente ha davanti a sé una lunga carriera.
Una misura, invece, si può tenere sotto controllo. Le stesse domande, nella stessa lingua, mandate nello stesso modo agli stessi assistenti, ripetute a intervalli regolari, con i concorrenti rilevati alle stesse condizioni. Non ti dice cosa ha visto l'agente martedì in trasferta. Ti dice cosa rispondono gli assistenti sulla tua categoria in tedesco questo mese rispetto al mese scorso, e se un concorrente viene nominato più spesso di te in condizioni che fra le due letture non sono cambiate. È un'affermazione più piccola di quella dello screenshot, con il non trascurabile vantaggio di reggere a una seconda occhiata.
Il controllo è tutto. Se le condizioni scivolano, un numero che cambia può voler dire che è cambiato il mondo oppure che è cambiato lo strumento, e nessuno è in grado di dire quale dei due. Se tengono, un movimento significa che è successo qualcosa.
PSentry interroga ChatGPT, Claude, Gemini e Perplexity attraverso le API ufficiali, due volte al mese, per lingua e per mercato, e non in base al punto in cui si trova il singolo utente. I fornitori ritirano i modelli con i loro tempi, e quando succede passiamo a quelli più recenti. La data del passaggio va annotata accanto alla serie, perché uno scalino su un assistente proprio quel giorno dipende più probabilmente dal modello che dal tuo mercato.
Il limite quindi resta, detto in chiaro. Non misuriamo lo schermo del tuo cliente. Misuriamo la cosa più vicina a quello schermo che si possa rilevare due volte e confrontare, che è più di quanto lo screenshot inoltrato il lunedì abbia mai potuto offrire.