Abbiamo fatto le stesse 20 domande due volte. Tutte e 20 hanno dato una risposta diversa

La settimana scorsa abbiamo condotto un audit per un'azienda europea di servizi di laboratorio: venti domande che un acquirente farebbe prima di scegliere un fornitore, poste a un assistente AI con ricerca web, per vedere se l'azienda comparisse nelle risposte. Per verificare il metodo, abbiamo fatto ogni domanda due volte, a circa un minuto di distanza, nello stesso giorno, senza cambiare nulla.

Tutte e venti le coppie sono risultate diverse. Non leggermente riordinate: diverse. Ogni coppia citava un insieme di aziende differente. In tredici casi su venti è cambiata l'azienda nominata per prima. La coppia mediana differiva di quattro o cinque aziende, e la sovrapposizione tra i due elenchi era di 0,40, cioè meno della metà dei nomi era comune a entrambe le esecuzioni. Anche le pagine recuperate dal modello erano diverse in tutte e venti le coppie, con una mediana di sette domini di scarto.

Sono i nostri numeri, presi dal nostro audit, calcolati sulle esecuzioni grezze. Il nome dell'azienda non compare qui.

Perché la stessa domanda dà risposte diverse

L'istinto è pensare che il modello sia incoerente. Non è esattamente quello che succede.

Quando fai a un assistente AI una domanda a cui non può rispondere a memoria, non risponde direttamente. Scrive una o più query di ricerca, le invia a un motore di ricerca, riceve un elenco di risultati, ne apre alcuni e scrive una risposta a partire da ciò che ha letto. La formulazione delle query che inventa può variare da un'esecuzione all'altra. I risultati di ricerca stessi cambiano di minuto in minuto. Quali di quei risultati il modello decide di aprire varia. E solo a quel punto il campionamento del modello aggiunge la sua variazione.

Quindi la risposta è l'ultimo passaggio di una catena in cui quasi tutti i passaggi precedenti sono instabili. Nelle nostre esecuzioni i domini recuperati erano diversi in ogni singola coppia, ed è questo il meccanismo: due liste di lettura diverse producono due risposte diverse. Il modello non era di umore variabile, stava leggendo pagine diverse.

Ed è anche il motivo per cui la variazione non è distribuita in modo uniforme. Una domanda con una risposta chiara e ben indicizzata tende a essere stabile. Una domanda come "quali fornitori dovrei considerare in Europa", dove decine di aziende potrebbero ragionevolmente comparire e nessuna pagina è autorevole, è esattamente il tipo di domanda in cui la fase di recupero ha spazio per vagare. E sono proprio quelle le domande che nei nostri dati si sono mosse di più.

Cosa significa se stai verificando la tua visibilità

Quasi tutti fanno la verifica nel modo che ti aspetti: aprono ChatGPT, chiedono se la loro azienda viene citata, ottengono una risposta e si fanno un'idea. I nostri dati dicono che quell'idea, da sola, vale poco o nulla.

Se una singola esecuzione ha più o meno le stesse probabilità di citarti o no, chiedere una volta non ti dice quasi niente. Chiedi in un'esecuzione fortunata e concludi che va tutto bene. Chiedi in una sfortunata e concludi che sei invisibile. Entrambe le conclusioni nascono dalla stessa realtà di fondo, ed entrambe sono sbagliate, perché la risposta vera è una probabilità, non un sì o un no.

Vale anche l'errore opposto. Un'azienda che compare in uno screenshot non ha "vinto" la risposta, e un concorrente che compare una volta non la sta dominando. Senza ripetizione non c'è modo di distinguere una posizione stabile da una fortunata.

Cosa facciamo noi

Tre cose, nessuna delle quali è geniale: sono semplicemente la disciplina che la varianza impone.

Ripetere ogni domanda. Una singola esecuzione è un aneddoto. Facciamo ogni domanda più volte e trattiamo il risultato come una frequenza, non come un fatto: citata in sei esecuzioni su dieci, non "citata".

Riportare la dispersione, non un numero solo. Un dato di visibilità senza una dimensione del campione alle spalle è uno screenshot con sopra una percentuale. Il risultato utile è quante volte compari, su quante esecuzioni, in quale giorno, con le domande messe per iscritto in modo che la verifica sia ripetibile.

Guardare cosa è stato recuperato, non solo cosa è stato detto. Poiché la variazione nasce dalla fase di recupero, la lista di lettura è più informativa della risposta. Se la tua pagina non è mai tra quelle aperte, nessuna ripetizione cambierà l'esito, ed è un problema risolvibile. Se la tua pagina viene aperta ma non vieni comunque citato, è un problema diverso con una soluzione diversa.

I limiti onesti di tutto questo

Sono venti domande, un'azienda, un modello con ricerca web, un giorno, da un solo paese. Basta a dimostrare che esecuzioni identiche danno risultati diversi, che era il punto, e non basta a dire quanto differiscano in generale, né se altri assistenti varino di più o di meno. Abbiamo ripetuto le coppie solo su uno dei tre assistenti di quell'audit.

C'è un risultato pubblicato correlato che vale la pena conoscere: quando Orbit Media ha tracciato 13.184 citazioni su quattro strumenti AI, i quattro strumenti hanno citato lo stesso dominio per la stessa domanda solo nell'1,7% dei casi. (Orbit Media, LLM Citation Study) Strumenti diversi leggono pagine quasi del tutto diverse. Il nostro risultato dice che lo stesso strumento fa altrettanto, da un minuto all'altro.

La domanda resta quella: se l'elenco cambia ogni volta, cosa significa un posizionamento? Significa una frequenza, misurata su esecuzioni ripetute, oppure non significa niente.