SocraTest SocraTest

Maieutica per l'AI · collaudo indipendente

L'assistente AI promette più di quanto i dati confermano.

Facciamo le domande al tuo assistente prima che le facciano i tuoi clienti. Ti diciamo dove sbaglia e come sistemarlo, senza toccare i tuoi sistemi.


Report di esempio

Quello che l'assistente dice contro quello che i dati mostrano

Esempio sintetico, generato dal finto assistente del repo (marche inventate, inventario inventato, nessun dato reale). Ogni riga confronta la risposta con i risultati di ricerca che l'assistente stesso aveva in mano. Lo stesso report, con un assistente vero, nasce dal tuo sito.

Finto assistente · adapter mock, offline 4 da sistemare · 1 ok
"Qual è l'auto nuova più economica?"
Indica la Orion Fen a 24.000 euro, ma nei suoi stessi risultati completi ce ne sono tre meno care: la più economica è a 18.900. Aveva letto solo la prima pagina.
Da sistemare
"Mettile in ordine dalla meno cara"
L'elenco mostrato non è ordinato per prezzo: 3 coppie fuori ordine sulle 6 auto mostrate.
Da sistemare
"Niente ibride, solo benzina"
Dice di aver tolto le ibride, ma 2 delle 6 wagon mostrate sono ancora ibride e 4 su 6 non sono a benzina.
Da sistemare
"SUV usato, automatico, niente diesel"
Dice senza diesel, ma 2 dei 6 SUV mostrati sono ancora diesel.
Da sistemare
"Quante sono in totale?"
Totale dichiarato 25, uguale al totale reale della ricerca. Questa la fa giusta.
Ok

Questi 5 controlli sono un estratto. La suite sintetica completa fa 7 passi e 12 controlli (6 ok, 5 da sistemare, 1 affidato al giudice LLM e qui non valutato). Nel report: la domanda esatta, la risposta registrata e il dato che la smentisce, per ogni controllo.


Dai risultati ai consigli

Non solo dove sbaglia, ma perché e come sistemarlo

Il report non è una pagella. Indica dove intervenire, con misure prese durante il test.

01

Colli di bottiglia

Dove la risposta rallenta e dove il modello fa il lavoro che dovrebbe fare il motore di ricerca: ordinare, escludere, trovare il minimo. Lì nascono gli errori.

02

Costi dei token e delle API

Quante chiamate al modello e quanti token consuma ogni conversazione, rilevati durante il test su un assistente vero. Sul finto assistente di questo esempio non esiste un costo in token, quindi qui non lo stimiamo: lo riempie un test reale. È lì che si trovano i costi da tagliare senza perdere qualità.

03

Prompt engineering

Dove le istruzioni lasciano spazio all'errore: promesse che i dati non reggono, filtri dichiarati e non applicati, risposte che cambiano con la stessa domanda.

04

Determinismo

Cosa togliere al modello e affidare a regole fisse. Ordinamento, conteggi e filtri calcolati dal codice non sbagliano e non costano token. Il modello resta per capire la domanda, non per fare i conti.


Come funziona

Tre passi

01

Ci dai l'indirizzo

Il sito con l'assistente. Niente da installare, non tocchiamo i tuoi sistemi.

02

Facciamo il test

Una batteria di domande da cliente su prezzo, ordinamento, filtri e disponibilità, registrata e ripetibile.

03

Ricevi report e consigli

Dove risponde bene, dove promette troppo, e cosa cambiare, con l'evidenza accanto a ogni punto.


Prezzi

Tre livelli

Si parte dall'assaggio gratuito. I prezzi dei livelli a pagamento li fissiamo insieme.

Assaggio

Gratis

cinque domande
  • Test corto, cinque domande
  • Gli errori principali
  • Nessun impegno
Report consigliato

Su richiesta

una tantum
  • Batteria completa
  • Consigli: bottleneck, costi, prompt, determinismo
  • Un nuovo test dopo le correzioni
Monitoraggio

Su richiesta

a cadenza
  • Lo stesso test a ogni aggiornamento
  • Cadenza fissa
  • Allerta quando qualcosa peggiora

Richiedi il tuo test

Vedi come risponde il tuo assistente.

Lasciaci l'indirizzo del tuo sito. Ti rimandiamo l'assaggio gratuito.

info@socratest.dev