Nella storia della medicina ci sono dei momenti prima e dopo.
Prima e dopo gli antibiotici.
Prima e dopo Internet.
Uno studio pubblicato su JAMA Internal Medicine potrebbe indicare un altro momento prima e dopo.
In questo studio trasversale, è stato utilizzato un database pubblico e non identificabile di domande provenienti da un forum pubblico di social media (Reddit’s r/AskDocs) per disegnare in modo casuale 195 domande in cui un medico verificato ha risposto a una domanda pubblica. Le risposte della chatbot sono state generate inserendo la domanda originale in una nuova sessione (senza che fossero state poste domande precedenti nella sessione) nel mese di dicembre 2022.
La domanda originale insieme alle risposte anonime e ordinate in modo casuale del medico e della chatbot sono state valutate da un gruppo di professionisti sanitari autorizzati. I valutatori hanno scelto risposta complessivamente migliore giudicando sia la qualità delle informazioni fornite (molto scarsa, scarsa, accettabile, buona o molto buona) sia il livello di empatia (non empatico, leggermente empatico, moderatamente empatico, empatico e molto empatico).
I risultati medi sono stati ordinati su una scala da 1 a 5 e confrontati tra chatbot e medici.
Risultati?
- I valutatori hanno preferito la risposta ChatGPT il 79% delle volte.
- Le risposte di chatbot sono state valutate di qualità significativamente superiore rispetto ai medici online.
- I giudici hanno assegnato una valutazione di buona o ottima qualità delle informazioni quasi quattro volte più spesso alle risposte di Chatbot.
- Chatbot è stato valutato molto più empatico dei medici, guadagnando una valutazione empatica o molto empatica quasi dieci volte più spesso dei medici.
Come ci si sente di fronte ad uno studio che mostra come ChatGPT abbia realmente superato i medici dipende dal fatto che si abbia in precedenza utilizzato il modello di linguaggio di grandi dimensioni come quello di ChatGPT o meno
Coloro che non hanno mai utilizzato ChatGPT si concentreranno sui limiti dello studio: lo studio ha utilizzato le risposte dei medici che scrivono su un forum online come braccio di controllo, un concetto molto lontano dal tuo consulente ideale che lavora nel più importante ospedale del mondo. Ma è così lontano dalla media?
Chi ha usato ChatGPT non rimane sorpreso che i medici valutatori abbiano favorito le risposte di questo modello linguistico di grandi dimensioni.
“Scioccante è la parola che ti viene in mente quando interagisci con questa Chatbot”, afferma John Mandrola su Sensible Medicine, e aggiunge: “Sostengo la mia tesi secondo cui questo è un punto di svolta. Le chatbot possono superare la visita medica. Le chatbot non si stancano, non si infastidiscono; possono analizzare richieste prolisse e rispondere a tutte le ore. E attingono dalla vastità della conoscenza della rete globale. Quando scrivevamo note sulla cartella clinica con la penna, inviavamo lettere via posta lenta, mettevamo monetine nelle macchine per copiare articoli di giornale, non avremmo potuto immaginare il mondo della posta elettronica, delle cartelle cliniche elettroniche, dei computer tascabili e della comunicazione istantanea con un pubblico globale. Non avevamo idea che un giorno presto saremmo stati in grado di cercare fatti in pochi secondi e imparare a eseguire procedure dai video di YouTube Questa è la cornice con cui vedo grandi modelli linguistici. La preoccupazione non è se i medici saranno sostituiti dall’intelligenza artificiale, ma come utilizzare al meglio questo nuovo strumento per aiutare le persone”.
Raffaele Giusti
UOC Oncologia Medica
Azienda Ospedaliero Universitaria Sant’Andrea, Roma
Fonti
Ayers JW et al. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA Intern Med. Published online April 28, 2023. doi:10.1001/jamainternmed.2023.1838
https://open.substack.com/pub/sensiblemed/p/doctors-vs-chatbot-the-first-round?r=1nnobx&utm_campaign=post&utm_medium=web
