Home / Notizie / L’intelligenza artificiale nelle revisioni…

L’intelligenza artificiale nelle revisioni sistematiche

Uno studio ha dimostrato sia il potenziale che i limiti dell’uso dell’intelligenza artificiale, in particolare GPT-3.5 Turbo di OpenAI, nell’estrarre le informazioni necessarie alle revisioni sistematiche. Con la continua crescita del volume di studi primari, i metodi tradizionali di estrazione manuale delle informazioni da parte dei ricercatori stanno diventando sempre più insostenibili. Questa evidenza ha portato a esplorare l’ipotesi di usare l’intelligenza artificiale come strumento per accelerare il processo di revisione sistematica, fondamentale per informare le linee guida e le politiche cliniche.

Le revisioni sistematiche sono molto apprezzate per il loro ruolo di sintesi delle evidenze, ma revisioni mal condotte possono portare a linee guida cliniche sbagliate, compromettendo potenzialmente la qualità delle cure e spingendo verso interventi inefficaci o perfino dannosi. Lo studio mirava a confrontare l’efficienza e l’accuratezza del GPT-3.5 Turbo rispetto ai metodi convenzionali di estrazione umana per recuperare informazioni da articoli scientifici sulla retinopatia diabetica (DR).

I ricercatori hanno selezionato venti articoli sulla retinopatia diabetica da PubMed e hanno estratto informazioni come il paese dello studio, i fattori di rischio significativi, i criteri di inclusione ed esclusione e gli odds ratio con gli intervalli di confidenza. Il modello di intelligenza artificiale ha a sua volta processato questi documenti utilizzando istruzioni per estrarre le stesse informazioni.

Dallo studio emerge che, mentre GPT-3.5 Turbo è stato in grado di estrarre informazioni dall’85% degli articoli in soli 5 minuti, rispetto ai 1310 minuti impiegati dai ricercatori umani, la sua accuratezza variava significativamente tra i diversi tipi di informazioni.

GPT-3.5 Turbo ha mostrato una perfetta concordanza (100%) nell’estrazione del paese di studio, ma ha ottenuto risultati inferiori nell’estrazione di fattori di rischio significativi (64,7%), criteri di inclusione ed esclusione (47,1%) e odds ratio con intervalli di confidenza (41,2%). Queste discrepanze evidenziano la complessità di alcuni tipi di informazioni e i limiti dell’IA, in particolare con i dati presentati sotto forma di immagini o che richiedono una comprensione “sfumata”.

Nonostante questi limiti (attuali, che non è scontato che non vengano a breve superati), lo studio indica che GPT-3.5 Turbo può ridurre in modo sostanziale il tempo necessario per l’estrazione delle informazioni, suggerendo che l’IA possa rivelarsi a breve un valido assistente nelle revisioni sistematiche. I ricercatori in quest’ottica auspicano il continuo coinvolgimento di esperti umani per la revisione e l’estrazione di dati più complessi, garantendo accuratezza e affidabilità.

La raccomandazione per la ricerca futura è migliorare le prestazioni dell’IA nelle revisioni sistematiche concentrandosi su tecniche come la retrieval-augmented generation (RAG), l’embedding e il miglioramento delle strategie di prompting. Con la rapida evoluzione della tecnologia dell’IA, sarà essenziale disporre di solidi quadri di valutazione per monitorare e supportare la sua integrazione nel processo di revisione sistematica, con l’obiettivo finale di migliorare la produttività e ridurre il dispendio di tempo ed energia dei ricercatori.

Fonte
Gue CCY et al. Evaluating the OpenAI’s GPT-3.5 Turbo’s performance in extracting information from scientific articles on diabetic retinopathy. Syst Rev 2024;13(1):135.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *