ChatGPT può passare un test di medicina? | Mercato Intelligenza Artificiale Italia | Reti Neurali Cosa Sono | Llm Italiano | Turtles AI

In uno studio recente pubblicato su PLOS Digital Health, è stata esaminata la performance di ChatGPT nell’US Medical Licensing Exam (USMLE). Il lavoro di ricerca è stato condotto da un team di scienziati dell’Università della California, San Francisco, e dell’Università della California, Berkeley, che hanno voluto esplorare il potenziale dell’IA nel campo medico. L’USMLE è un test in tre parti che valuta la conoscenza e le competenze degli studenti di medicina e dei medici. L’esame è utilizzato per determinare se un candidato è qualificato per esercitare la professione medica negli Stati Uniti. L’accuratezza minima richiesta per superare l’esame è del 60%, e il tasso di successo è generalmente superiore al 90%. Il software ChatGPT, sviluppato da OpenAI, è stato utilizzato per generare risposte alle domande dell’USMLE. Secondo lo studio, ChatGPT ha raggiunto un’accuratezza vicina a quella richiesta per superare l’esame in maggior parte delle impostazioni, e all’interno della gamma richiesta per alcune attività. Tuttavia, gli autori hanno sottolineato che ciò non suggerisce che ChatGPT abbia una conoscenza comparabile a quella umana, poiché il test è progettato per prevedere le prestazioni per una popolazione preselezionata di medici, cioè persone che già hanno superato altri esami e test specifici. Gli autori dello studio hanno anche prestato attenzione per assicurare che le domande dell’esame non facessero parte del set di addestramento e hanno raccomandato ulteriori esplorazioni del potenziale per valutazioni miste su risposte di ChatGPT ed umane. I ricercatori hanno sottolineato che sebbene la performance di ChatGPT sia impressionante, ci sono limitazioni nei test scritti per valutare le prestazioni in professioni complesse e multidisciplinari come la medicina. Hanno chiesto un approccio più completo alle soluzioni tecnologiche, incluso fornire assistenza clinica in persona a pazienti. Nonostante queste limitazioni, i risultati dello studio evidenziano il potenziale dell’AI nel campo medico. Una delle applicazioni più promettenti di ChatGPT è lo sviluppo di strumenti per aiutare i ricercatori a elaborare grandi quantità di letteratura. Tali strumenti possono riassumere le informazioni e rispondere alle domande, fornendo una risorsa utile per gli studenti di medicina e i professionisti. Secondo il dottor Stuart Armstrong, co-fondatore e ricercatore capo di Aligned AI, dovremmo aspettarci di vedere più successi come questo in futuro. Tuttavia, ha sottolineato che ci sono molte aree in cui gli esseri umani sono molto più efficaci delle AI, e che la superiorità umana non durerà per sempre. Il professore Alfonso Valencia, professore ICREA e direttore delle scienze della vita presso il Barcelona National Supercomputing Centre (BSC), ha fornito ulteriori approfondimenti sulle prestazioni di ChatGPT. Ha osservato che il sistema è migliorato significativamente in pochi mesi, in parte grazie all’aumento dei dati biomedici. Ha anche osservato che la qualità dei risultati era correlata alla qualità delle spiegazioni e alla capacità del sistema di produrre spiegazioni non banali. Complessivamente, lo studio offre uno sguardo sul potenziale dell’IA nel campo medico. Mentre ci sono ancora molte sfide da superare, inclusi i limiti dei test scritti, le prestazioni di ChatGPT nell’USMLE sono uno sviluppo promettente. Ciò sottolinea la necessità di un approccio completo alle soluzioni tecnologiche che include la cura clinica di persona e il potenziale degli strumenti AI per aiutare i ricercatori medici a processare grandi quantità di letteratura.