Al Congresso ANIARTI è stato presentato uno studio sull’accuratezza di triage in pronto soccorso, con assistitenza da parte dell’intelligenza artificiale ChatGPT: una strategia possibile o una perdita di tempo?
All’interno del 43° Congresso Nazionale di ANIARTI Christian Ramacciani Isemann, infermiere coordinatore Presso l’Azienda USL Toscana Sud Est, ha discusso quale potrebbe essere il contributo dell’intelligenza artificiale nell’assistere l’infermiere del pronto soccorso durante la tanto delicata quanto complessa fase di triage. L’attività di valutazione della qualità del triage in Pronto Soccorso è solitamente effettuata puntualmente attraverso dei formatori di triage, o degli infermieri esperti di triage, che analizzano a posteriori le valutazioni dei triagisti e controllano se la valutazione di triage è stata conforme alle indicazioni di quanto contenuto delle indicazioni territoriali.
Rivalutazione con intelligenza artificale: opportunità o rischio?
Il quesito che è nato è stato quello di valutare se con un sistema di verifica assistito dall’intelligenza artificiale si è in grado di supportare i valutatori per controllare l’accuratezza e la coerenza delle decisioni di triage. Insomma: chatGPT può velocizzare e ridurre le falle valutative ex-post? Per far ciò è stato condotto uno studio preliminare trasversale condotto su 50 scenari estrapolati da triage reali di un Pronto Soccorso di primo livello della Toscana. Questi scenari comprendevano i dati anagrafici del paziente, le note di triage e i parametri vitali, tutte informazioni che sono state sottoposte a due valutatori che determinavano l’accuratezza del triage; nel caso in cui non vi fosse agreement tra loro si interpellava il parere di un terzo valutatore.
Parola d’ordine: addestrare un assistente personalizzato
Successivamente, è stato addestrato il modello di intelligenza artificiale (ChatGPT 4.0), facendogli assimilare il manuale di formazione del sistema di triage adottato in Toscana (versione 1.0 del 2019), composto da 5 codici colore. Una volta fatto ciò, sono stati sottoposti all’intelligenza artificiale i 50 casi di triage, chiedendone una valutazione in termini di over-triage (falso positivo) oppure di under-triage (falso negativo). Sono state inoltre calcolate l’accuratezza e la concordanza utilizzando il Kappa di Cohen e l’F1 score sia a livello complessivo e poi stratificandoli in 3 sottogruppi di gravità (codici 1-2, 3 e 4-5). Dalla casistica analizzata è emerso che vi è un accordo modesto tra le valutazioni umane e quelle effettuate da ChatGPT, con una Kappa di Cohen pari a 0,243; anche il valore predittivo positivo (47.56%) e quello negativo (49.51%) sono modesti. Quello che però è emerso è che i risultati sono variabili in base ai sottogruppi di urgenza che erano stati identificati, in quanto nei casi a priorità più elevata (codici 1 e 2) l’F1 Score è abbastanza elevato (0.704), così come la sensibilità (63.6%) e la specificità (78.8%).
Supporto digitale veloce: ha senso quando hai meno tempo?
Questi dati fanno comprendere come nei casi più urgenti ChatGPT è relativamente più efficace nel classificarli correttamente e come vi sia in questi una discreta concordanza tra le valutazioni umane e quelle effettuate dall’intelligenza artificiale (Kappa di Cohen 0.313). Per quanto riguarda gli altri sottogruppi la concordanza è stata decisamente minore (Kappa di Cohen 0.1 nei codici 4-5), così come l’F1 Score (0.421); quando si analizzano i codici minori, dunque, il sistema tende a non sovrastimare molto però ha difficoltà a classificare correttamente nella classe di priorità la casistica meno urgente. Confrontando questi dati con la letteratura i dati emersi sono sovrapponibili a quanto pubblicato, in quanto è stato documentato che nonostante una modesta performance complessiva, l’algoritmo di ChatGPT ha mostrato una discreta capacità di valutare gli scenari critici ma le sue prestazioni sono insufficienti nelle valutazioni di triage della bassa e media complessità. Alla luce di ciò si rende necessario apportare ulteriori perfezionamenti e validazioni cliniche per migliorare l’affidabilità dell’algoritmo nella verifica delle valutazioni di triage.
Ma quando ci saranno abbastanza dati, cosa succederà?
È importante sottolineare come durante l’effettuazione dello studio si sono verificate delle problematiche in fase di promting, in quanto il dataset è stato ricaricato più volte senza successo e ChatGPT non è stato in grado di svolgere le sue valutazioni direttamente sullo stesso; per questo motivo, l’incapacità di lavorare direttamente su un dataset strutturato ha reso impossibile la valutazione di un numero maggiore di casi e sottoponendo all’intelligenza artificiale gruppi da 10 casi per volta. In conclusione, la performance di ChatGPT si è dimostrata adeguata nell’analisi dei casi a maggiore priorità e potrebbe essere di supporto nella verifica dell’accuratezza delle valutazioni di triage. Inoltre, sembrano necessari un addestramento più approfondito dell’algoritmo e un migliore promt engineering al fine di migliorare sia la precisione nelle classi di priorità minore che la performance complessiva della verifica di qualità del triage.
