Pietro Gallo
L’esigenza di un training test (TT) è nata dalla necessità di allenare gli studenti dei corsi di laurea in Medicina al nuovo esame di stato. La CPPCLM in Medicina ha sfruttato l’esperienza pluridecennale del progress test e dato vita ad un training test con caratteristiche che lo avvicinano al nuovo esame di stato. Il TT è basato sul core curriculum dei corsi di laurea in Medicina e si prefigge lo scopo di valutare le competenze in uscita dello studente, quali la capacità di prendere decisioni e risolvere problemi, preoccupandosi anche di controllare l’acquisizione delle scienze di base tramite la loro ricaduta sulla competenza clinica. Il TT è stato somministrato il 14 Novembre 2018 a tutti i 49 CLM in Medicina erogati in lingua Italiana coinvolgendo 37.143 studenti. Sono discussi i risultati del test e vengono tracciate le linee del nuovo TT che si svolgerà nel 2020.
L’esigenza di un training test
Il D.M. del 9 maggio 2018, n. 58, ha istituito il nuovo esame di abilitazione all’esercizio della professione medica, trasformando il tirocinio post-laurea in un tirocinio valutativo pre-laurea (il Tirocinio Pratico Valutativo per l’Esame di Stato – TPVES) e modificando radicalmente la prova scritta. Questa continuerà ad avvalersi di domande con risposta a scelta multipla ma i quesiti non verranno estratti da una grossa banca-dati nota ma verranno formulati in modo riservato e non saranno quindi noti anticipatamente agli studenti.
La Conferenza Permanente dei Presidenti di CCLM in Medicina (CPPCCLM) ha sentito immediatamente il dovere di aiutare gli studenti dei Corsi di Laurea in Medicina a prepararsi a questa nuova prova d’esame.
Per farlo, ha fatto tesoro dell’esperienza pluriennale maturata con il progress test. Questo è un complesso di 300 domande a risposta multipla sottoposto a cadenza annuale a tutti gli studenti dei Corsi di Laurea in Medicina (dal 20061) e in Odontoiatria e Protesi Dentaria (dal 20172) di tutti gli anni di corso. Le domande sottoposte agli studenti dei diversi anni erano le stesse e ciò ha permesso di monitorare il progresso della preparazione degli studenti. Ad esempio, un risultato importantissimo è stato quello di verificare il progredire delle conoscenze nelle scienze di base. Com’era lecito attendersi, la conoscenza degli studenti è cresciuta rapidamente dal primo al terzo anno ma l’aumento delle conoscenze non si è arrestato nel triennio clinico a dimostrazione che l’apprendimento delle scienze cliniche richiama, rafforza e completa le conoscenze di base.
La progettazione del training test
Per aiutare gli studenti a prepararsi al nuovo esame di stato, la CPPCCLM ha pensato di sfruttare l’esperienza accumulata con il progress test e di dar vita ad un training test.3 Il nuovo test ha avuto caratteristiche formali che assicuravano la continuità con il vecchio progress test, componendosi di domande a scelta multipla suddivise in due lotti (scienze di base e scienze cliniche), ma sono state introdotte significative novità che lo hanno avvicinato al nuovo esame di stato: si è passati da 300 a 200 domande, ripartite in 50 formulate su argomenti riguardanti le conoscenze di base nella prospettiva della loro successiva applicazione professionale e 150 allestite su argomenti riguardanti la capacità di applicare le conoscenze biomediche e cliniche alla pratica medica e nel risolvere una serie di problemi clinici.
Un’altra sostanziale novità, richiesta dalla necessità di allenare gli studenti al superamento di un esame di stato nazionale è stata il necessario abbandono dell’abitudine di estrarre le domande da grandi e qualificate banche-dati internazionali, perché è diventato quanto mai necessario attenersi strettamente al core curriculum dei corsi di laurea in Medicina, elaborato dalla CPPCCLM. A questo scopo la Conferenza ha impegnato tutti i Presidenti di CLM a fornire in modo riservato una serie di domande aderenti a ciò che effettivamente si insegna nei nostri CLM.
Ma si è imposta anche un’altra sostanziale modifica rispetto al classico progress test. Il DM del 9 maggio 2018, infatti, si prefigge lo scopo di valutare le competenze in uscita dello studente, quali la capacità di prendere decisioni e risolvere problemi, e si preoccupa di controllare l’acquisizione delle scienze di base principalmente tramite la loro ricaduta sulla competenza clinica. Di conseguenza, nel training test – rispetto al progress test – non solo è mutato numero e distribuzione delle domande ma si è imposta una contestualizzazione clinica delle stesse.
Nel commissionare le domande di base si sono quindi privilegiate le formulazioni problematiche e nel chiedere le domande cliniche non si è andati “per discipline” ma per macroaree di contesto clinico (“in nosocomio”, “in ambulatorio”, “in emergenza/urgenza”, “nel territorio”).
La somministrazione del training test
Il training test è stato somministrato il 14 Novembre 2018 a tutti i 49 CLM in Medicina erogati in lingua Italiana (e a 10 dei 14 CLM erogati in lingua Inglese) e ha visto la partecipazione record di 37.143 studenti in corso, che ha oltrepassato i già lusinghieri risultati del progress test (dai 3.496 studenti del 2006 si era giunti ai 32.120 del 2017).
Le domande non sono state più suddivise per aree disciplinari, ma per macro-aree.
Le 200 domande raccolte sono state differenziate per livello tassonomico. Solo 74 domande erano di tipo conoscitivo disciplinare (22, pari al 44% per le scienze di base e 52, pari al 34% per le scienze cliniche), 42 erano ancora di tipo conoscitivo ma a carattere interdisciplinare (17, pari al 34% per le scienze di base e 25, pari al 17% per le scienze cliniche), mentre il lotto maggiore, di 84 domande, era rappresentato da quesiti scientifici o casi clinici (11, pari al 22% per le scienze di base e 73, pari al 49% per le scienze cliniche).
Analisi dei risultati del training test
La CPPCCLM si è sentita impegnata in una prima revisione dei risultati.4 La prima analisi è stata una valutazione dell’affidabilità della prova. Per misurare il grado di coerenza interna nel nostro caso è stato utilizzato il coefficiente di Kuder Richardson5 che è stato applicato ad un campione di 5184 risposte di studenti del sesto anno inviate da 40 sedi, con un risultato, compreso tra zero ed 1, che risulta essere pari a 0,970 cioè è indicatore di ottima consistenza interna ed affidabilità della prova.
Successivamente, è stato calcolato – sul campione degli studenti del V e VI anno, e per ciascuna domanda – l’indice di facilità. Questo indice è dato dal numero di risposte corrette a un quesito diviso per il totale delle risposte. Il risultato è compreso tra zero ed uno e quanto più si avvicina ad uno la percezione del quesito risulta facile, tanto più si avvicina allo zero, difficile.
Indice di facilità (Ifac
Per la letteratura, un Ifac ideale per una domanda con scelta tra cinque risposte è pari a 0,7. Nel nostro campione, l’indice è oscillato tra 0,65 (domande “in nosocomio”) a 0,78 (“scienze di base”) passando per 0,67 (“deontologia”), 0,70 (“in emergenza”), 0,71 (“per la diagnosi”), 0,73 (“in ambulatorio” e “nel territorio”), e 0,77 (“nascita e crescita”).
Com’era lecito attendersi, l’indice di facilità per i diversi livelli tassonomici di domanda è apparso differente. Le domande risultate più “difficili” da risolvere sono stati i casi problematici (Ifac medio pari a 0,669), quelle più “facili” le domande conoscitive a carattere interdisciplinare (Ifac medio pari a 0,735). In posizione intermedia si sono collocate le domande conoscitive monodisciplinari, con un Ifac medio pari a 0,684.
Si è voluto verificare se la tipologia di domanda utilizzata e il suo ambito culturale avessero un’influenza sulla “facilità” con la quale gli studenti hanno risposto. Per fare questo, è stato isolato il sottoinsieme delle domande “difficili” (quelle relative al 25° percentile delle domande con l’indice di facilità minore). Le 50 domande con indice di facilità più basso (25% sul campione di 200 domande) variavano tra un indice di facilità di 0.089 (il più basso) ed uno di 0.588. Ventidue domande su 50 appartenevano alla classe di quesiti indirizzati a vagliare la capacità interpretativa dello studente. Un altro gruppo corposo (17/50) di domande risultate difficili riguardavano quesiti sulla prescrizione di interventi terapeutici o di esami strumentali. Le rimanenti 11 domande cadute all’interno del 25° percentile potevano essere ricondotte a difficoltà differenti, come quella di interpretare nessi patogenetici o di possedere rudimenti-base di statistica o epidemiologia.
Per ogni domanda è stata poi misurata la variabilità dell’indice di facilità riscontrato nelle diverse sedi. Per esempio, la domanda che ha fatto registrare la massima variabilità nel tasso di risposte esatte è stata la domanda 56 (Quale farmaco viene impiegato per la profilassi della condizione di Eclampsia?) che, nelle diverse sedi, è stata risolta da percentuali di studenti che variano dallo 0 all’87%. L’analisi dei dati ha dimostrato una stretta correlazione tra difficoltà di una domanda e variabilità con cui questa è stata accolta nelle diverse sedi: le domande più semplici sono quelle che hanno fatto registrare una varianza minore tra le sedi.
L’analisi delle 50 domande con maggior coefficiente di variazione (25° percentile) ha messo in luce che esistono due tipi di variabilità: una “asimmetrica” ed una “simmetrica”. La variabilità “simmetrica” è stata riscontrata in 14/50 (28%) domande: queste sono risultate, a seconda delle Sedi, ora molto difficili (indice di facilità < 0.30), ora difficili (IF >0.30 <0.50), ora facili (IF >0.50 <0.80) e perfino molto facili (IF > 0.80). Negli altri 36/50 casi la variabilità è stata “asimmetrica”, ma in due modi radicalmente opposti: in 20/50 (40%) casi le domande sono risultate generalmente facili con l’eccezione di un numero limitato (<10) di Sedi; in 16/50 (32%) casi le domande sono risultate generalmente difficili con l’eccezione di un numero limitato (<10) di Sedi.
Prospettive future del training test
La sperimentazione operata con questo primo training test sta incoraggiando la CPPCCLM a creare un nuovo test basato sulle competenze in uscita del laureato in medicina, ovvero la capacità di risolvere una serie di problemi clinici essenziali. In questo modo sarà finalmente possibile fornire agli studenti in Medicina Italiani gli obiettivi di apprendimento che il training test vuole verificare e sarà possibile andar oltre la gabbia dei SSD perché un problema clinico, per definizione, non è di proprietà di alcun SSD e per risolverlo serve conoscere, ad esempio, l'anatomia, la radiologia e l'anatomia patologica, o la biochimica, la fisiologia e la farmacologia, oppure ancora.... Sarà infine possibile superare il livello tassonomico delle domande puramente conoscitive perché anche le domande conoscitive dovranno essere selezionate in base al problema che permettono di risolvere.
Tabella I – Suddivisione per macro-area delle 50 domande di scienze di base
|
macroarea |
# domande |
SSD |
|
scienze di base |
50 |
|
|
molecole |
8 |
BIO/10, BIO/11 |
|
cellule |
8 |
BIO/13, MED/03 |
|
tessuti |
8 |
BIO/16, BIO/17 |
|
funzioni |
8 |
BIO/09 |
|
patologia, infezioni e difese |
8 |
MED/04, MED/07 |
|
farmacologia |
4 |
BIO/14 |
|
psicologia clinica |
3 |
M-PSI/08 |
|
statistica ed epidemiologia |
3 |
MED/01 |
Tabella II – Suddivisione per macro-area delle 150 domande di scienze cliniche
|
macroarea |
# domande |
SSD |
|
scienze cliniche |
150 |
|
|
nascita e crescita |
20 |
MED/40, MED/38 |
|
per la diagnosi |
20 |
MED/08, MED/36, MED/05 |
|
in nosocomio |
35 |
MED/09, MED/11, MED/10, MED/17, MED/06, MED/18, MED/21 |
|
in ambulatorio |
35 |
MED/09, MED/18, MED/12, MED/13, MED/14, MED/26, MED/25, MED/24, MED/31, MED/30 |
|
in emergenza/urgenza |
14 |
MED/09, MED/18, MED/41 |
|
nel territorio |
21 |
MED/09, MED/42, M.M.G. |
|
deontologia e bioetica |
5 |
MED/43, MED/02 |
Bibliografia
1. Tenore A, Basili S., Lenzi A: Il Progress Test 2016. Med. Chir 75: 3386-3390, 2017.
2. Crocetta C, Brindisi M, Lo Muzio L: Analisi dei Risultati del Progress Test 2017 dei Corsi di Laurea in Odontoiatria e Protesi Dentaria. Med. Chir. 78: 3487-3493, 2018.
3. Gallo P: Cosa cambia con la laurea abilitante per la Professione medica. III. Tra progress test e training test. Med. Chir. 79: 3524, 2018.
4. Recchia L, Moncharmont B, Gallo P: Dal Progress Test al Training Test: una prima elaborazione dei dati. Med. Chir. 81: 3594-3600, 2019.
5. Dancey CP, Reidy JG, Rowe R: Statistica per le scienze mediche, un approccio non matematico. Piccin-Nuova Libraria, Padova, 2016.
Medicina e Formazione è una rubrica a cura della Conferenza Permanente dei Presidenti di Consiglio di Corsodi Laurea Magistrale in Medicina e Chirurgia, Presidente Stefania Basili.