Zielsetzung
In dieser Studie wurde untersucht, ob ChatGPT-4o, eine generative Plattform für künstliche Intelligenz (KI), in der Lage ist, eine simulierte schriftliche Prüfung des European Board of Interventional Radiology (EBIR) zu bestehen, und ob GPT-4o ob GPT-4o dazu verwendet werden kann, Medizinstudenten und Interventionsradiologen mit unterschiedlichem Fachwissen auszubilden, indem es Prüfungsaufgaben zur Interventionsradiologie generiert.
Material und Methoden
GPT-4o wurde gebeten, 370 simulierte Prüfungsaufgaben der CIRSE für die EBIR
Vorbereitung (CIRSE Prep) zu beantworten. Anschließend wurde GPT-4o gebeten, Prüfungsaufgaben zu Themen der interventionellen Radiologie mit unterschiedlichen Schwierigkeitsgraden zu erstellen. Diese generierten Aufgaben wurden von 4 Teilnehmern beantwortet, darunter ein Medizinstudent, ein Assistenzarzt, ein Facharzt und ein EBIR Holder. Ein Prüfer überprüfte die von GPT-4o generierten Antworten und Aufgaben auf ihre Richtigkeit und Relevanz. Diese
Arbeit wurde von April bis Juli 2024 durchgeführt.
Ergebnisse
GPT-4o beantwortete 248 der 370 CIRSE-Vorbereitungsaufgaben richtig (67,0 %). Bei 50 CIRSE Prep-Aufgaben beantwortete der Medizinstudent 46,0 %, der Assistenzarzt 42,0 %, der Facharzt 50,0 % und der EBIR-Inhaber 74,0 % richtig. Alle Teilnehmer beantworteten 82,0 % bis 92,0 % der 50 GPT-4o generierten Items auf der Ebene der Studenten Ebene richtig. Bei den 50 GPT-4o-Aufgaben auf EBIR-Ebene beantworteten die Medizinstudenten 32,0 %, die Assistenzärzte 44,0 %, die Fachärzte 48,0 % und die EBIR-Inhaber 66,0 % richtig. Alle Teilnehmer konnten die mit dem GPT-4o generierten Items für das Studentenniveau bestehen, während der EBIR-Inhaber die mit dem GPT-4o generierten Items für das das EBIR-Niveau. Zwei (0,3 %) von 150 durch den GPT-4o generierten Items wurden als unplausibel bewertet.
Schlussfolgerungen
GPT-4o konnte die simulierte schriftliche EBIR-Prüfung bestehen und angemessene Prüfungsaufgaben mit unterschiedlichem Schwierigkeitsgraden erstellen.