Согласно исследованию, опубликованному  в журнале Academic Radiology ,  ChatGPT демонстрирует потенциал в создании практических вопросов в формате доски для обучения резидентов-рентгенологов.

Как отметил ведущий автор Аарон Чжэн, доктор медицины из Питтсбургского университета, и его коллеги, вывод был сделан в ходе исследования, в котором большая языковая модель создавала вопросы с несколькими вариантами ответов (MCQ), которые по качеству соответствовали вопросам, написанным резидентами. 

«Мы не обнаружили статистически значимой разницы в восприятии качества MCQ, по оценке врачей-рентгенологов, между MCQ, созданными с помощью ChatGPT, и MCQ, написанными лечащим рентгенологом», — написала группа. 

Авторы пояснили, что в Питтсбургском университете после выступления с дидактической лекцией в ординатуре рентгенологи-стажеры должны представить два-три вопроса с многовариантными вопросами, обобщающими ключевые концепции их выступления. В конце каждого второго месяца старший ординатор представляет эти вопросы другим ординаторам-рентгенологам в формате лекции во время дневных конференций. 

Однако, как отмечают авторы, исторически сложилось так, что около 50% преподавателей не предоставляют вопросы множественного выбора (MCQ) после прочтения лекции. В данном исследовании исследователи оценили, способен ли ChatGPT точно и адекватно выполнять эту функцию при формировании вопросов множественного выбора (MCQ) для очного обучения. 

Сначала группа создала специальную подсказку для ChatGPT, которая позволяла генерировать вопросы с несколькими вариантами ответов (MCQ) без изображений на основе стенограмм лекций резидента. Чат-бот сгенерировал 144 вопроса с несколькими вариантами ответов (MCQ), 17 из которых были отобраны главным резидентом для включения в исследование и случайным образом объединены с 11 вопросами с несколькими вариантами ответов, составленными лечащим рентгенологом. 

Затем 21 участник-ординатор по радиологии ответил на вопросы каждого MCQ, оценил их по шкале от 1 до 10 по эффективности закрепления лекционного материала, а также ответил, считают ли они, что MCQ был составлен лечащим врачом-рентгенологом их учреждения или альтернативным источником. 

Согласно анализу, воспринимаемое качество вопросов существенно не различалось между вопросами, сгенерированными ChatGPT (среднее значение = 6,93), и вопросами, написанными лечащим рентгенологом (среднее значение = 7,08). Процент правильных ответов на вопросы MCQ существенно не различался между вопросами, сгенерированными ChatGPT (среднее значение = 57%), и вопросами, написанными лечащим рентгенологом (среднее значение = 59%).      

Кроме того, процент вопросов с многовариантным ответом, предположительно составленных лечащим рентгенологом, существенно различался между вопросами с многовариантным ответом, сгенерированными ChatGPT (среднее значение = 57%), и вопросами с многовариантным ответом, составленными лечащим рентгенологом (среднее значение = 71%).  

«Эти результаты показывают, что сформированные с помощью ChatGPT вопросы MCQ, выбранные главными резидентами отделения рентгенологии, могут оказаться полезными для закрепления лекционного материала и освещения клинических моментов из ранее прочитанных дидактических лекций», — пишут исследователи. 

В конечном счёте, исследователи отметили, что это первое на сегодняшний день исследование, оценивающее использование ChatGPT для создания многовариантных вопросов (MCQ) для обучения рентгенологии, и обозначили направления для будущих исследований. Например, дальнейшие исследования должны сравнить многовариантные вопросы (MCQ) на основе изображений, созданные ChatGPT, с многовариантными вопросами (MCQ), составленными лечащим рентгенологом и включающими визуализацию. 

Кроме того, остается загадкой, как ординаторы смогли отличить MCQ, составленные лечащим рентгенологом, от MCQ, созданных ChatGPT, и для выяснения этого вопроса необходимо провести качественный анализ, добавили они. 

«[Крупные языковые модели], такие как ChatGPT, демонстрируют потенциал в создании и представлении образовательных материалов для обучения радиологии, и их использование следует изучать далее в более широком масштабе», — пришла к выводу группа.