Практические советы по составлению валидного и надежного банка вопросов множественного выбора

22 Апреля 2016

Состояние проблемы. Вопросы множественного выбора (multiple choice questions, MCQ) - один из наиболее часто используемых письменных инструментов оценки, особенно если необходимо оценить большой объем учебного материала у большого числа студентов. Экзамены с использованием MCQ имеют управляемую систему организации, просты в проведении, позволяют быстро подсчитать баллы и легко рассчитать индексы сложности и дискриминативности для каждого задания, упрощая стандартную процедуру проведения экзамена. Когда этот вид оценки применяется для сертификации специалистов, важно использовать соответствующие методы обеспечения качества. Разработка MCQ требует концентрации общих усилий специалистов по планированию учебной программы, экспертов по содержанию, координаторов курса и преподавателей медицинских специальностей. Цель этой статьи - обрисовать поэтапный подход к обеспечению качества письменной оценки по комплексной учебной программе, начиная с выверки соответствия оценки программе обучения и заканчивая созданием банка вопросов множественного выбора (MCQ).

Обсуждение. Скоординированные усилия и поэтапный подход к разработке тем наряду с целенаправленной работой профессорско-преподавательского коллектива являются экономически эффективным средством создания огромного банка вопросов валидных и надежных экзаменационных заданий, который может использоваться в качестве национального ресурса для профессиональных советов по регулированию в данной стране при проведении экзаменов на получение лицензии.

Вопросы множественного выбора (MCQ) - один из наиболее часто ис­пользуемых письменных инструментов оценки. Этот инструмент особенно эф­фективен, если проводится оценка боль­шого объема учебного материала у боль­шого числа студентов [1-4]. Экзамены с использованием MCQ имеют управляе­мую систему организации, просты в про­ведении, позволяют быстро подсчитать баллы [1]. С помощью этого инструмента можно быстро рассчитать индексы сложности и дискриминативности для каждого задания, упрощая стандартную процедуру проведения экзамена [1, 3]. Когда такой вид оценки применяется для сертифика­ции специалистов, важно использовать со­ответствующие методы обеспечения каче­ства [1]. Мы описываем поэтапный подход к обеспечению качества письменной оцен­ки по комплексной учебной программе, начиная с выверки соответствия оценки программе обучения и заканчивая созда­нием банка MCQ.

Методы

Этап 1. Общие усилия

Основным ресурсом при разработке MCQ является время, необходимое для создания валидных заданий. Разработка MCQ требует концентрации общих усилий специалистов по планированию учебной программы, экспертов по содержанию, ко­ординаторов курса и преподавателей меди­цинских специальностей. Специалисты по планированию учебной программы опреде­ляют область оценки и утверждают методы оценки; эксперты по содержанию опре­деляют объем знаний, который подлежит проверке; координаторы курса обрисовы­вают реальную картину полученного опыта обучения, которая необязательно должна совпадать с ожиданиями специалистов по разработке и планированию учебной про­граммы; преподаватели медицинских спе­циальностей обеспечивают техническую часть в создании соответствующего зада­ния. Для объединения усилий всех этих лю­дей требуются значительная администра­тивная поддержка и участие руководства кафедры, которое играет важную роль дви­жущей силы в данном процессе.

Этап 2. Разработка плана проведения экзамена

Валидность и надежность можно на­звать "лакмусовой бумажкой" инструмента оценки. Чтобы экзамен можно было счи­тать надежным и валидным, важно, чтобы его проведение соответствовало заранее составленному плану [2].

Это позволит гарантировать, что в эк­заменационных материалах будут в пол­ной и равной мере представлены все не­обходимые и важные понятия [3]. Такая стратегия во время экзамена позволит ис­ключить напрасную трату времени и ре­сурсов на оценку знаний студента, касаю­щихся несущественных и поверхностных вопросов. Также это позволяет гарантиро­вать, что определенные темы/узкие спе­циализации/задачи не будут представле­ны в экзаменационных материалах шире, чем другие [4].

Как только составлен план проведения экзамена, его нужно сравнить с имеющи­мися тестовыми материалами [2]. Знания важнейших понятий необходимо прове­рять из года в год. Чтобы результаты экза­мена имели высокую надежность, требу­ется внести соответствующие изменения в данные или информацию, представлен­ные в плане, и убедиться, что изменения в MCQ проверяют знания этого же поня­тия. Если одно и то же задание использо­вать часто, оно станет бесполезным для проверки понимания студентами данного понятия [2].

Этап 3. Критический обзор существующего банка вопросов

Координаторы, участвующие в отборе заданий для включения в экзаменацион­ный лист, скорее всего, выявят неверные задания, пробелы и недостатки в существующем банке вопросов (QB). С целью восполнения этих пробелов составляются новые вопросы, а существующие вопросы пересматриваются на предмет их струк­туры и содержания [2]. Это необходимо выполнять постоянно, чтобы полностью пересматривать (проверить и исправить) каждое задание по крайней мере каждые 5 лет. Поскольку медицина очень быстро развивается, все варианты необходимо рассматривать критически с учетом посту­пающей новой информации, обеспечивая содержательную и конструктную валидности. Конструкцию вопроса следует рас­сматривать как часть предварительного и апостериорного анализа.

Для каждой дисциплины мы предла­гаем координаторам, экспертам по содер­жанию и преподавателям медицинских специальностей критически пересмотреть экзаменационные MCQ за предшеству­ющие 4-5 лет. Это преследует несколько целей:

  • Определить, насколько хорошо пре­дыдущие экзаменационные материалы соответствуют плану проведения экза­мена.
  • Определить, как часто за предыдущие 5 лет использовалось данное задание. Как упоминалось ранее, если задание используется многократно, это может привести к снижению надежности результатов оценки.
  • Пересмотреть индексы сложности и дискриминативности для отдельных заданий, а также экзамена в целом. Изменение характера этих индексов за прошедшие годы послужит признаком изменения стратегий обучения, моди­фикации воздействия различных кли­нических ситуаций и к последующей неэффективности задания.
  • Выявить дефекты в структуре MCQ, которые могут негативно повлиять на использование заданий как надежного инструмента оценки [1].

Этап 4. Разработка заданий профессорско-преподавательским коллективом

Для того чтобы обеспечить широкое участие в разработке экзаменационных ма­териалов, все члены профессорско-препо­давательского коллектива, оценивающие студентов, должны пройти базовую под­готовку по разработке и критическому рас­смотрению MCQ, участвуя в регулярных семинарах под руководством специалистов в области медицинского образования [4]. Эти специалисты должны быть готовы к пе­риодическому пересмотру заданий и к тому, чтобы предоставить конструктивные ответы, которые помогут развивать навыки составле­ния заданий. Критика без конкретных указа­ний только отобьет охоту предпринимать дальнейшие попытки и повысит нагрузку на немногих оставшихся сотрудников.

Если не считать талантливых составите­лей тестов, наиболее частым препятствием в разработке MCQ является творческий кри­зис. Мы считаем, что большинство членов профессорско-преподавательского коллек­тива испытывают трудности с разработкой MCQ, если работают за рамками контекста и без четких указаний. Поэтому после рас­смотрения плана проведения экзамена ру­ководитель курса/координатор медицин­ской практики должны разработать точный перечень заданий, которые необходимо включить в экзаменационные материалы. Например, если в обзоре имеющегося ряда вопросов отсутствует задание, посвящен­ное часто встречающимся патогенным воз­будителям заболеваний желчевыводящей системы и медикаментозной терапии этих заболеваний, координатор ставит эти спец­ифические цели обучения специалисту по содержанию/предмету для дальнейшей раз­работки соответствующих MCQ.

Этап 5. Коллегиальное и мультидисциплинарное рассмотрение новых MCQ

Как только составлены MCQ, зада­ние должны оценить эксперты по содер­жанию, которые часто имеют различные научные интересы [1]. В нашем учреж­дении все новые MCQ проходят 2 цикла рассмотрения, перед тем как будут приня­ты. Первый цикл - внутрикафедральное рассмотрение коллегами, работающими на нашей кафедре. Например, вопросы, связанные с патологией почек, составлен­ные нефрологом, рассматривает группа, включающая терапевтов, кардиологов, врачей-инфекционистов и т.д., в пределах медицинского факультета. Это гаранти­рует одинаковое понимание задания при прочтении, которое предусматривается его разработчиком, а также то, что прове­ряемая информация подобрана правиль­но и что задание соответствует уровню экзаменуемых. Это первая проверка, если она выполняется добросовестно, то в зна­чительной степени обеспечивает высокое качество задания. Точный механизм реа­лизации процесса проверки может варьи­ровать. На более крупных кафедрах для этой цели может быть сформирован ко­митет по проверке вопросов. На неболь­ших кафедрах/в отделах для этой цели проводится ряд заседаний, на которых могут присутствовать разные сотрудники факультета, в зависимости от их занято­сти.

На втором цикле осуществляется мультидисциплинарная проверка, кото­рая играет важную роль для обеспечения соответствия всех заданий общим целям программы обучения. Мы осознаем тот факт, что ни одно понятие в медицине не стоит особняком. Каждый раздел ин- формации подтверждается множеством фактических данных, которые в процессе обучения могут преподаваться разными специалистами. Поэтому при создании валидного задания необходимо, чтобы информация была представлена из не­скольких разделов. Если задание для те­стов для экзамена по педиатрии посвяще­но эмбриологии, очевидно, что эмбриолог должен иметь возможность проверять и улучшать MCQ. Это упражнение так­же позволяет выполнить оценку в других тестах по смежным темам. Например, ведение пациентов с инфарктом миокарда подходит, как для области терапии, так и для области неотложной медицины, и поэтому проверка знаний по этой важной теме валидна в обеих областях. Эта про­верка предоставляет идеальную возмож­ность внести изменения в общие задания таким образом, чтобы они оценивали раз­личные задачи и позволили разработать всестороннюю группу MCQ.

В нашем учреждении мы организуем ежегодные практические семинары с уча­стием всех руководителей в качестве спо­соба поощрения активного участия сотруд­ников их кафедр. На такие практические семинары, которые проводятся за предела­ми университета в конце недели, приглаша­ются члены клинического профессорско-преподавательского коллектива, научные сотрудники, приглашенные экзаменаторы и преподаватели медицинских специаль­ностей [1]. Это позволяет обеспечить мак­симальное участие - на собственном опыте мы убедились, что за последние 3 года число участников среди сотрудников факультета выросло с 60 до 145.

Мультидисциплинарные группы фор­мируются в соответствии с проверяемы­ми (рассматриваемыми) дисциплинами. Например, группа, которая будет проверять MCQ по акушерству и гинекологии, должна включать экспертов по содержа­нию, а также педиатров, семейных врачей (врачей общей практики), хирургов, эндокринологов, физиологов и преподавателя соответствующей медицинской специ­альности как главного эксперта в составе этой группы. Таким образом, члены про­фессорско-преподавательского коллек­тива получают возможность развивать навыки составления вопросов благодаря мультидисциплинарному совместному опыту обучения [1].

Этап 6. Определение основных характеристик задания и составление вопросов для банка вопросов

Для того чтобы пользователь мог со­хранить или сформировать банк рассмо­тренных MCQ, важно, после того как зада­ния рассмотрены, проверены и одобрены, определить их характеристики, которые упростят их извлечение из QB. Эти харак­теристики включают такие категории, как клиническая презентация, дисциплина, система органов, процесс заболевания и специальные задачи, основанные на принципах учебного заведения, связанных с обучением и оценкой и с учебным пла­ном [5]. Для каждой рассмотренной темы необходимо заполнить Форму с описани­ем характеристик MCQ, которая упростит процесс загрузки MCQ в QB. В разных учебных заведениях используются разные системы и программы, которые исполь­зуются для работы с QB. Наш QB создан в программе Excel и имеет определенные характеристики, психометрические осо­бенности, включающие индекс сложности и индекс дискриминативности, он изоли­рован от Интернета эффективной системой защиты от вирусов/"червей" и систе­мой безопасного резервного копирования данных.

Этап 7. Выбор тем для экзаменационного листа

Составление групп из 100 или более вопросов для проверки знаний на более высоких уровнях, например, в области представлений и решения задач, требует тщательного подбора заданий высокого качества и приверженности плану прове­дения экзамена. Поэтому выбор заданий для экзаменационного листа - это науч­ная задача, решая которую координаторы на основании плана проведения экзамена выбирают 70% заданий средней сложно­сти и приблизительно 10-15% с индек­сами "легкое" и "сложное". После пра­вильной загрузки задания в QB, процесс извлечения осуществляется путем сорти­ровки по характеристикам и психометри­ческим данным, в результате чего полу­чается относительно просто и правильно выбрать задания для экзаменационного листа [5].

Этап 8. Апостериорный анализ

Этот этап является последним, но, веро­ятно, самым важным. Он позволяет полу­чить измеряемый результат от вложенных в описанную выше задачу времени и усилий. Подробный апостериорный анализ вклю­чает рассмотрение (проверку) анализа за­дания, при котором определяются индекс сложности и индекс дискриминативности для каждого задания, принимаются решения, касающиеся выбора заданий на осно­вании анализа темы и ответов эксперта по предмету/содержанию [1]. Полученные ин­дексы используются для определения того, является ли задание валидным и надежным. Если выявлены какие-либо проблемы, за­дание не используется как элемент QB, пока не будет пересмотрено и скорректировано. Если тема признается приемлемой, следует пересмотреть стратегию обучения/изуче­ния, направленную на решение конкретной задачи. После каждого использования ин­дексы для каждого задания заносятся в QB. Эта информация является дополнительным аспектом для разработки сбалансированно­го метода проведения экзамена [3].

Обсуждение

Разработка качественного банка ва­лидных и надежных заданий для вопросов множественного выбора, направленных на оценку когнитивных способностей и соответствующих рекомендациям, касаю­щимся создания задания, является непро­стой задачей для разработчика. По нашему опыту, это требует многомесячных объ­единенных усилий группы специалистов. Скоординированные усилия и поэтапный подход к разработке заданий наряду с це­ленаправленной работой профессорско-преподавательского коллектива являются экономически эффективным средством создания огромного банка вопросов для валидных и надежных экзаменационных заданий, которые можно использовать в качестве национального ресурса для про­фессиональных регуляторных советов в данной стране при проведении экзаменов на получение лицензии.


Литература/References

1. Case S.M., Swanson D.B. Constructing Written Test Questions for the Basic and Clinical Sciences. 3rd ed. Philadelphia: National Board of Medical Examiners, 2001.

2. Wass V., Van der Vleuten C., Shatzer J., Jones R. Assessment of clinical competence. Lancet. 2001; Vol. 357: 945-9.

3. Mc Coubrie P. Improving the fairness of multiple-choice questions: A literature review. Med Teach. 2004; Vol. 26: 709-12.

4. Mc Coubrie P., McKnight L. Single best answer MCQs: A new format for the FRCR part 2a exam. Clin Radiol. 2008; Vol. 63: 506-10.

5. Vale C.D. Computerized item banking. In: S.M. Downing, T.M. Haladyna (eds). Handbook of Test Development. Mahwah, NJ: Erlbaum, 2006.