Руководство AMEE № 56: "Исследовательский компас": Проведение научных исследований в медицинском образовании

11 Сентября 2013

Данное Руководство AMEE является введением в исследовательскую деятельность в медицинском образовании. Оно предназначено для тех, кто планирует проведение исследований в медицинском образовании, но не знаком с данной сферой.

Руководство построено вокруг процесса трансформации идей и проблем в вопросы исследования, выбора подхода к исследованию, определяющего предпосылки и учитывающего индивидуальные предпочтения исследователя, а также соответствующие контексту возможности и ограничения. Первая часть Руководства посвящена логическому обоснованию научноисследовательской работы в медицинском образовании и некоторым проблемам, обусловленным сложностью этой области.

В следующем разделе представлено, как можно трансформировать идею или проблему в вопрос исследования через помещение конкретной идеи в концептуальную теоретическую схему. Дальнейшие разделы построены на основании обзорной модели подходов к исследованиям в медицинском образовании, "компаса исследования". Сущность модели - концептуальная, теоретическая схема, универсальная для любого научного направления.

"Компас" описывает 4 основные категории подходов к исследованию, которые могут применяться при изучении феноменов медицинского образования: предварительные исследования, наблюдательные исследования, экспериментальные исследования, прикладные исследования. В последующих Руководствах AMEE, посвященных исследованиям в области образования, эти подходы будут раскрыты более подробно.

Ключевые моменты

- Исследование в медицинском образовании преследует цели углубления знаний и понимания обучения, преподавания и образования. Оно не решает конкретные локальные проблемы и не помогает принимать общие, универсальные решения.

- Чтобы перейти от интересующей исследователя идеи, проблемы или феномена к вопросу исследования необходимо иметь концептуальную теоретическую схему: определить лежащие в основе механизмы и принципы познания, преподавания и обучения, имеющие отношение к теме, и провести обзор литературы на предмет того, что уже известно и что нуждается в дальнейшем исследовании.

- В научно-исследовательской работе медленно, путем совершения множества выборов и жертв, происходят фокусирование на теме исследования и формулировка основного изучаемого вопроса.

- Существует большой выбор исследовательских подходов, причем у каждого из них есть собственная цель. Вот 4 основные категории: предварительные исследования, цель которых - моделирование; экспериментальные исследования, цель которых - обоснование чего-либо;

наблюдательные исследования, ставящие своей целью прогнозирование, и прикладные исследования, сосредоточенные на применении знаний.

- Выбор подхода зависит от вопроса исследования, часто целесообразно и необходимо применять несколько подходов или смешанных методов.

Введение

Это руководство - введение в исследовательскую деятельность в медицинском образовании. Оно предназначено для тех, кто планирует проведение медицинской научно-исследовательской работы, но является новичком в этой сфере, включая и тех, кто в целом не имеет опыта в научно-исследовательской деятельности, и тех, у кого есть опыт проведения научно-исследовательской работы в области биомедицины, но не в области медицинского образования. Руководство составлено, с учетом проведения неких параллелей с исследованиями в биомедицине. Мы укажем, чем и каким образом отличаются научно-исследовательские работы в медицинском образовании. В дополнение к некоторым общим принципам руководство обратится к ведущимся в настоящее время дебатам о подходах к исследовательской деятельности в медицинском образовании и изучению сложных феноменов и вмешательств. В этой связи мы надеемся, что руководство будет интересно и тем, у кого уже имеется опыт научноисследовательской деятельности в области медицинского образования, и побудит их к дальнейшей дискуссии.

Руководство построено вокруг процесса трансформации идей и проблем в вопросы исследования, выбора подхода к исследованию, определяющего предпосылки и учитывающего индивидуальные предпочтения исследователя, а также соответствующие контексту возможности и ограничения. Первая часть руководства посвящена логическому обоснованию научно-исследовательской работы в медицинском образовании и некоторым проблемам, обусловленным сложностью области. В следующем разделе говориться о том, как трансформировать идею или проблему в вопрос исследования. Эта часть описывает, как поместить конкретную идею в концептуальную теоретическую схему. Дальнейшие разделы построены на основании модели, дающей обзор подходов к научно-исследовательской деятельности в медицинском образовании, "компаса исследования". Сущность модели - концептуальная теоретическая схема, являющаяся ключом к любому направлению. Компас описывает 4 основные категории подходов к исследованию, которые могут применяться при изучении феноменов медицинского образования: предварительные исследования, наблюдательные исследования, экспериментальные исследования, переводные исследования.

Отдельные разделы данного руководства посвящены общим принципам каждого элемента модели. Особое внимание уделяется помощи читателям в нахождении дополнительной информации на интересующие их темы.

Данное вводное руководство является первым в серии руководств AMEE, посвященных научно-исследовательской деятельности в медицинском образовании.

В последующих руководствах серии будут описаны специфические исследовательские подходы, дизайн и методы, тогда как в других выпусках будут рассматриваться концептуальные теоретические схемы и их связь с научно-исследовательской работой в медицинском образовании.

Научные исследования в медицинском образовании

С альтруистической точки зрения научные исследования в медицинском образовании необходимы для углубления знаний посредством изучения феноменов, для того чтобы понять, каким образом что-то работает и для чего. Тем не менее читатель может задуматься и о других причинах проведения научных исследований в медицинском образовании. Исследователем может двигать подлинный интерес ученого к феноменам медицинского образования и/или желание публиковать свои работы с целью собственного карьерного роста, славы или достижения положения в научном сообществе. Другая цель может состоять в том, чтобы обосновать затраты средств, времени и усилий на занятие медицинским образованием или привлечение финансирования для новых образовательных технологий или инициатив.

Наконец применение научного подхода к инновационной практике медицинского образования может быть разумной стратегией для формирования круга ученых, заинтересованных в покупке новых идей и концепций и, как результат, приобретения их поддержки для внедрения инноваций (Grant, Gale, 1989). Но независимо от того, что является стимулом научной работы, необходим тщательный подход к организации исследования и, для публикаций в научных журналах, четкое определение практической значимости и вклада полученных результатов в копилку новых знаний и интерпретаций как познавательного процесса, так и образования в целом.

Проблема

Задача исследователя - поместить конкретную идею, интерес или проблему в общий контекст обучения, преподавания и образования. Начинающие исследователи в сфере медицинского образования могут не осознавать этой обобщающей перспективы (основной задачи) и склоняться к фокусированию на локальных, конкретных проблемах или вопросах, которые они хотят понять или решить через сбор и анализ данных, полученных при оценке, аттестации или аудите. Например: "Насколько студенты удовлетворены содержанием и форматом моего курса?", "Какие результаты обучения на данном курсе можно будет оценить при помощи проверки практических навыков?" или "Насколько хорошо данная программа осуществляется в нашем институте исходя из количества преподавателей, которые придерживаются ее стандарта?". Но исследование главным образом не должно решать конкретные локальные вопросы. Наоборот, оно должно быть посвящено проблемам, которые связаны с общими вопросами познания, преподавания и образования, изучаемыми в конкретном контексте. С этой точки зрения обобщаемость результатов исследования имеет первостепенное значение. Один из аспектов обобщаемости - то, какой вклад вносит исследование в общий фонд знаний об обучении, преподавании, образовании. Это требует критической оценки того, как содержание исследования может повлиять на результаты. Другой аспект связан с практической значимостью и с тем, как новые знания могут изменить образовательную практику. Тем не менее медицинское образование - очень сложная дисциплина с существенными различиями в практике, причем как между курсами, школами, базами, территориями и странами, так и внутри них. В дополнение к комплексности медицинского образования есть множество взаимосвязанных факторов, которые в совокупности составляют сложную систему образования (рис. 1).


Для исследователей может стать недостижимой цель - добиться в итоге работы единственного решения или объяснения, универсального и подходящего для любой системы медицинского образования.

Получение в итоге работы единственного решения или объяснения, универсального и подходящего для любой системы медицинского образования, может так и остаться для исследователей недостижимой целью. Большинство ученых, возможно, будет стремиться к привнесению частичного вклада в науку, пониманию множества феноменов и размышлению над ними и тем, как, что и почему работает.

Вкратце исследование в медицинском образовании не посвящено ни решению локальных проблем, ни нахождению общих решений (Regehr, 2010). Исследователям следует приложить максимум усилий для того, чтобы привлечь внимание практиков к проблемам медицинского образования, чтобы те, используя критические (различные) обзоры результатов исследований, лучше выполняли собственные задачи.

Одной из важнейших характеристик дисциплин медицинского образования является то, что их практическая часть и способ подачи материала по большей части нестандартизованы. Важной характеристикой дисциплины медицинского образования является то, что его практика и предоставление главным образом нестандартизированы. В значительной степени медицинское образование не похоже на биомедицинские науки, где множество биомедицинских технологий, например, связанных с препаратами или техническими процедурами, состоят из высокостандартизированных вмешательств.

Преимущество биомедицины еще и в том, что при оценке необходимых величин и результатов она обращается к высокоточным инструментам для измерений.

Таким образом, обобщения в биомедицине в некоторой степени более возможны и применимы. Тем не менее даже в биомедицинской сфере, на которую значительно влияет позитивистская философия научного прогресса, существует возрастающая тенденция признания (осознания) комплексности (сложности) практики (практической деятельности) и расширения перспектив исследовательских воззрений (Campbell et al., 2000; Ward et al., 2009a; Bunniss & Kelly, 2010).

От идеи или проблемы к вопросу исследования

У начинающих в области медицинского образования обычно есть собственный научный интерес, вызванный конкретной проблемой или феноменом, с которыми они столкнулись в своем окружении (в своей практической деятельности, жизни). Первым шагом исследователя должно стать превращение этой проблемы, интереса или наблюдения в общую проблему, которая может быть изучена. Это заставляет ученых стремиться проанализировать и попытаться идентифицировать базовые концепции, вовлеченные в их конкретную проблему или идею и выяснить лежащие в ее основе механизмы обучения, преподавания и образования, применимые к их идее. Это в значительной мере соответствует исследованиям в биомедицине, которые требуют понимания основ физиологии, эпидемиологии, фармакологии и т.д., и их связи с болезнями, медикаментами или соответствующей медицинской техникой.

Другими словами, первый шаг в исследовании в области медицинского образования - помещение идеи или проблемы в концептуальную теоретическую схему.

Концептуальная теоретическая схема

Концептуальная, теоретическая схема исследования, состоит из трех частей:

1) выбор теорий обучения и образования, которые могут прояснить механизмы, лежащие в основе идеи или проблемы;

2) критический синтез сведений из экспериментальной литературы, определяющей, что уже известно об идее, с целью предоставления информации для развития конкретной темы исследования; 3) собственные мысли и идеи исследователя. Эта схема способствует трансформации личной или локальной идеи или проблемы в проблему исследования. Эта схема к тому же помогает сформулировать вопрос исследования и выбрать адекватный подход к исследованию. Таким образом, схема создает рациональную структуру и организацию для подтверждения логического обоснования исследования и объяснения, почему и как оно будет предприниматься. Наконец, когда исследование уже завершено, концептуальная теоретическая схема дает основания для дискуссии о возможности обобщения результатов или находок исследования.

Изучение литературы - стартовая точка анализа идеи или проблемы в соответствии с концептуальной теоретической схемой.

Для начинающих в сфере исследований в медицинском образовании эта ступень может повлечь за собой много кропотливой работы. Тем не менее определение схемы также экономит усилия, потому что она помогает исследователю сфокусироваться на наиболее ценных аспектах и ограничить неактуальные для исследования области. Первый шаг - это определение главных тем, к которым может быть отнесена идея или проблема (рис. 1).

Следующий шаг - изучить фундаментальные понятия, связанные с этими темами и основными механизмами обучения, преподавания и образования. В ходе этого исследователь обычно выясняет, что к центральной идее или проблеме можно подойти с разных сторон и с различных точек зрения. Таким образом, выбор неизбежен. В процессе выбора ученому следует выделить в качестве фокуса исследования те аспекты, которые ему действительно хочется изучать.

Где искать?

Существует множество учебников, посвященных основным концепциям обучения, преподавания и образования, которые могут помочь в определении доминирующей темы в идее или проблеме для изучения.

Тем не менее, нет руководства для составления концептуальной теоретической схемы, хотя есть соответствующие статьи (Carpiano, Daley, 2006; Bordage, 2009; Bunniss, Kelly, 2010). В дополнение ко всему, некоторые обзорные статьи рассматривают множество теорий связанных с темами медицинского образования (Mann, 2004; Bleakley, 2006; Patel et al., 2009a, 2009b; Mann, 2011). Хорошей отправной точкой со множеством полезных литературных источников для выяснения того, что уже известно и что еще не выяснено и заслуживает дополнительного изучения, может послужить огромное количество обзорных документов (статей), таких как обзоры по доказательному медицинскому образованию (BEME Guides) и руководства AMEE. Эти документы обычно акцентируют те области, в которых необходимо проведение дальнейших исследований. Руководство BEME № 3, части 1 и 2 предоставляет помощь в изучении баз данных по медицинскому образованию (Haig, Dozier, 2003a, 2003b), а на веб-сайте AMEE представлен широкий спектр ссылок на ресурсы с данными (www.amee.org).

Формулировка вопросов исследования

После определения темы исследования, следующий шаг - сформулировать общий вопрос исследования или глобальную цель, которую затем можно разбить на более специфические вопросы для изучения.

Формат и формулировка вопросов исследования тесно связаны с выбранным подходом. В предварительных исследованиях используется качественный исследовательский подход, связанный скорее с открытыми вопросами, нацеленными на определение переменных, способных объяснить феномен, тогда как в экспериментальных исследованиях обычно задается вопрос закрытого типа, относительно заданных переменных с целью установления взаимосвязи.

В связи с этим в данном Руководстве AMEE проблема формулирования вопросов исследования будет описана в нескольких разделах, посвященных различным исследовательским подходам.

Компас исследования

Компас исследования (рис. 2) представлен в виде модели, содержащей обзор различных подходов к исследованию в медицинском образовании. Это совокупность точек зрений на подходы (методы) к изучению комплексных вмешательств (Campbell et al., 2000) и разработанная Кук и др. схема классификации целей исследования в медицинском образовании (Cook et al., 2008). Некоторые руководства и статьи по исследованию в медицинском образовании и в биомедицине также включены в данную модель.


В центре модели - концептуальная теоретическая схема, являющаяся сердцевиной и основанием любого исследовательского подхода. Вокруг нее лабиринт компаса, который состоит из 4 широких категории исследований, преследующих различные цели. Одна из категорий - предварительные исследования, их цель - моделирование, чтобы определить и объяснить элементы феноменов и их взаимосвязи. Эта группа включает описательные исследования и исследования, использующие качественные подходы. Также к этой рубрике относятся психометрические исследования, устанавливающие валидность и надежность инструментов измерений.

Моделирование - не только цель предварительных исследований, но и предшественник для разработки экспериментальных исследований и определения приемлемых вмешательств и результатов.

Цель экспериментальных исследований - подтверждение, и эти исследования в основном представляют усиленно контролируемые эксперименты с использованием гомогенных выборок. Этот тип исследования, тем не менее, не всегда осуществим в области медицинского образования, и наилучшей альтернативой ему являются наблюдательные исследования, т.е. исследования типа "случай-контроль", когортные и ассоциативные исследования.

Наблюдательные исследования изучают естественные или статические группы людей и нацелены на прогнозирование некоторых типов результатов. Наконец прикладные исследования фокусируются на внедрении знаний и результатов исследования в реальную жизнь, что осложнено тем, что каждый человек индивидуален.

Это внедрение может привести к оценке как самого процесса, так и результата, что в свою очередь, может дать толчок к открытию новых неожиданных феноменов, побуждающих к дальнейшему изучению их в предварительных исследованиях и, возможно, новых контролируемых экспериментах.

Мы не утверждаем, что модель "компаса исследования" является всеобъемлющей. Скорее, эта модель пытается обрисовать общую картину и проиллюстрировать, как каждый подход к исследованию вносит свой вклад в построение существующего знания и понимания обучения и образования. В отличие от лабиринта в схеме исследования есть несколько входов и выборов путей и направлений. Более того, это не стремление к тому, чтобы в каждом исследовательском проекте были реализованы все схемы от начала и до конца. Исследование - это движение маленькими шажками, основанное на первичном знании и понимании, что может быть сделано на любой ступени схемы. Так, отдельные исследователи могут свободно перемещаться между любыми ступенями. Другими словами, они могут выбрать такой исследовательский поход, который соответствует их нуждам и предпочтениям, качественным или количественным, экспериментальным или переводным работам, до тех пока этот подход соответствует проблеме исследования и выполним в рамках контекста, в котором будет проведено исследование. Наконец множественные исследовательские подходы не являются исключительными, чаще всего необходимо использовать комбинации подходов. В последующих разделах каждый элемент модели будет описан более подробно.

Предварительные исследования и моделирование

Довольно много различных методов исследования можно включить в категорию предварительные исследования. В нее включены наглядные, качественные и психометрические исследования. Цель предварительных исследований - моделирование посредством определения, описания и анализа основополагающих характеристик и механизмов феноменов, свойств, вмешательств, измерительных инструментов и т.д.

Предварительные исследования задают открытые вопросы, такие как "Что характеризует-?", "Как люди понимают и объясняют-?", "Какие факторы могут бытьидентифицированы-? " , "Какова валидность и надежность-?" Основываясь на результатах, исследователь синтезирует модель для объяснения рассматриваемой темы.

Моделирование также связано с предварительными работами ученого, выполненными до выбора исследовательского подхода и дизайна исследования, экспериментального, переводного или наблюдаемого. В этом смысле моделирование опирается на изучение и анализ более мелких частей процесса и того, почему и как это будет работать в отдельно взятом исследовании. Кроме того, моделирование используется для выявления наилучшего метода сбора данных и выбора предметов исследования.

Описательные исследования

Описания феноменов, новых инициатив или деятельности, таких, как разработка учебной программы, метода преподавания, форматы аттестации, стратегии оценки и т.д., обычно не определяются как исследование. Это объясняет, почему все сложнее найти публикации о данном типе исследования в научных журналах по медицинскому образованию. Тем не менее, если в работе изучается вопрос, связанный с концептуальной теоретической схемой, у такой работы больше шансов трактоваться как исследование. Примеры таких вопросов: "Как теории обучения и преподавания дают информацию о- феномене?" или "Какую информацию предоставляют теории и первичные опытные исследования для дизайна, исполнения или оценки- инициативы?".

Так как исследование посвящено изучению взаимосвязей, распространенной практикой является применение наиболее простого общего правила: работа классифицируется как исследование, если она посвящена какому-либо сравнению или установлению взаимосвязей. Для описательных исследований сравнение может относиться к концептуальной теоретической схеме.

Описательные исследования в медицинском образовании раньше часто встречались в научных журналах и на конференциях, посвященных медицинскому образованию (Cook и соавт., 2007; Todres и соавт., 2007). Тем не менее, ведущие специалисты в области медицинского образования и редакторы медицинских журналов, повысили планку научных стандартов исследовательской работы. Проблема простых описательных исследований состоит в том, что, хотя они и могут представлять сведения о множестве важных наблюдений и положительных начинаний, включая оценивание, аттестацию или аудит, часто в них не хватает перспектив для обобщения, о котором говорилось в вводной части данного руководства. Существует несколько хорошо описанных методов, которые могут быть использованы для дальнейшего обобщения: исследование на основе определенного дизайна, исследование воздействия и ситуационные работы. Руководство не рассматривает подробности этих технологий, но соответствующую информацию можно почерпнуть из книг и журналов.

Качественные исследования

В последнее время возрастает интерес к использованию качественных методов исследования в области здоровья и образования. Многие клиницисты, изучавшие биомедицину, могут быть мало знакомы с качественными исследованиями. Поп и Мэйс определили общую цель качественного исследования как развитие принципов, которые помогают понять социальные феномены, в естественной (лучше, чем в экспериментальной) обстановке, расставив акценты на суждениях, опыте и точках зрения участников (Pope, Mays, 1995). Вследствие того, что качественные методы в большей степени используют данные, основанные на формулировках, а не на цифрах, прочтение, интерпретация и проведение качественных исследований требует специфических методов (Greenhalgh, Taylor, 1997).

Теоретически качественное исследование берет начало в достижениях философии ХХ в., признавших важность языка в построении того, что мы понимаем под реальностью. Многие из тех, кто проводит качественные исследования, уверены в том, что все, называемое истиной или реальностью, фильтруется и регулируется через язык. Применяя данную конструктивистскую парадигму, исследователи, использующие качественные методы, акцентируют внимание на социальных, исторических и индивидуальных обстоятельствах (Kuper et al., 2008b).

Качественные методы наилучшим образом применимы для поиска ответов на вопросы "почему", "как" и "какова природа-". Эти методы применяются в трех изначальных случаях: 1) предварительно по отношению к количественным исследованиям; 2) как вспомогательные сведения (для триангуляции) для данных количественного исследования; 3) для раскрытия сложных феноменов, не поддающихся количественному изучению. Важно отметить, что качественные и количественные подходы не противоположны друг другу. Хотя иногда их представляют как два противоположных полюса, они являются разными и взаимодополняющими способами изучения похожих феноменов. Представим, что исследование фокусируется на диабете и комплайентности в отношении лечения инсулином. Количественное исследование может раскрыть вопрос: "Какова взаимосвязь между некомплаентностью (измеренной по уровню гликозилированного гемоглобина) и прогрессированием заболевания?" Качественное исследование может ответить на вопрос: "Почему пациенты некомплаентны? Как они видят прогрессирование заболевания?", "Какова природа их непонимания сведений о диабете и комплайентности?"

Существует множество качественных методов, включая опросы, фокусные группы, ситуационные исследования, анализы текстов и наблюдения. Тем не менее исследователь должен знать, что необходимо понимать концептуальную схему, сопровождающую все эти методы. Каждый метод принадлежит одной или нескольким традициям исследования, например, этнографии (Reeves и соавт., 2008), анализу дискурса (Hodges и соавт. 2008) и обоснованной теории (Lingard и соавт., 2008).

Важно понимать эти методологии, из которых берут начало различные методы (инструменты), прежде чем собирать данные с их использованием.

Очевидно, что статистическая обработка не может применяться для анализа данных, выраженных в текстовой форме. Тем не менее существует много методов для кодирования и интерпретации качественных данных. Обычно вначале сведения собираются и переносятся в текстовый формат для обработки. Kvale сформулировал 5 подходов к транскрипционному анализу и кодированию: краткое содержание понятий, разделение на категории по темам, построение повествовательных интерпретативных методов и, наконец, специальный подход (Kvale, 1996).

Важное отличие от количественного принципа - то, как качество понимается в качественном исследовании (Kuper et al., 2008a). Так как данные собираются в естественных условиях и приоритет отдается опыту и мнению участников, результаты не следует автоматически распространять на другие ситуации. Скорее, исследователь ищет свидетельства того, что находки могут быть перенесены в различные контексты. Аналогично, представление о надежности данных заменяется концепцией "степени достоверности", "действительности" и "подлинности". Целью качественных подходов, скорее, является понимание точки зрения и опыта участников в их многообразии, нежели сокращение данных для уменьшения статистической ошибки, как принято в количественных исследованиях. Таким образом, исследователи говорят о точках зрения, включающих их собственную точку зрения, акцентируя внимание на рефлексивности, а не на статистической погрешности. Другие элементы качественного исследования, требующие внимания, - это адекватность формирования выборки и насыщенность данных, их подлинность и достоверность (надлежащие данные и анализ), различные формы триангуляции (изучение взаимосвязи и подобия данных, собранных различными способами в разных источниках), самопроверка (возвращение данных участникам для подтверждения), множественное кодирование и наличие контрольного журнала (отчет о решениях и проведенной работе). Богатая гамма ресурсов (см. ссылки, цитированные выше) и курсов доступна для исследователей, заинтересованных в качественных методах.

Психометрические исследования

Психометрические исследования обычно связаны с измерениями и измерительными инструментами. В последние десятилетия появилось множество публикаций различных исследований в области оценки знаний, в которых почти всегда используются как измерения, так и измерительные инструменты. В этом разделе описаны два понятия, фундаментальных по отношению к измерениям: валидность и надежность.

Кроме того, внимание уделяется развитию измерений, или инструментов оценки.

Валидность

Валидность - важная характеристика измерительных инструментов. Считается, что инструмент валиден, когда он действительно измеряет то, что должен измерять. При проведении оценок на высоком уровне, используемых для принятия ключевых решений о пригодности, валидность имеет, безусловно, определяющее значение. Выделяют разные виды валидности. 4 наиболее общих типа валидности - очевидная, содержательная, критериальная и конструктная валидность.

Очевидная валидность. В прошлом во многих исследованиях использовался принцип очевидной валидности, чтобы буквально показать, что именно из инструментальных измерений соответствовало содержанию того, что требовалось измерить. Тем не менее данное определение в целом не применимо к исследованиям в медицинском образовании. Редакторы журналов вряд ли примут статьи, в которых используется такое примитивное определение. Они требуют более существенных свидетельств валидности (см. далее) Тем не менее из этого правила есть исключение. В литературе по симуляции в медицинском образовании среди исследователей общепринят термин "очевидная валидность" для указания на то, что, по мнению экспертов, модель приближена к реальной медицинской практике.

Содержательная валидность. Главным элементом содержательной валидности является формирование выборки. Например, при написании теста для студентов, который они должны пройти в конце образовательного курса, разработчикам следует удостовериться в том, что вопросы и пункты теста соответствующим образом представляют содержание курса. Для того, чтобы убедиться в содержательной валидности такого теста, распространенной практикой являются проведение проектного описания различных областей содержания, охватываемого курсом, и определение числа тестовых вопросов/пунктов для включения в каждый раздел.

Содержательная валидность - также важный аспект в разработке опросников для проверки определенных концепций.

При создании подобных опросников, исследователю следует начать с подробного обзора теорий, лежащих в основе структуры (концепции), и в идеале найти другие опубликованные опросники. В определенной точке процесса разработки обычно очерчен круг тем и вопросов, которые охватывает тест. Можно пригласить экспертов, для того чтобы они высказали свое мнение о связи между инструментом (опросником) и предшествующей теорией, что помогает в плане содержательной валидности.

К сожалению, некоторые коллеги продолжают придерживаться более примитивных методов при разработке тестов и опросников. Важно понимать, что на самом деле сложно и проблематично разработать тест и быть уверенным в его содержательной валидности. В исследовательской практике, разработчикам опросника часто необходимо собрать данные по теме, знания о которой ограничены. В подобных случаях лучше всего вначале провести качественное исследование, чтобы получить полную картину существующей идеи или структуры, и таким образом получить информацию о содержании. Невозможно проследить, в скольких исследованиях была достигнута содержательная валидность. На практике есть много работ, в которых данному виду валидности не уделяется особого внимания.

Критериальная валидность зависит от степени согласованности результатов интересующего теста или измерения и результатов, полученных при другом аналогичном тесте или оценке. К другим тестам или оценкам обращаются как к внешним критериям. Различают два типа критериальной валидности: конкурентную и прогностическую. Сначала необходимо определить прогностическую валидность и только затем критериальную. Когда необходимо определить прогностическую валидность измерения, возникает критериальная валидность. Например, случай, когда нужно установить, в какой степени отметки в средней школе прогнозируют результаты обучение в медицинских вузах.

Некоторые хорошо известные примеры из медицинского образования можно найти у Swanson и соавт. (1991) и Ramsey и соавт. (1989). Когда речь идет о конкурентной валидности, критерии выбираются при проведении измерений.

Конструктная валидность. Этот тип валидности наиболее сложен для определения. Обычно исследователи пытаются установить корреляции между результатом, измерениями и действиями, которые предположительно связаны с определенной теорией или концепцией. Типичный пример - исследование, в котором сравнивается результат одного и того же измерения, проведенного стажерами и консультантами. Разница между их результатами интерпретируется как аргумент для обоснования конструктной валидности, так как при экспертизе на разницу в результатах влияет само проведение измерений.

Тем не менее часто этот вывод слишком прост, так как существует много различий между стажерами и консультантами, которые могут повлиять на результаты измерений различным образом.

Streiner, Norman (1995) описали 3 метода, часто используемых для установления конструктной валидности: сравнение крайних групп, изучение конвергентной и дискриминативной валидности и многофакторные мультиметодные исследования. Заинтересовавшиеся могут узнать об этом больше из из статей этих авторов.

Надежность

Различают 2 типа надежности: воспроизводимость результатов теста или устойчивость результатов теста и внутренняя согласованность. Воспроизводимость результатов означает, что студент, достигший высокого балла в определенном тесте, получит такой же высокий балл при прохождении теста в дальнейшем. Внутренняя согласованность предполагает, что разделы теста или вопросы анализируют определенные темы или концепции.

Воспроизводимость результатов теста.

Метод повторного тестирования (или ретест) и метод эквивалентных бланков широко используются для установления воспроизводимости.

При использовании метода повторного тестирования тот же тест повторяется через определенный промежуток времени. Корреляция между двумя результатами является коэффициентом воспроизводимости, который должен достигать определенного уровня (не меньше 0,5).

Если временной интервал между двумя измерениями слишком короткий, следует принять в расчет возможность эффекта обучения после первого тестирования. Если между измерениями прошло слишком много времени, коэффициент будет ниже, так как результаты теста могут зависеть от множества других факторов.

Для метода эквивалентных бланков одновременно требуется 2 различных инструмента измерения результатов. Инструменты должны быть сравнимы. Так как сложно разработать такие парные инструменты, метод используется менее широко, нежели метод повтороного тестирования.

В литературе различают 2 типа воспроизводимости: интраэкспертная и межэкспертная надежность. Когда один или более эксперт вовлечены в оценку кандидата, интраэкспертная надежность определяется ответом на вопрос: Постоянны ли во времени оценки кандидата, данные одним и тем же экспертом? Другими словами, даст ли тот же самый эксперт такую же оценку кандидату через определенное время (интраэкспертная надежность)? Вопрос, который необходимо задать в отношении межэкспертной надежности: одинаковую ли оценку дают разные эксперты одному и тому же кандидату?

Внутренняя согласованность теста или оценки зависит от степени гомогенности вопросов. Другими словами, в какой степени разные вопросы оценивают одни и те же основополагающие структуры (темы, концепции и т.д.) или принципы? Есть два пути определения внутренней согласованности: подсчет коэффициента надежности или разделение теста на две части и подсчет коэффициента для каждой части.

Наиболее часто внутренняя согласованность рассчитывается по такому статистическому показателю, как альфа Кронбаха.

Для дихотомических данных более применим коэффициент Кьюдера-Ричардсона.

Следует отметить, что данные коэффициенты не являются устойчивыми характеристиками определенного инструмента. Они связаны со специфическими оценками в определенные моменты, и, таким образом, существует предпосылка для их изменения. Другой способ оценки внутренней согласованности теста - разделение его на две половины и выяснение путем вычислений, будет ли достигнут в обеих частях одинаковый результат. Это делается при помощи формулы Спирмена-Брауна.

Разработка инструмента

Процесс разработки инструмента начинается с четкого описания и определения темы для изучения и того, что и как должно быть измерено. Это требует детального анализа литературы, чтобы:

1) найти связанные с темой теоретические модели или теории, которые могут послужить фундаментом для разработки инструмента;

2) выяснить, какие исследования, связанные с изучаемой темой, уже проведены другими исследователями;

3) найти уже существующие инструменты и удостовериться в их валидности и надежности.

Для начинающих исследователей вначале будет очень полезно обсудить планы с более опытными коллегами, которые могут порекомендовать необходимую литературу, и хорошо знакомы с работами, уже проведенными другими исследователями.

Наиболее распространенный совет опытных исследователей новичкам: лучше выбрать другой подход, нежели разработать новый инструмент.

После того как тема четко описана и точное определение сформулировано, и когда исследователь подумал о разработке нового инструмента, следующим шагом будет определение информационного наполнения, которое будет измеряться. В зависимости от темы есть несколько путей для определения информационного наполнения и создания плана. Например, если инструмент разработан для предоставления информации об определенной процедуре, анализ самой процедуры должен стать начальной точкой в определении основного содержания. На этой ступени может выясниться, что имеющихся знаний для определения информационного наполнения недостаточно. В таком случае можно посоветовать вначале провести качественное исследование, например, изучение фокусгруппы или исследование-опрос.

Чтобы определить информационное наполнение (содержание измерений), час-то организуются встречи экспертов. В настоящее время теоретическое основание является важным принципом на этом этапе разработки инструмента. Теория может быть использована в принятии решений об информационном наполнении, так как она может предоставлять сведения о различных точках зрения, которые будут изучены исследователем во время работы с темой. После того как определено содержание, можно приступать к созданию инструмента.

Разумно пригласить коллег для критической оценки инструмента, чтобы избежать многословности, проверить формулировки и т.д.

Когда завершен проект инструмента, приходит время его опробовать. Важно выяснить, понимают ли пользователи вопросы и как много времени им придется потратить на завершение задания. В крупных исследовательских проектах в пилотную фазу обычно вовлекается большее число участников, чтобы впоследствии иметь возможность провести статистический анализ. После усовершенствования инструмента исходя из результатов пилотного исследования, инструмент готов к использованию.

Разработка инструмента

  • Обзор литературы
  • Определение темы исследования
  • Решение об информационном наполнении (содержании)
  • Создание инструмента
  • Пилотное тестирование и усовершенствование инструмента
  • Использование инструмента

Для определения типа статистического анализа, подходящего для собранных данных, важно понять, какой тип шкалы был использован: номинальная, порядковая, интервальная или шкала отношений?

В номинальной шкале сам исследователь назначает цифру для переменной.

Например: 1 = мужчина и 2 = женщина.

Эти цифры не обозначают ни числового значения, ни определенного порядка Они просто служат для классификации данных.

Порядковая шкала распределяет информацию в определенном порядке, но не подразумевает, что разность между метками одинакова. В интервальной шкале расстояния между ее соседними точками равны друг другу. Например, расстояние между метками 10 и 20 кг такое же, что и между точками 40 и 50 кг. Во многих ситуациях невозможно определить точно, одинаковы ли расстояния между точками шкалы.

Шкала отношений - это интервальная шкала с истинной нулевой отметкой, например, для роста или веса. На практике, исследователи часто прибегают к использованию интервальной шкалы, так как этот тип шкал позволяет провести целый ряд статистических анализов.

Экспериментальные исследования

Цель экспериментальных исследований - подтверждение чего-либо. Другими словами, они предназначены для поиска доказательств эффективности воздействия.

Вопросы исследования чаще всего носят закрытый характер: "Работает ли данная процедура?" или "Эффективнее ли данная процедура, лучше ли она, нежели другая?"

Для уверенности в том, что эффект связан с вмешательством, воздействием, исследователь должен контролировать множество факторов, которые могут сказаться на результате. Эти так называемые искажающие факторы связаны с характеристиками исследуемой популяции, с самим воздействием (лечением) или с контекстом исследования. Исследователь посредством тщательного контроля эксперимента стремится минимизировать нежелательные эффекты искажающих факторов. Есть несколько путейдля достижения этого. Во-первых, отбор гомогенной выборки для изучения, во-вторых, стандартизация исследования и инструмента оценки и, в-третьих, наличие контрольной группы, не участвующей в процедуре вмешательства. Далее будут приведены примеры дизайна экспериментальных исследований в медицинском образовании. Тем не менее в данном руководстве даны некие общие принципы, и читателю следует обратиться к дополнительной литературе для уточнения деталей и способов статистической обработки.

Существует много различных типов экспериментальных исследований.

В медицине рандомизированное контролируемое исследование (РКИ) в целом рассматривается как наилучший дизайн исследования, который превосходит все остальные дизайны в предоставлении валидного свидетельства эффекта вмешательства. РКИ исследует, может ли процедура работать при строгом контроле и в стандартизированной обстановке.

Считается, что использование строгих критериев отбора испытуемых и случайное разделение на экспериментальную и контрольную группу даст уверенность в том, что искажающие факторы, связанные с индивидуальными характеристиками испытуемых, будут аналогичными в обеих группах, и единственным различием между двумя группами будет факт медицинского воздействия. Классическое РКИ сравнивает эффект медицинского воздействия с отсутствием такового (плацебо) (табл. 1).

Участники случайным образом разделены на 2 группы: контрольную и экспериментальную. Первичное измерение проводится в обеих группах, затем проводится медицинское воздействие в одной группе и назначается плацебо в другой, в финале измерения повторяются в обеих группах.

Затем данные изучаются на предмет различий между двумя группами в расчете на то, что эксперимент продемонстрирует изменение в группе воздействия, но не в контрольной группе.

Существует несколько сложностей в использовании дизайна классического РКИ при проведении исследований в медицинском образовании. Во-первых, в образовании бессмысленно проводить сравнение между контрольной и экспериментальной группой. Например, если воздействие - это курс обучения по проведению реанимационных мероприятий, группа, в которой производится воздействие, почти обязана показать лучшие результаты при дальнейшем тестировании, нежели контрольная группа, которая не изучала данного курса.

Следовательно, в медицинском образовании больший смысл приобретает сравнение нового курса с приемлемыми альтернативами, нежели сравнение с группой "без интервенции (воздействия)".

Другая проблема дизайна, представленного в табл. 1, состоит в том, что проведение первоначального тестирования может повлиять на результат как благодаря углубленному изучению тем, по которым проводится тестирование, усилению учебной мотивации, так и благодаря актуализации предыдущих знаний. Более того, если один и тот же тест используется до и после воздействия, то есть риск запоминания теста участниками. Несомненно, предварительные тесты должны применяться при изучении медицинского образования с осторожностью. Тем не менее это ставит перед исследователем дилемму: как без предварительного тестирования оценить проведенное обучение?

В-третьих, временной интервал, в течение которого проводится тестирование после "воздействия" может оказать существенное влияние на результаты во время оценки после интервенции и стать ключевым для результата. Когда результаты обучения оцениваются немедленно, они могут ошибочно восприниматься как свидетельство истинного обучения. Истинное обучение характеризуется относительно стабильным изменением способностей в связи (по отношению) с каким-либо аспектом исследования - знаниями, умениями, установками, мотивацией, эмоциями, социализацией. Для выявления стабильного изменения рекомендуется провести последующие измерения (тестирования): при помощи оценки выученного материала через какое-то время после "воздействия" и/или при помощи оценки того, могут ли участники применять недавно полученные возможности (знания) в других аналогичных заданиях или ситуациях. Другими словами, следует измерить способность переноса полученных знаний на другие ситуации (на практику).

Дизайн 4-группового РКИ, принятый для решения этих 3 проблем, изображен в табл. 2. Участники разделены на 4 группы. Для двух верхних групп проводят изначальные измерения, а для двух нижних - не проводят. В таблице также отражено, что воздействие сравнивается с подходящим альтернативным курсом и то, что планируются некоторые виды последующих измерений (тестирований).

4-групповой дизайн РКИ - идеал, которого трудно достичь на практике. Одна из достижимых альтернатив - разбить исследование на пилотажное, в котором измеряются результаты обучения до и после воздействия, и основное - без первоначальных измерений (первоначального тестирования), но включающее последующие наблюдение и измерения.

Наконец само по себе разделение на группы сложно осуществить в условиях медицинского образования, исследователю часто приходится довольствоваться другими средствами установления (определения) групп для сравнения. Такие нерандомизированные исследования еще называют квазиэкспериментальными.