Научное обоснование критериев оценки учреждения высшего профессионального образования, претендующего на звание "Вуз здорового образа жизни"

02 Февраля 2011

Применение метода экспертных оценок позволило, опираясь на обос­нованное достоверное мнение экспертов, базирующееся на их зна­ниях, опыте и интуиции, при строгом соблюдении правил и мето­дов проведения экспертизы, обработки и анализа данных научно обосновать критерии оценки учреждения высшего профессиональ­ного образования, претендующего на звание "Вуз здорового обра­за жизни", и определить их ранговые места по степени значимости в зависимости от набранных баллов. Кроме того, была определе­на выраженность в баллах индикаторов, характеризующих каж­дый из критериев.

По результатам проведенного исследования подготовлены научно-обоснованные предложения по критериям (индикаторам) оценки учреждения высшего профессионального образования, претендующего на звание "Вуз здорового образа жизни", позволяющие сопоставить вузы по степени их реализации. Данные критерии можно использовать в качестве инструмента для развития здоровьеформирующей деятельности, направленной на улучшение здоровья участников образовательного процесса, студентов и преподавателей.

В современных условиях России в связи с демографическим кризисом на фоне снижения уровня состояния здоровья населения все большую актуальность приобретает поиск более действенных способов его сохранения и развития. Образ жизни является основным фактором, определяющим здоровье населения и его отдельных групп, в том числе участников образовательного процесса в вузах, студентов и преподавателей. Хотя ведущая роль в сохранении и формировании здоровья принадлежит самому человеку, его мотивации на сохранение и укрепление здоровья, соблюдение здорового образа жизни (ЗОЖ), немаловажную роль в развитии чувства ответственности за здоровье, понимания ценности ЗОЖ, особенно у молодежи, играет здоровьеформирующая деятельность учреждений высшего профессионального образования (ВПО). По инициативе Всероссийской партии "Единая Россия" и министерства здравоохранения и социального развития РФ проводится 2-й Всероссийский конкурс образовательных учреждений ВПО на звание "Вуз здорового образа жизни".

В связи с этим необходимо научное обоснование критериев оценки эффективности проводимых в вузах мероприятий. В ГОУ ВПО "Красноярский государственный медицинский университет им. проф. В.Ф. Войно-Ясенецкого Минздравсоцразвития России" было проведено исследование, целью которого являлось научное обоснование критериев (индикаторов) оценки учреждений ВПО, претендующих на звание "Вуз здорового образа жизни". Для принятия решений целесообразно опираться на методы, которые бы позволяли обобщать аргументированные суждения специалистов, наиболее компетентных в данной области. Такими методами являются методы экспертных оценок (Орлов А.И., 2002), которые достаточно разработаны и широко применяются во многих отраслях народного хозяйства, в том числе в медицине и здравоохранении (Шиган Е.Н., 1986). Они позволяют рассматривать сложные проблемы с наличием количественных и качественных критериев и включением субъективного компонента, получать квалифицированную информацию, обобщать мнение специалистов-экспертов по тем или иным вопросам, научно обосновывать рекомендации по оптимизации мероприятий, направленных на сохранение здоровья населения, повышать эффективность управленческих решений. 

Опыт применения метода экспертных оценок (Артюхов И.П., 2009) показал, что обоснованное достоверное мнение экспертов, базирующееся на их знаниях, опыте и интуиции, при строгом соблюдении правил и методов проведения экспертизы, обработки и анализа данных позволяет повысить качество и эффективность принятия решений по актуальным проблемам медицины, здоровья и здравоохранения.

Материалы и методы

На первом этапе была сформирована цель экспертизы и создана рабочая группа, организующая ее проведение. Цель состояла в научном обосновании критериев оценки учреждений ВПО, претендующих на звание "Вуз здорового образа жизни", на основе анализа мнения экспертов о значимости отдельных индикаторов и параметров.

На втором этапе была разработана карта экспертной оценки, сформирована группа экспертов. В качестве экспертов были приглашены 30 сотрудников КрасГМУ, имеющие знания и опыт работы в здоровьеформирующей деятельности учреждения ВПО (проректоры, деканы, заместители деканов, заведующие кафедрами и другие компетентные в данном вопросе лица). Предварительно анализировались соответствующие информационные материалы, литературные данные, позволяющие включить в карту те или иные вопросы.

Следует подчеркнуть, что для экспертов была предусмотрена возможность выразить свое мнение по тому или иному вопросу, включенному в карту. Правила проведения опроса были стандартными; получили информированное согласие экспертов на участие в опросе и хранение данных. Процедура проведения опроса была классической: каждый эксперт после ознакомления с инструкцией, где были обозначены цели исследования и порядок работы, самостоятельно заполнял карту экспертной оценки. Следует уточнить, что ранговые места проставлялись, начиная с 1-го места (максимальная значимость). Карты заполнялись в присутствии представителя рабочей группы, в отдельных случаях после соответствующего инструктажа они выдавались для работы в удобное для эксперта время, в тот же день заполненные карты возвращали в рабочую группу.

На третьем этапе были осуществлены обработка и обобщение результатов опроса по стандартной схеме, сделаны выводы для принятия решения. При обработке результатов в обязательном порядке по каждому оцениваемому экспертами показателю или вопросу рассчитывался коэффициент конкордации (согласованности) мнения экспертов, оценивалась его статистическая значимость.

Коэффициент конкордации определяли по следующей формуле:

W = 12S/ m2 (n3 - n)

S = Σ P2 - (Σ P)2/ n

где W - коэффициент конкордации (согласия) экспертов; P - ранги; S - разность между суммой квадратов рангов по каждому признаку и средним квадратом суммы рангов по каждому признаку; m - число экспертов; n - число сравниваемых признаков.

Коэффициент конкордации изменяется в диапазоне от 0 до 1 (чем ближе коэффициент к 1, тем выше согласованность экспертов), при этом: 0 - полная несогласованность, 1 - полное единодушие, 0,1-0,3 - низкая степень согласованности, 0,3-0,6 - средняя, >0,6 - высокая.

Для оценки статистической значимости коэффициента конкордации использовали формулу определения критерия: χ2= (n - 1) Ч m Ч W. Коэффициент считали достоверным, если искомое значение χ2 превышало его табличный вариант при числе степеней свободы, равном n - 1.

Расчет показателей осуществлялся с помощью компьютерной программы "Автоматизированная информационная система: Экспертные оценки. Блок анализа".

Результаты и обсуждение

При определении степени значимости и выраженности в баллах обобщенных критериев, позволяющих оценивать учреждения ВПО, претендующие на звание "Вуз здорового образа жизни" (табл. 1), мнение экспертов было единодушным: 1-е ранговое положение занял критерий "Создание мотивации к ЗОЖ у сотрудников и обучающихся".

Этот критерий получил максимальное количество баллов (351 балл). Затем с небольшим разрывом идут критерии: "Создание инфраструктуры в учреждении ВПО, обеспечивающей здоровьеформирующую деятельность" (264,8 балла), "Создание в учреждении ВПО условий для здоровьеформирующей деятельности" (262,3 балла), "Обеспечение психологического благополучия сотрудников и обучающихся" (256,1 балла). Последние ранговые места принадлежат критериям "Модернизация материально-технической базы для реализации оздоровительных мероприятий и ЗОЖ" (208,2 балла) и "Физическая и двигательная активность обучающихся и сотрудников" (157 баллов). Коэффициент конкордации W=0,517 (согласованность экспертов средняя), χ2=93,06, p<0,001.

Исходя из максимальной значимости критерия "Создание мотивации к ЗОЖ у сотрудников и обучающихся", проанализировано мнение экспертов по поводу индикаторов, его характеризующих, и определено их количественное выражение в баллах (табл. 2).

Таблица 1. Мнение экспертов о степени значимости и выраженности в баллах обобщенных критериев, позволяющих оценивать учреждения ВПО, претендующие на звание "Вуз здорового образа жизни"


Таблица 2. Мнение экспертов о степени значимости индикаторов, характеризующих показатель "Создание мотивации к ЗОЖ у сотрудников и обучающихся"


Таблица 3. Мнение экспертов относительно значимости индикаторов, входящих в критерий "Создание в учреждении ВПО условий для здоровьеформирующей деятельности"


Согласованность экспертов по данному вопросу средняя (коэффициент конкордации W=0,315; χ2=151,2; p<0,001).

Возможна дифференциация баллов в рамках того или иного индикатора в зависимости от его выраженности в образовательном учреждении. Нами была предпринята попытка осуществить градацию в баллах в пределах обозначенных индикаторов с помощью экспертов, однако мнения экспертов разошлись, статистической значимости полученных данных не установлено.

На наш взгляд, целесообразно при оценке вуза для устранения субъективного компонента использовать дихотомическую шкалу "да-нет". Если "да", выполнение индикатора подтверждено документами, баллы проставляются; если "нет", то за данный индикатор баллы не начисляются.

Анализ мнения экспертов относительно значимости индикаторов, входящих в критерий "Создание в учреждении ВПО условий для здоровьеформирующей деятельности" (табл. 3) выявил, что первое ранговое положение занимает индикатор "Наличие программы-", набравший 65 баллов.

Согласованность мнения экспертов по значимости индикаторов данного критерия высокая (коэффициент конкордации W=0,63, χ2=113,4; p<0,001).

Согласованным в средней степени было мнение экспертов относительно индикаторов критерия "Создание инфраструктуры в учреждении ВПО, обеспечивающей здоровьеформирующую деятельность" (коэффициент конкордации W=0,484, χ2=116,16; p<0,001). Результаты обобщенного мнения экспертов представлены в табл. 4.

Высокая степень согласованности мнения экспертов была установлена при определении ими значимости индикаторов, характеризующих критерий "Физическая и двигательная активность обучающихся и сотрудников" (коэффициент конкордации W=0,841; χ2=100,92; p<0,001). Анализ мнения экспертов показал, что первое ранговое место они отвели индикатору "Охват обучающихся физкультурно-оздоровительными мероприятиями", получившему 50 баллов (табл. 5).

Высокая степень согласованности мнения экспертов была установлена также при определении экспертами значимости индикаторов, характеризующих критерий "Модернизация материально-технической базы для реализации оздоровительных мероприятий и ЗОЖ" (коэффициент конкордации W=0,776; χ2=69,84; p<0,001). Обобщенные данные распределения по ранговым местам и выраженности индикаторов в баллах представлены в табл. 6.

Таблица 4. Мнение экспертов относительно значимости индикаторов, входящих в критерий "Создание инфраструктуры в учреждении ВПО, обеспечивающей здоровьеформирующую деятельность"


Таблица 5. Мнение экспертов относительно значимости индикаторов, входящих в критерий "Обеспечение физической и двигательной активности обучающихся и сотрудников"


Весьма интересные данные были получены в КрасГМУ относительно критерия "Обеспечение психологического благополучия сотрудников и обучающихся", который ранее практически ни одним вузом не учитывался (табл. 7). Эксперты вывели этот критерий на 4-е место по значимости. Таким образом, применение метода экспертных оценок позволило, опираясь на достоверное мнение экспертов, базирующееся на их знаниях, опыте и интуиции, при строгом соблюдении правил и методов проведения экспертизы, обработки и анализа данных научно обосновать критерии оценки учреждений ВПО, претендующих на звание "Вуз здорового образа жизни".

По согласованному мнению экспертов, 1-е ранговое положение занял критерий "Создание мотивации к ЗОЖ у сотрудников и обучающихся". Этому критерию было присвоено максимальное количество баллов. Затем с небольшим разрывом идут критерии: "Создание инфраструктуры в учреждении ВПО, обеспечивающей здоровьеформирующую деятельность", "Создание в учреждении ВПО условий для здоровьеформирующей деятельности", "Обеспечение психологического благополучия сотрудников и обучающихся". Последние ранговые места принадлежат критериям "Модернизация материально-технической базы для реализации оздоровительных мероприятий и ЗОЖ" и "Физическая и двигательная активность обучающихся и сотрудников". Кроме того, была определена выраженность в баллах индикаторов, характеризующих каждый из критериев.

Таблица 6. Мнение экспертов относительно значимости индикаторов, входящих в критерий "Модернизация материально-технической базы для реализации оздоровительных мероприятий и ЗОЖ"


Таблица 7. Мнение экспертов относительно значимости индикаторов, входящих в критерий "Обеспечение психологического благополучия сотрудников и обучающихся"


Возможна дифференциация баллов в рамках того или иного индикатора в зависимости от его выраженности в том или ином образовательном учреждении. Нами была предпринята попытка осуществить градацию в баллах в пределах обозначенных индикаторов с помощью экспертов. На наш взгляд, при оценке вуза по данным критериям для устранения субъективного компонента целесообразно использовать дихотомическую шкалу "да-нет". По результатам проведенного исследования подготовлены научно обоснованные предложения по введению критериев (индикаторов) оценки учреждений ВПО, претендующих на звание "Вуз здорового образа жизни" (приложение А - опубликовано на сайте www.medobr.ru). Применение подобных критериев позволит не только сопоставить вузы, но и послужит инструментом для развития здоровьеформирующей деятельности, направленной на улучшение здоровья участников образовательного процесса, студентов и преподавателей.