Конференции / IV съезд РОСОМЕД-2015, в рамках Международной конференции "Инновационные обучающие технологии в медицине" / Повышение валидности оценки практических навыков в симуляционном центре с помощью различных технологий расчёта итогового балла по оценочным листам

Результаты

Введение: В ходе симуляционного обучения достаточно часто возникает необходимость оценки выполнения студентами практических навыков в численном виде, например, в процентах. Часто это осуществляется с помощью оценочных листов и одновременно оцениваются несколько навыков. Как вариант, для этой цели возможно проведение объективного структурированного клинического экзамена (ОСКЭ). Тем не менее, выставить справедливую оценку всем студентам, даже с помощью объективного метода, может быть не так просто. Валидность оценки могут снижать неравномерная сложность пунктов оценочных листов и самих практических навыков, а также другие несоответствия в составленных оценочных инструментах.
Материалы и методы: Для определения наилучшего варианта обеспечения валидности оценки, полученной при ОСКЭ, были проанализированы результаты сдачи экзамена 253 интернами Карагандинского государственного медицинского университета. Баллы, полученные за экзамен, были пересчитаны 12 различными способами, включая «взвешивание» отдельных пунктов оценочных листов и самих станций ОСКЭ, используя как предварительную экспертную оценку, так и экспертную оценку в виде «глобального рейтинга», выставленную на экзамене. По полученным баллам была построена регрессионная модель, в которой независимыми переменными являлись пересчитанные баллы, а зависимой переменной – балл компьютерного тестирования знаний студентов, полученный перед проведением ОСКЭ.
Результаты: Посредством регрессионной модели, были исключены 9 из 12 предложенных схем, включая все схемы, в которых использовались «невзвешенные» оценки. Окончательная модель включала только три схемы: балл, скорректированный по «глобальному рейтингу», «взвешивание» станций по предварительной экспертной оценке и «взвешивание» станций по уровню сложности после экзамена, скорректированное «глобальным рейтингом». Несмотря на свою более высокую валидность, коррекция «глобальным рейтингом», в нашем случае, снижала «невзвешенные» баллы в среднем на 10%, что потенциально может вызвать несогласие студентов и поставить валидность разработанных оценочных листов под вопрос.
Заключение: Наиболее адекватной методологией «взвешивания» итоговой оценки при сдаче студентами практических навыков в симуляционном центре по оценочным листам является использование экспертных мнений о сложности отдельных навыков до экзамена и применение «глобального рейтинга». При этом все оценочные листы должны проходить тщательную экспертизу перед экзаменом для устранения сомнений в их валидности.
Выводы: Оценка практических навыков с помощью оценочных листов в симуляционном центре – гораздо более сложный процесс, чем это может казаться с первого взгляда. Различные методологии «взвешивания» результатов позволяют достичь более высокой валидности оценки, однако их применение должно быть согласовано со всеми заинтересованными сторонами.