Автор(ы): Хохлов И.В.
Город: Москва
Учреждение: ФФМ МГУ имени М.В. Ломоносова
Актуальность
Итоговый балл ОСКЭ зависит от субъективно назначаемых весов пунктов чек-листа. Арифметическое усреднение экспертных оценок чувствительно к выбросам: один аномальный голос может обесценить важный пункт или завысить вес второстепенного действия. Эксперты используют разные шкалы (0…5, 0…45, −100…100), и без нормализации такие оценки несопоставимы. Наконец, при малом числе экспертов сам по себе разброс оценок не позволяет отличить истинную согласованность от случайного совпадения. Требуется формализованная процедура, устойчивая к выбросам и дающая объективные критерии утверждения весов.
Цель
Разработать и апробировать трёхшаговую робастную процедуру согласования весовых коэффициентов пунктов чек-листа ОСКЭ с раздельной оценкой экспертного согласия (IQR) и статистической надёжности консенсуса (ДИ95% медианы).
Материалы и методы
Апробация выполнена на чек-листе «Первая помощь при травме» (26 пунктов: официальный перечень мероприятий первой помощи и «прочие действия»). Независимые оценки дали 13 экспертов. Оценка — любое вещественное число в любой удобной эксперту шкале (0…10, −100…100, −7,9…1 млн, −π…√2). Несоизмеримость шкал намеренно допускается и устраняется на этапе 2. Положительное число — действие полезно, чем больше число, тем оно важнее («оценил пульс»); ноль — действие нейтрально, не влияет на состояние пострадавшего («поправил халат»); отрицательное число — действие вредно, чем больше модуль, тем сильнее оно должно снижать итоговый балл («нахамил пациенту»). Ноль — единственная общая точка всех шкал: он входит в медиану, но не участвует в расчёте размаха при нормализации.
Этап 1 — сбор сырых баллов: эксперты независимо выставляют сырые баллы, не видя чужих оценок и итоговых весов.
Этап 2 — робастная нормализация по столбцам. Для ненулевых модулей столбца вычисляются Q₁, Q₃, IQR = Q₃ − Q₁ и граница выбросов B = Q₃ + 3·IQR. Делитель Dⱼ — максимальный модуль среди значений, не превышающих B. Все ненулевые оценки делятся на Dⱼ и умножаются на 100: типичные оценки попадают в диапазон −100…+100, выбросы могут выходить за его пределы и не усекаются, сохраняя информацию о нетипичных, но обоснованных суждениях. Нормализация применяется при ≥4 ненулевых значениях в столбце, иначе используются сырые баллы.
Этап 3 — агрегация. По каждому пункту из нормализованных значений zᵢⱼ вычисляются медиана Mᵢ (консенсусный вес), Q₁, Q₃, IQRᵢ (мера разногласия) и ДИ95% медианы по Olive (2005) — мера статистической надёжности при малом n. Медиана выбрана из-за устойчивости к выбросам: чтобы её сместить, нужно исказить почти половину оценок (точка поломки ≈50%), а среднее арифметическое искажается одним-единственным выбросом (1/n). Расчёты и визуализация (boxplot) выполнены в веб-приложении «Конструктор чек-листов», используемом в симуляционном центре.
Результаты
После нормализации шкалы экспертов приведены к единой шкале −100…+100. По всем пунктам проведён анализ. Пороги решения задали до разбора итогов: IQR считали широким, если он больше 30; ширину ДИ считали широким, если он больше 50. Сформулированы следующие правила:
узкий IQR (≤30) + узкая ширина ДИ95% (≤50), ноль вне интервала → пункт утверждён;
узкий IQR (≤30) + широкий ДИ95% (>50) → консенсус предварительный, нужно больше экспертов;
широкий IQR (>30) → клинические разногласия, пункт на обсуждение;
ДИ95% включает ноль, а медиана нет → знак веса ненадёжен, пункт на обсуждение.
Утверждены 5 из 26 пунктов, 2 признаны предварительными, 19 вынесены на обсуждение. Примеры:
«Контролировал состояние пострадавшего до прибытия скорой»: M = +60, IQR = 20 (50–70), ДИ95% [50; 80] — узкие IQR и ДИ, ноль вне интервала, вес утверждён.
«Правильно определил наличие дыхания»: M = +82, IQR = 80 (20–100), ДИ95% [13; 100] — широкий IQR, содержательные разногласия, пункт отправлен на обсуждение.
«Оставил пострадавшего одного без наблюдения»: M = −64, IQR = 30 (−80…−50), ДИ95% [−100; −50] не включает ноль — штрафной вес утверждён.
Обсуждение
IQR и ДИ95% медианы выполняют разные взаимодополняющие функции: IQR показывает согласие экспертов между собой, ДИ — статистическую обоснованность итогового числа при ограниченном n. В отличие от метода Дельфи, процедура одношаговая и не требует повторных раундов. Это экономит время экспертов. В отличие от коэффициента конкордации Кендалла W, оценивающего согласие по чек-листу в целом, IQR и ДИ95% дают попунктную диагностику, необходимую для пересмотра конкретных позиций. Допущение произвольных вещественных шкал освобождает эксперта от подстройки под чужую систему оценок: единственный общий «якорь» шкал — ноль. Делитель Dⱼ обеспечивает интерпретируемость: +100 всегда соответствует наиболее значимому типичному действию конкретного эксперта. Отрицательные веса позволяют штрафовать деструктивные действия, что критично для безопасности и коммуникативных навыков. Процедура надёжна при n ≥ 6. При меньшем n ДИ95% медианы почти совпадает с размахом оценок, медиана выдерживает лишь один выброс, а квартили по трём–четырём значениям неустойчивы. Поэтому консенсусы при n < 6 следует считать предварительными. В этой апробации n = 13, процедура формально применима. Преобладание пунктов на обсуждении отражает расхождение экспертов в весах, а не недостаток выборки.
Выводы
1.Объективность весов чек-листа ОСКЭ достигается трёхшаговой процедурой: сырые баллы → робастная нормализация → медиана с квартилями и ДИ95%.
2.Допущение произвольных вещественных шкал освобождает эксперта от подстройки под чужую систему оценок: единственный общий «якорь» шкал — ноль. Несоизмеримость шкал устраняется нормализацией.
3.IQR служит мерой экспертного согласия, ДИ95% медианы (Olive) — мерой статистической обоснованности консенсуса; их сочетание задаёт прозрачные правила утверждения весов.
4.Для формального утверждения весов рекомендуется ≥6 независимых экспертов.
Хохлов Илья Вадимович
Ваш комментарий будет первым!
Войти или зарегистрироваться, чтобы оставить комментарий.