"Объективный структурированный клинический экзамен"

ОПИСАНИЕ

Объективный структурированный клинический экзамен (ОСКЭ) представляет собой метод, используемый для оценки клинической компетентности. Роналд Харден, в 1975 г впервые применивший этот метод оценки, дает следующее определение: Подход к оценке клинической или профессиональной компетентности, в котором компоненты компетентности оценивают планомерно и структурированно, с особым вниманием к объективности оценки.

В основе метода лежит комплексная оценка с конечным множеством (обычно от 10 до 20) оценочных станций, моделирующих различные аспекты клинической компетентности. Все участники проходят одинаковые испытания, последовательно переходя от станции к станции в соответствии с расписанием, результаты выполнения заданий при этом оцениваются с использованем чек-листов. Для проведения ОСКЭ могут быть использованы различные тренажеры и симуляторы, стандартизированные пациенты или реальные пациенты. Суть ОСКЭ заключается в отборе примеров и имитации процесса обследования и лечения пациента, поэтому практические испытания на станциях ОСКЭ обычно представляют собой задания на интерпретацию исследований, оценку коммуникативных навыков (сбор анамнеза, сообщение плохих новостей), а также технических навыков. Таким образом, ОСКЭ - это больше, чем комплексный экзамен. ОСКЭ позволяет произвести проверку клинических компетенций, в процессе которой оценивается уровень клинических навыков и способностей, связанных с компетентностью самостоятельного осуществления медицинской деятельности. Методика, в отличие от традиционных методов оценки, позволяет оценить и продемонстрировать, что учащиеся "могут сделать", а не то, что они "знают".

За 40 лет, прошедших со времени изобретения метода Роналдом Харденом наблюдается стабильный рост использования ОСКЭ для проведения экзаменов у студентов и ординаторов во всем мире. ОСКЭ используется для экзаменов при повышении квалификации в системе НМО, и в качестве средства получения обратной связи для коррекции процесса обучения. Сегодня ОСКЭ используется:

  • в качестве средства оценки достижения минимального приемлемого стандарта для студентов и резидентов при переводных и выпускных экзаменах в большинстве медицинских школ США, Великобритании и Канады. В Казахстане ОСКЭ стал обязательным экзаменом после 3, 5 и 7 курсов во всех медицинских вузах;
  • в качестве средства оценки интернов при назначении на более высокие должности в Королевских коллегиях врачей различных специальностей в Великобритании;
  • в качестве средства формативной оценки для коррекции обучения студентов-медиков;
  • в качестве средства оценки выпускников, претендующих на лицензию для занятия должности или на сертификат для практической деятельности. На модели ОСКЭ основаны часть 2 экзамена PLAB в Великобритании, Квалификационный экзамен-II Медицинского совета Канады, и раздел оценки клинических умений экзамена для получения медицинской лицензии в США (USMLE);
  • с 2016 методика ОСКЭ применяется в качестве 2 этапа первичной аккредитации специалистов в России.

Сильные и слабые стороны

ОСКЭ, как инструмент для оценки клинической компетентности, обладает множеством преимуществ в практичности, надежности и действенности. Некоторые авторы утверждают, что объективный структурированный клинический экзамен с его многочисленными вариациями сегодня доминирует в сфере оценки успеваемости. Как правило, чем больше станций с различными практическими испытаниями в рамках ОСКЭ, тем выше степень надежности его результатов и обоснованности содержания. Результаты исследований, проведенных ACGME (Аккредитационный совет по последипломному медицинскому образованию США), указывают что добиться необходимой степени надежности можно при внедрении ОСКЭ, состоящего из 20 практических испытаний. Исследование, проведенное ACGME, показывает корреляцию от 0,59 до 0,71 между результатами ОСКЭ и предаттестационных экзаменов. Таким образом при наличии достаточного количества станций, ОСКЭ может считаться надежным инструментом проверки знаний с достаточно высокой степенью надежности.

Преимущества ОСКЭ

Валидность

(степень, в которой содержание теста позволяет оценить действительно приобретенные или подлежащие проверке умения)

Как уже отмечалось выше, по сравнению с традиционным подходом к клиническим экзаменам, ОСКЭ обеспечивает более достоверную оценку клинической компетентности. Экзаменаторы могут заранее определить, что необходимо проверить, и планировать содержание экзамена для проверки определенных знаний, умений и навыков. При этом можно контролировать не только содержание, но и степень сложности экзамена - более простые случаи для студентов младших курсов, более сложные для старших. Акцент оценки может быть смещен с проверки фактических знаний на тестирование широкого спектра умений и навыков, включая сбор анамнеза. Помимо наиболее распространенных методов клинического обследования, возможно включение методов исследований, применяемых узкими специалистами, таких как офтальмология, оториноларингология.

С развитием ОСКЭ, помимо традиционно охватываемых им доменов, таких как коммуникационные навыки, клинический осмотр, выполнение медицинских процедур и интерпритация данных, все шире в содержание экзамена включаются оценка профессионнализма, безопасности пациентов и межпрофессиональных навыков.

Надежность

(воспроизводимость результатов тестирования)

ОСКЭ характеризуется не только большей достоверностью, но и большей надежностью, - результат экзамена мало зависит от конкретного экзаменатора и стандартизированного пациента (СП) Использование экзаменаторами чек-листов и тестовых заданий закрытого типа (с выбором одного наилучшего ответа) обеспечивает более объективную оценку. Дополнительным преимуществом ОСКЭ является то, что большой набор станций позволяет оценить более широкий спектр навыков учащихся.

Высокую надежность ОСКЭ обуславливают следующие факторы:

  • экзаменуемые проходят через набор станций, оценивающих разные аспекты клинической компетентности;
  • все экзаменуемыми получают одинаковый набор заданий;
  • каждого экзаменуемого оценивает множество подготовленных экзаменаторов, наблюдающих за выполнением заданий на различных станциях;
  • на станциях, включающих выполнение процедур, используются симуляторы с электронным или компьютерным контролем и объективной оценкой в реальном времени;
  • в чек-листах, разрабатываемых для каждой станции отдельно, отражено то что должно оцениваться в рамках экзамена.

Практичность

Еще одним преимущетвом ОСКЭ является возможность оценивать большие группы студентов. При этом возможно регулирование нагрузки экзаменаторов, оставляя их только на тех станциях, где их пристутствие действительно необходимо, - таких как наблюдение за сбором анамнеза или обследованием пациента. Формирование четких инструкций и чек-листов для оценки на каждой станции позволяет, в отличие от традиционных устных экзаменов, привлекать в качестве экзаменаторов более широкий круг преподавателей и клиницистов. ОСКЭ позволяет заранее определить критерии сдачи экзамена, и после его проведения предоставить обратную связь профессорско-преподавательскому составу и студентам.

Гибкость

Гибкость ОСКЭ как метода оценки стала причиной его широкого использования в самых разных дисциплинах и на разных этапах медицинского образования. Соблюдая общие принципы метода, можно широко варьировать количество и время выполнения станций, и, соответственно, - продолжительность экзамена; использование тренажеров, симуляторов, СП для оценки различных компетенций; формат заданий и ожидаемых от экзаменуемого ответов ; использование экзаменаторов; формат обратной связи, и т.д.

Справедливость оценки

Справедливость - характеристика метода оценки, демонстрирующая отутствие влияния на результат и дискриминации экзаменуемых. Для обеспечения справедливости экзамена необходимо жестко следовать установленным правилам и стандартам. Справедливость, выгодно отличающая ОСКЭ от традиционных методов оценки, обеспечивается следующими факторами:

  • в отличие от традиционных методов с вытягиванием билета все экзаменуемые выполняют одинаковый набор заданий;
  • каждый экзаменуемый оценивается множеством экзаменаторов с использованием заранее согласованных чек-листов и шкал оценки;
  • используются симуляторы и тренажеры с объективной компьютерной или электронной оценкой правильности выполнения процедур;
  • СП отобраны в соответствии с полом, возрастом, данным в задании и строго стандартизированно общаются со всеми экзаменуемыми;
  • содержание экзамена соответствует учебному плану и ожидаемым результатам обучния, профессиональным стандартам.

Недостатки ОСКЭ

Нельзя не упомянуть о недостатках ОСКЭ, ограничивающих его применимость. При использовании ОСКЭ не проверяется способность студента рассматривать пациента как нечто целое, знания и навыки студентов тестируются отдельными блоками компетенций. Поэтому, учитывая что при оценке клинической компетентности каждый подход имеет свои собственные преимущества, не нужно ограничиваться одним подходом к оценке, необходимо применять и другие методы, позволяющие оценить способность студента справляться с клиническим случаем в целом, - для этого можно применять виртуальных пациентов. В случае с оценкой клинической компетентности выпускников ординаторы, ОСКЭ может дополняться оценкой работы в палате по отчетам наставников.

Существенным недостатком ОСКЭ для многих образовательных организаций может стать необходимость больших затрат сил организаторов и экзаменаторов. Экзаменаторы должны оставаться очень внимательными, многократно наблюдая одно и то же задание. Можно попытаться снизить нагрузку на экзаменаторов, обеспечив их ротацию по станциям, однако это при этом необходимо обеспечить экзаменаторам дополнительный брифинг и время для тщательного ознакомления с новыми станциями.

При использовании для экзамена реальных пациентов следует их тщательно подбирать, а инструкции для экзаменуемых должны минимизировать неудобства, которые могут причиняться пациентам. При оценке владения определенной методикой, в распоряжении экзаменатора должно быть несколько пациентов, чтобы обеспечить им отдых, при этом необходимо обеспечить однородность пациентов по полу, возрасту, проявлением основного заболевания. Использование симуляторов значительно упрощает проведение экзамена.

Участие в ОСКЭ может быть стрессом для студентов, незнакомых с методикой, поэтому важно использовать этот метод не только для итоговой, но и для текущей оценки. Важно проводить экзамен в специально подготовленных помещениях, максимально реалистично повторяющих клинические условия.

Для подготовки к ОСКЭ необходимо потратить больше времени чем для традиционного экзамена, однако необходимо отметить что эти усилия компенсируется не только перечисленными выше преимуществами метода, при каждом последующем проведении ОСКЭ подготовка занимает меньше времени, а наличие банка готовых блоков объективного экзамена и контрольных листов позволяет уменьшить как затрачиваемое время, так и усилия.

Подготовка и планирование ОСКЭ

Организационная структура

Для успешного осуществления ОСКЭ требуется многочисленный коллектив специалистов. Как правило, в медицинских вузах существуют подразделения или ответственные лица, контролирующие процедуры оценки знаний учащихся. Внедрение ОСКЭ должно осуществляться с помощью этого подразделения. Рациональным подходом может стать формирование отдельного подразделения, которое будет заниматься внедрением ОСКЭ в существующие программы оценки. После успешного внедрения ОСКЭ это подразделение должно осуществлять непрерывный анализ и обеспечение качества, используемые и в отношении других методик оценки.

В рамках этого подразделения рекомендуется назначить руководителя группы по проведению ОСКЭ, в обязанности которой будут входить контроль планирования, организации и проведения экзамена и соответствующая отчетность. Этот человек должен обладать знаниями экспертного уровня или предшествующим опытом проведения ОСКЭ. Если соблюсти такие условия невозможно, назначенный руководитель должен пройти обучение, собирать необходимую информацию путем анализа литературы, посещения специализированных семинаров и обращения за помощью к специалистам из других центров.

Проектирование экзамена

Составление проекта - это процесс определения содержания экзамена. В случае ОСКЭ это подразумевает отбор совокупности компонентов оцениваемых компетенций и частоту, с которой каждый из них должен демонстрироваться в ходе экзамена. В каждом проекте ОСКЭ должны учитываться контекст экзамена, те знания и умения, которые необходимо оценить в соответствии с учебным планом, и необходимость повторения оценки тех или иных областей знаний с помощью различных методов.

Как мы уже отмечали ранее, в первую очередь ОСКЭ подразумевает оценку способности к выполнению определенных манипуляций в смоделированных условиях и, таким образом, в основном определяет результаты обучения тем или иным клиническим компетенциям.

Процесс проектирования должен обеспечить формирование необходимого набора элементов из учебного плана, относящихся к овладению предусмотренными образовательным и/или профессиональным стандартом компетенциями, таким образом, экзамен должен отражать содержание обучения. Как правило, проект ОСКЭ состоит из двухмерной матрицы, в которой одна ось отражает основные подлежащие тестированию компетенции (например, сбор анамнеза, коммуникативные навыки, физикальное обследование, планирование тактики ведения больного и т.д.), а вторая представляет те проблемы или состояния, в отношении которых демонстрируются эти умения. Пример такого проекта показан в Табл. 1. и, более подробно, в Приложении 2. Проектирование может проводиться аттестационной комиссией автономно, однако в случае наиболее важных экзаменов согласование тем, включаемых в тестовый проект, может быть осуществлено с помощью метода экспертной оценки Дельфи или других методик опроса экспертов.

Таблица 1. * Пример матрицы профессиональных компетенций, которые могут оцениваться в рамках ОСКЭ.
* Для первой предметной области приведены примеры возможных заданий. Приведенные в таблице данные служат только иллюстрацией и не должны использоваться в качестве основы для разработки проекта ОСКЭ


Длительность экзамена (количество станций).

Для разработки проекта экзамена, необходимо предварительно определить, длительность экзамена. Это будет зависеть от числа станций ОСКЭ и продолжительности пребывания экзаменуемого на станции. Как правило, станция ОСКЭ включает одно задание, выполнение которого четко ограничено по времени, на выполнение которого кандидатам дается 5-10 мин. Достоверность и валидность зависят от числа станций и общей длительности экзамена. Адекватное и реалистичное определение времени, необходимого для выполнения заданий, способствует повышению валидности тестирования. В то же время увеличение объема оцениваемых знаний и умений, обычно за счет введения в экзамен необходимого числа станций, способствует повышению достоверности. Доказано, что специфичность заданий является основной причиной недостаточной достоверности; таким образом, для проведения достоверного обобщения профессиональных способностей кандидата необходимо оценивать клинические компетенции в широком диапазоне.

Число станций, которое необходимо для получения достоверного показателя, отражаемое альфой Кронбаха или коэффициентом обобщаемости (G), определяет продолжительность экзамена. Значение коэффициента G от 0,7 до 0,8 отражает приемлемую достоверность в случае экзаменов особой важности. Подробное обсуждение этого предмета выходит за рамки данной главы, интересующиеся могут обратиться к руководствам AMEE №№ 49, 54 и 66.

В практическом плане при принятии решения о продолжительности теста необходимо учитывать, с одной стороны, коэффициенты достоверности, а с другой - проблемы, связанные с возможностями воплощения и наличием необходимых ресурсов. В большинстве случаев при наличии четко построенных станций ОСКЭ достаточной достоверности удается достичь с помощью 12-20 станций, продолжительностью по 5-10 мин каждая.

Разработка банка станций ОСКЭ

Прежде чем к банку заданий будут добавлены новые станции, они должны пройти процесс независимой оценки и пилотного включения. По возможности следует использовать психометрические данные на каждом отдельном этапе, включая оценку возможности дифференцировки экзаменуемых. Представленная схема содержит описание одного из подходов к формированию совокупности этапов ОСКЭ, обеспечивающих оценку выполнения расписания (Рис. 1, источник К.З. Кан, С. Рамачандран, К. Гонт, П. Пушкар. Руководство АМЕЕ № 81: Объективный структурированный клинический экзамен (ОСКЭ). Часть 2: Организация и управление). Эта схема может использоваться в качестве пошагового руководства или адаптироваться к индивидуальным требованиям. Кроме того, используя эту схему можно провести обновление существующего набора станций или оценить их качество путем выполнения определенных шагов алгоритма.

Подготовка и планирование ОСКЭ

Организационная структура

Для успешного осуществления ОСКЭ требуется многочисленный коллектив специалистов. Как правило, в медицинских вузах существуют подразделения или ответственные лица, контролирующие процедуры оценки знаний учащихся.

Внедрение ОСКЭ должно осуществляться с помощью этого подразделения.

Рациональным подходом может стать формирование отдельного подразделения, которое будет заниматься внедрением ОСКЭ в существующие программы оценки.

После успешного внедрения ОСКЭ это подразделение должно осуществлять непрерывный анализ и обеспечение качества, используемые и в отношении других методик оценки.

В рамках этого подразделения рекомендуется назначить руководителя группы по проведению ОСКЭ, в обязанности которой будут входить контроль планирования, организации и проведения экзамена и соответствующая отчетность.Этот человек должен обладать знаниями экспертного уровня или предшествующим опытом проведения ОСКЭ. Если соблюсти такие условия невозможно, назначенный руководитель должен пройти обучение, собирать необходимую информацию путем анализа литературы, посещения специализированных семинаров и обращения за помощью к специалистам из других центров.

Проектирование экзамена

Составление проекта - это процесс формального определения содержания экзамена. В случае ОСКЭ это подразумевает отбор совокупности компонентов оцениваемых компетенций и частоту, с которой каждый из них должен демонстрироваться в ходе экзамена. В каждом проекте ОСКЭ должны учитываться контекст экзамена, те знания и умения, которые необходимо оценить в соответствии с учебным планом, и необходимость повторения оценки тех или иных областей знаний с помощью различных методов.

Как мы уже отмечали ранее, в первую очередь ОСКЭ подразумевает оценку способности к выполнению определенных манипуляций в смоделированных условиях и, таким образом, в основном определяет результаты обучения тем или иным клиническим компетенциям.

Процесс проектирования должен обеспечить формирование необходимого набора элементов из учебного плана, относящихся к овладению предусмотренными образовательным и/или профессиональным стандартом компетенциями, таким образом, экзамен должен отражать содержание обучения. Как правило, проект ОСКЭ состоит из двухмерной матрицы, в которой одна ось отражает основные подлежащие тестированию компетенции (например, сбор анамнеза, коммуникативные навыки, физикальное обследование, планирование тактики ведения больного и т.д.), а вторая представляет те проблемы или состояния, в отношении которых демонстрируются эти умения. Пример такого проекта показан в Табл. 1. и, более подробно, в Приложении 2. Проектирование может проводиться аттестационной комиссией автономно, однако в случае наиболее важных экзаменов согласование тем, включаемых в тестовый проект, может быть осуществлено с помощью метода экспертной оценки Дельфи или других методик опроса экспертов.

Выбор шаблона для станции ОСКЭ. После того как выбран тип станции, необходимо разработать подходящий шаблон для составления задания или использовать уже имеющийся шаблон. Шаблон помогает авторам разрабатывать задания, имеющие общий формат, который соответствует формату других заданий банка. Подобная стандартизация позволяет избежать ситуации, при которой кандидаты оказываются в невыгодном положении за счет того, что задания предлагаются в непривычном формате, и помогает сохранить объективность оценок. Руководство для экзаменатора. Содержание руководства для экзаменатора по оценке для каждой станции будет зависеть от раздела оценки, избранной в качестве стандарта для экзамена. Ниже подробно обсуждаются различные типы оценки. Если имеется список контрольных вопросов (чек-лист) или оценочная шкала, составителю следует дополнить их по мере составления вопросов. Если предполагается использовать единую оценочную шкалу, формировать критерии оценки для индивидуальных этапов не нужно. Собрание экзаменаторов. Проведение собраний с экзаменаторами - один из методов обеспечения качества новых станций ОСКЭ. После того как экзаменаторы составят новые задания, им предлагается представить эти вопросы на собрании в небольших группах. Это дает возможность всем участникам изучить задания, составленные другими участниками. Благодаря присутствию авторов отдельных станций на этих заседаниях упрощается процесс внесения изменений в станции. Помимо того, что процесс независимой оценки позволяет проанализировать клиническую точность и адекватность задач, предлагаемых на том или ином этапе экзамена, он помогает также выявить проблемы, связанные с валидностью и генерализуемостью экзамена. Пилотное выполнение. После независимого анализа на собрании экзаменаторов необходимо провести пилотное выполнение станции, которое помогает выявить проблемы, связанные с ее практическим осуществлением и распределением времени на выполнение тех или иных этапов задания. При необходимости, при пилотировании можно внести изменения в станции для повышения качества оценки этих этапов. На этой стадии можно провести первичный психометрический анализ достоверности и качества станций. При выявлении любых проблем, связанных с конкретной станцией, ее следует перепланировать и вновь провести пробное выполнение. Часто пилотирование проводят в рамках пробного или этапного экзамена, в результате чего дополнительным преимуществом могут стать ориентирование экзаменуемых и непосредственное предоставление им информации об их профессиональных возможностях. Если те или иные станции пилотируются в рамках экзаменов высокой степени значимости, важно поставить экзаменуемых в известность о включении пилотной станции в экзамен и о том, что результаты этой станции не повлияют на общую экзаменационную оценку. В связи с необходимостью получения валидных и достоверных данных о результатах пилотных станций экзамена, включенных в реальный экзамен, обычно не разглашаются сведения о том, какие именно станции пилотируются. Психометрический анализ. При разработке новых станций, если в рамках пробного ОСКЭ используется полный набор новых заданий, психометрический анализ продемонстрирует общую достоверность набора вопросов. Использование G-теории позволит определить число сходных станций, необходимых для обеспечения достаточной надежности тестирования путем проведения исследований, или исследования принятия решений на основании имеющихся данных. Для получения данных об источниках вариабельности или ошибок рекомендуется применение Item Response Theory - IRT. Эта теория может использоваться в том случае, если одна или несколько станций пилотируются в ходе реального экзамена. Подробное обсуждение этого предмета также выходит за пределы данной главы, но достаточно подробно разбирается в руководстве AMEE № 49; G-теория подробно рассматривается в руководстве AMEE № 68. Выбор типа оценки. При разработке банка станций для ОСКЭ необходимо определить применяемый тип оценки, соответствующий ожиданиям, связанным с выполнениемзадания. Выделяют 2 основных типа оценки: аналитические и холистические. Аналитический метод балльной оценки. Список контрольных вопросов, или чек-лист, - это список утверждений,описывающих действия, выполнения которых ожидают от экзаменуемых на определенном этапе. Этот список готовят заранее, на основании консультации с группой, занимающейся разработкой станций ОСКЭ, и в соответствии с оцениваемыми компетенциями. Чек-листы могут быть бинарными ("да/нет", "выполняется/не выполняется"), при этом оценка кандидатам выставляется в зависимости от того,выполнено или не выполнено задание, без уточнения качества его выполнения. Такие чек-листы не всегда позволяют определить низкий или высокий уровень выполнения задания. В некоторых случаях чек-листы могут включать 5-7-балльные оценочные шкалы, что позволяет экзаменаторам выставлять оценки кандидатам в зависимости от качества выполнения ими заданных действий. Эти чек-листы с оценочными шкалами отличаются от глобальной (холистической) оценки, описываемой ниже. Традиционно основным преимуществом бинарных чек-листов считается их потенциальная способность давать объективную оценку и обеспечивать большую степень согласия между различными экзаменаторами. Действительно,первоначально такие контрольные списки использовались Р.Харденом, который впервые разработал методику ОСКЭ. Тем не менее накапливаются доказательства,ставящие под сомнение эту точку зрения и показывающие, что объективность не всегда обеспечивает более высокую достоверность оценки результатов экзамена. Это особенно актуально в том случае, когда в проведении ОСКЭ участвуютэкзаменаторы, являющиеся экспертами в той или иной дисциплине. Примеры бинарных чек-листов и оценочных шкал (которые можно рассматривать как мини-глобальные оценки, поскольку в этом случае оценивается один элемент всей специальности) показаны в Табл. 3.

Выбор шаблона для станции ОСКЭ. После того как выбран тип станции, необходимо разработать подходящий шаблон для составления задания или использовать уже имеющийся шаблон. Шаблон помогает авторам разрабатывать задания, имеющие общий формат, который соответствует формату других заданий банка. Подобная стандартизация позволяет избежать ситуации, при которой кандидаты оказываются в невыгодном положении за счет того, что задания предлагаются в непривычном формате, и помогает сохранить объективность оценок. Руководство для экзаменатора. Содержание руководства для экзаменатора по оценке для каждой станции будет зависеть от раздела оценки, избранной в качестве стандарта для экзамена. Ниже подробно обсуждаются различные типы оценки. Если имеется список контрольных вопросов (чек-лист) или оценочная шкала, составителю следует дополнить их по мере составления вопросов. Если предполагается использовать единую оценочную шкалу, формировать критерии оценки для индивидуальных этапов не нужно. Собрание экзаменаторов. Проведение собраний с экзаменаторами - один из методов обеспечения качества новых станций ОСКЭ. После того как экзаменаторы составят новые задания, им предлагается представить эти вопросы на собрании в небольших группах. Это дает возможность всем участникам изучить задания, составленные другими участниками. Благодаря присутствию авторов отдельных станций на этих заседаниях упрощается процесс внесения изменений в станции. Помимо того, что процесс независимой оценки позволяет проанализировать клиническую точность и адекватность задач, предлагаемых на том или ином этапе экзамена, он помогает также выявить проблемы, связанные с валидностью и генерализуемостью экзамена. Пилотное выполнение. После независимого анализа на собрании экзаменаторов необходимо провести пилотное выполнение станции, которое помогает выявить проблемы, связанные с ее практическим осуществлением и распределением времени на выполнение тех или иных этапов задания. При необходимости, при пилотировании можно внести изменения в станции для повышения качества оценки этих этапов. На этой стадии можно провести первичный психометрический анализ достоверности и качества станций. При выявлении любых проблем, связанных с конкретной станцией, ее следует перепланировать и вновь провести пробное выполнение. Часто пилотирование проводят в рамках пробного или этапного экзамена, в результате чего дополнительным преимуществом могут стать ориентирование экзаменуемых и непосредственное предоставление им информации об их профессиональных возможностях. Если те или иные станции пилотируются в рамках экзаменов высокой степени значимости, важно поставить экзаменуемых в известность о включении пилотной станции в экзамен и о том, что результаты этой станции не повлияют на общую экзаменационную оценку. В связи с необходимостью получения валидных и достоверных данных о результатах пилотных станций экзамена, включенных в реальный экзамен, обычно не разглашаются сведения о том, какие именно станции пилотируются. Психометрический анализ. При разработке новых станций, если в рамках пробного ОСКЭ используется полный набор новых заданий, психометрический анализ продемонстрирует общую достоверность набора вопросов. Использование G-теории позволит определить число сходных станций, необходимых для обеспечения достаточной надежности тестирования путем проведения исследований, или исследования принятия решений на основании имеющихся данных. Для получения данных об источниках вариабельности или ошибок рекомендуется применение Item Response Theory - IRT. Эта теория может использоваться в том случае, если одна или несколько станций пилотируются в ходе реального экзамена. Подробное обсуждение этого предмета также выходит за пределы данной главы, но достаточно подробно разбирается в руководстве AMEE № 49; G-теория подробно рассматривается в руководстве AMEE № 68. Выбор типа оценки. При разработке банка станций для ОСКЭ необходимо определить применяемый тип оценки, соответствующий ожиданиям, связанным с выполнениемзадания. Выделяют 2 основных типа оценки: аналитические и холистические. Аналитический метод балльной оценки. Список контрольных вопросов, или чек-лист, - это список утверждений,описывающих действия, выполнения которых ожидают от экзаменуемых на определенном этапе. Этот список готовят заранее, на основании консультации с группой, занимающейся разработкой станций ОСКЭ, и в соответствии с оцениваемыми компетенциями. Чек-листы могут быть бинарными ("да/нет", "выполняется/не выполняется"), при этом оценка кандидатам выставляется в зависимости от того,выполнено или не выполнено задание, без уточнения качества его выполнения. Такие чек-листы не всегда позволяют определить низкий или высокий уровень выполнения задания. В некоторых случаях чек-листы могут включать 5-7-балльные оценочные шкалы, что позволяет экзаменаторам выставлять оценки кандидатам в зависимости от качества выполнения ими заданных действий. Эти чек-листы с оценочными шкалами отличаются от глобальной (холистической) оценки, описываемой ниже. Традиционно основным преимуществом бинарных чек-листов считается их потенциальная способность давать объективную оценку и обеспечивать большую степень согласия между различными экзаменаторами. Действительно,первоначально такие контрольные списки использовались Р.Харденом, который впервые разработал методику ОСКЭ. Тем не менее накапливаются доказательства,ставящие под сомнение эту точку зрения и показывающие, что объективность не всегда обеспечивает более высокую достоверность оценки результатов экзамена. Это особенно актуально в том случае, когда в проведении ОСКЭ участвуютэкзаменаторы, являющиеся экспертами в той или иной дисциплине. Примеры бинарных чек-листов и оценочных шкал (которые можно рассматривать как мини-глобальные оценки, поскольку в этом случае оценивается один элемент всей специальности) показаны в Табл. 3.

Применение ОСКЭ

Объективный структурированный клинический экзамен может использоваться практически во всех ситуациях, в которых требуется оценить уровень клинической компетентности.

Этапы медицинского образования.

ОСКЭ широко применяется на стадии отбора абитуриентов в медицинские вузы, для профессиональной ориентации, используется в качестве итогового экзамена в конце курса обучения или как метод промежуточной оценки.

Отбор абитуриентов. Традиционно, факторами, определяющими отбор абитуриентов в медицинские вузы, являются их академические достижения по определенным дисциплинам, однако, оставляя в стороне методы их оценки, этих факторов недостаточно для отбора студентов, которые могут стать хорошими врачами. Дополнительные испытания при приеме абитуриентов, котрые вузы имеют право вводить на собственное усмотрение могут быть сосредоточены на выявлении таких характеристик как навыки общения, способность к сопреживанию, мотивация к обучению, критическое мышление, поведение в кризисных ситуациях. ОСКЭ хорошо подходит для оценки таких категорий, и его модификации (MMI - Multiple Mini-Interview) применяются для отбора абитуриентов в ряде стран. Многолетнее исследование, проведенное в Канаде, показало прямую корреляцию между результатами, продемонстрированными абитуриентами на таком экзамене с их дальнейшими успехами при обучении и в национальном лицензионном экзамене. Систематический обзор исследований использования MMI показал его валидность, надежность и применимость в качестве метода отбора абитуриентов.

Додипломное образование (специалитет). В Данди (Шотландия), где метод был впервые применен, студентам присваиваются степени за клиническую компетентность в конце осеннего, весеннего и летнего триместров на 3-м и 4-м годах обучения. Данные степени учитываются экзаменаторами при заключительной оценке, проводимой в конце 5-го курса. ОСКЭ также может быть подходящим методом для проведения последипломных экзаменов, для которых были описаны проблемы с оценкой клинической компетентности. В Казахстане ОСКЭ применяется в качестве переводного экзамена после 3 курса, после 5 курса - при завершении обучения в бакалавриате как итоговый экзамен, после 7 курса - при итоговой аттестации после обучения в 2-х летней интернатуре.

В США 101 из 130 аккредитованных медицинских школ используют ОСКЭ в качестве итогового экзамена и промежуточных экзаменов после клинических циклов. Вертикальная интеграция дисциплин с ранним включением в программы обучения на начальных курсах клинических аспектов позволяет использовать методику уже после первого года обучения.

ОСКЭ используется и для рутинной оценки прогресса студентов в течение обучения как по отдельным дисциплинам, так и по общей успеваемости.

Обучение в ординатуре. ОСКЭ широко используется как наиболее релевантный инструмент оценки выпускников программ ординатуры (резидентуры). ACGME рекомендует использование ОСКЭ для оценки после каждого года резидентуры, а также для оценки отдельных доменов EPA (Entrusted professional activities - самостоятельная профессиональная деятельность), помимо клинических компетенций это навыки, связанные с передачей пациента, безопасностью пациента, телефонными коммуникациями.

Непрерывное медицинское образование. Практика применения ОСКЭ в НМО чаще всего сосредоточенна на оценке программ обучения, а также выявлении образовательных пробелов и потребностей. Например, в Великобритании ОСКЭ применяется для ревалидации лицензии при подозрении на наличие потенциальных проблем, а также при лицензировании врачей - иностранцев.

Области применения.

ОСКЭ особенно хорошо подходит для критериально-ориентированных, барьерных экзаменов, которые проводятся с целью принятия решения об успешности завершения программы обучения и заключения относительно достижения студентом критериев, предусмотренных программой обучения или стандартами, и его готовности к самостоятельной практической деятельности или переходу к следующей части курса. В ряде стран ОСКЭ является частью экзамена для допуска к специальности. Так, в США с 2004 года ОСКЭ является частью национального лицензионного экзамена. Этап 2CS (Clinical Skills) включает 12 станций ОСКЭ по 15 мин, ранее разработанных ECFMG (Educational Commission for Foreign Medical Graduates) для оценки иностранных выпускников.

C 2016 года ОСКЭ используется в качестве 2 этапа первичной аккредитации в Российской Федерации.

ОСКЭ также широко используется в качестве инструмента формативной оценки для выявления областей знаний, в которых у студента имеются пробелы, и в которых ему необходимо приобрести дополнительные навыки. Экзамен может быть составлен таким образом, чтобы отбирать студентов, обладающих определенными навыками или способностями, например, с целью выявления учащихся со способностями выше средних, как, например, в экзамене на членство в Королевском обществе терапевтов в Великобритании.

Для лучшего понимания областей применения ОСКЭ, важно понять связь между компетентностью и способностью к выполнению клинической работы. Часто ОСКЭ характеризуют как инструмент для оценки практических умений. Это не совсем верно, так как умения - это только один аспект клинической деятельности. Любой инструмент оценки способности к клинической деятельности должен содержать задачи разного уровня сложности - для обучающихся, выпускников и для профессионалов/экспертов. Ключевое различие между ОСКЭ и оценкой на рабочем месте заключается в условиях, в которых проводится оценка, а не в том, что первый экзамен оценивает умения, а второй - способности к клинической деятельности, как часто считается. Тем не менее, различие между ними очень существенно, так как выполнение одних и тех же задач одним и тем же человеком может существенно различаться в зависимости от контекста оценки. Поэтому для всех практических целей ОСКЭ следует рассматривать как инструмент для оценки выполнения задач в смоделированных условиях.

ОСКЭ следует планировать для оценки определенных знаний и умений, которые невозможно адекватно оценить с применением устного, письменного или компьютерного экзамена. Типичными примерами таких умений являются способность экзаменуемого собирать анамнез или выполнять медицинские манипуляции. В то же время существует риск того, что при проведении ОСКЭ может произойти выделение отдельных практических умений с целью их оценки. Это приводит к снижению генерализуемости - способности метода всесторонне оценивать выполнение задач экзаменуемым. Крайне важно, чтобы практические умения, необходимые для выполнения медицинских процедур, тестировались не изолированно, а в сочетании с другими умениями, например, с коммуникативными навыками, или умением составлять план лечения, что позволяет оценить способность экзаменуемого к самостоятельной клинической деятельности более глобально.

Применение ОСКЭ избыточно, например, для оценки способности экзаменуемого интерпретировать рентгеновский снимок или распознать повышенный уровень мочевины и назвать его возможные причины. Эти когнитивные навыки легко оценить при помощи методов письменной оценки, и они требуют привлечения меньших ресурсов. Планирование станции ОСКЭ для оценки способности экзаменуемого поставить мочевой катетер приводит к риску изолированного выполнения отдельного практического умения, тогда как в реальности экзаменуемым придется одновременно общаться с пациентом и применять знания о процедуре в процессе ее выполнения.

Воздействие на процесс обучения

Многочисленные исследования показывают положительное воздействие ОСКЭ на процесс обучения. Одним из очевидных преимуществ применения данной методики является то, что внимание учащихся сосредоточено на приобретении клинических умений и навыков. Знания учащихся испытывают в максимально приближенных к клиническим условиях, которые помогут наиболее точно оценить их умения и компетенции, необходимы в клинической практике. Как упоминалось выше, ОСКЭ обеспечивает высокую достоверность и хорошую обратную связь при текущей оценке знаний учащегося. Исследованиями было установлено, что участие в ОСКЭ улучшает степень владения компетенцией при прохождении последующих практических испытаний, а также улучшает качество учебного опыта испытуемых.

В то же время ОСКЭ может оказывать потенциально негативное воздействие на процесс обучения, так как предполагает прохождение ограниченного количества практических испытаний, иллюстрирующих уровень компетенций в области клинической медицины. При этом существует опасность того что учащийся может подготовиться к экзамену сосредоточившись на освоении отдельных навыков к некоторым категориям, при этом полностью не понимая их связь с клинической деятельностью.

Участие СП, использование симуляторов и манекенов с объективной оценкой и немедленной обратной связью позволяют оценить практические и клинические компетенции в виде текущей (формативной) оценки, выявить пробелы и сосредоточить внимание учащегося на этих компетенциях.

info@geotar-med.ru
Тел. (495) 921-39-07
Адрес: Москва, ул. Садовническая 9, стр. 4 (м. Новокузнецкая)