Кейс-тест. Разработка и применение

Прочитати статтю українською мовою можна за посиланням

Какое продолжение фразы является наилучшим?

Определение метода “кейс-тест” или “тест ситуативных суждений”

Тест ситуационных суждений (Situational judgment test) — метод психологического оценивания качеств респондентов путем предъявления им смоделированных рабочих ситуаций, персонажи которых столкнулись с какой-либо проблемой. Варианты, из которых нужно выбрать решение, описывают разные формы поведения. В основе поведения лежит либо знание проблемной сферы, либо опора на те или иные качества (компетенции). Можно встретить различные вариации перевода термина «situational judgment test»: тест ситуативных суждений, кейс-тес, тест оценки ситуации, ситуационный тест, метод конкретных ситуаций.

Кейс-тест состоит из двух основных частей: ситуация и варианты ее решения.

1) Форматы ситуации:

  • текстовый,
  • иллюстрированный,
  • анимированный,
  • видеоформат.

2) Форматы ответов: 

  • выбор единственного (правильного) ответа;
  • выбор «наилучшего» и «наихудшего» вариантов ответов;
  • оценка всех вариантов ответов по предложенной шкале;
  • ранжирование всех вариантов ответов;
  • формулировка своего варианта (открытый ответ).

Применение кейс-тестов в работе с персоналом

Первоначально ситуативные тесты были придуманы для отбора кандидатов на вакансии, но поле их применения постоянно расширяется:

– оценка персонала при отборе на должности и в резерв;

– уточнение потребностей сотрудника в развитии;

– оценка результативности обучения персонала;

– обучающий материал для тренировки профессиональных навыков;

– исследования персонала (например, выявление определенных категорий сотрудников, корпоративных субкультур, подбор эффективных коммуникативных стратегий через использование вариантов ответов в соответствии с целями исследования).

В отличие от большинства психологических методик, ситуативные тесты часто создаются под индивидуальные запросы, например, разрабатываются на базе корпоративной модели компетенций или на основе корпоративной программы обучения персонала.

Кейс-тесты показывают более благоприятную реакцию респондентов на процедуру заполнения, чем на опросники, тесты интеллекта или знаний. Работа с ситуациями вовлекает и вызывает меньше психологических защит, является менее стрессовой, создает ощущение компетентности нахождения в типовых ситуациях и возможности опереться на опыт.

Ситуативные тесты можно комбинировать в программах оценки с другими методиками (собеседование, ситуативные упражнения, тесты на знания, социометрия, 360 градусов).

Что измеряют кейс-тесты. Конструкт методики

Кейс-тесты измеряют свойства, которые влияют на поведение, приводящее к эффективному выполнению работы. В качестве таких предпосылок могут выступать знания, когнитивные способности, личностные черты. Чаще всего кейс-тесты упоминают как инструменты для измерения компетенций. В ответы можно заложить как разные степени владения профессиональными знаниями и корпоративной информацией (hard-skills), так и описание разных стилей поведения, в которых проявляются уровни развития личностных свойств (soft-skills).

Компетенция – такое базовое качество личности, которое имеет причинное отношение к эффективному поведению во множестве ситуаций, в том числе в профессиональных задачах. Это интегративное свойство (складывающееся из ряда компонентов), которое является глубинным образованием и устойчивой частью личности. Компетенция, как показано на рисунке 1, включает не только способ действия через подключение определенных способностей и других личностных свойств, но еще и мотивационную часть, т.е. установку на действие.

Рис. 1. Компонентный состав компетенции

Любая компетенция проявляется в поведении, задействует знания и способности, но это поведение должно чем-то «включиться». Говоря словами автора одной из первых классификаций компетенций Джона Равена, «компетенция – суть мотивированная способность», то есть запущенная в действие. Этот момент мы считаем очень важным, поэтому включаем в ситуативный тест шкалу оценки установок.

Для примера разберем состав компетенции «Достижение результата». Именно этот конструкт используется нами в ситуациях предлагаемого кейс-теста. Стремление к достижениям может быть описано как активное, настойчивое поведение, проявление способности действовать рационально, планировать, выделять приоритеты при установке брать на себя ответственность за происходящее, избегать ситуаций, связанных с чрезмерным риском. А условием запуска всего комплекса этих проявлений является баланс мотивации достижения и избегания неудач (рис. 2).

Рис. 2. Составляющие компоненты компетенции (на примере компетенции «Достижение результата»)

Каждая компетенция, входящая в тест, должна быть представлена несколькими ситуациями (обычно 5-7 вопросов на одну компетенцию). В вариантах решений описывается поведение, в котором в разной степени проявляются отдельные слагаемые компетенции. Поскольку для достижения результата важно проявить целый набор личностных особенностей – мотивы, установки и ценности, поведенческие привычки, способности – в предлагаемых для выбора вариантах они должны присутствовать в разной степени выраженности. Учитывая профессиональный контекст деятельности, может быть представлен еще и знаниевый компонент – процедуры и алгоритмы получения результата в конкретной профессиональной деятельности.

Процедура разработки кейс-тестов и зачем о ней знать заказчику

Существует два похода к разработке тестов ситуационных суждений – традиционный, основанный на использовании критических инцидентов конкретной профессиональной сферы и конструктный подход, основанный на модели компетенций (таблица 1). От выбора подхода будет зависеть, что сможет измерять ваш тест.

Таблица 1. Этапы разработки ситуативных тестов

Традиционный подход Конструктный подход
1. Интервью с экспертами в предметной области, которые определяют набор ситуаций, типичных для должности, поведение в которых разделяет исполнителей на эффективных и неэффективных. 1. Выбор определенных конструктов из корпоративной модели компетенций или справочника компетенций, подбор ситуаций, в которых должно проявиться изучаемое свойство.
2. Выбор типа инструкции
Знаниевая инструкция: «Как правильно поступить в ситуации?»     А) Поведенческая инструкция: «Как вы поступите в ситуации?»
Б) Инструкция по типу ложного консенсуса, или проецирования своего опыта: «Как может поступить персонаж ситуации?»
3. Описание вариантов поведения в выбранных ситуациях
– описывают правильное решение – описывают разные степени проявления изучаемого свойства
4. Апробация первичного набора кейсов
Используется избыточное количество вопросов для дальнейшего отсева неработающих. Тестирование на контрольной группе сотрудников с использованием других методов оценки изучаемых свойств (например, интервью по компетенциям, тесты знаний, личностные опросники, экспертная оценка эффективности и пр.) Аналогичная схема
5. Проверка надежности и валидности теста
Проверка надежности возможна только методом параллельных форм и повторным тестированием Проверка надежности возможна методом параллельных форм, повторным тестированием, методом расчета внутренней согласованности по математическим критериям
Проверка критериальной валидности – корреляция с показателями успешности в работе (внешними критериями). Проверка критериальной валидности – корреляция с показателями успешности в работе (внешними критериями).
Не проводится   Проверка конструктной валидности (корреляция с другими инструментами оценки, измеряющими аналогичные качества и их компоненты)
6. Формирование финального набора кейсов.
Подготовка документации – тест, инструкции, методические рекомендации по обработке и подготовке отчета Аналогичная схема

Как выбрать вид кейс-теста: сравнительный анализ тестов, выполненных в разных подходах

В ряде публикаций отмечается перспективность разработки ситуативных тестов в русле конструктного подхода (Christian et al., 2010; Личутина Э.И., 2017; Боровикова Н.В., 2021). К такому типу тестов относится разработанный нами тест, но при необходимости может быть разработан тест в традиционном подходе.

Таблица 2. Особенности разных видов ситуативных тестов

Традиционный подход Конструктный подход
Зависимость теста от контекста (ситуации узко профессиональные) Низкая контекстуализация, возможность более универсального применения для специалистов разных профилей
Тест меньше подвержен фальсификации при заполнении – знание подделать сложнее Влияние тенденции давать социально одобряемый ответ. Инструкции по типу ложного консенсуса повышают устойчивость теста к преднамеренному искажению результатов.
Неоднородная структура теста, потому что тест не имеет концептуальной основы, а основан на опыте экспертов и наборе знаний Однородная структура теста, однотипные вопросы с вариантами ответов, логически выстроенными по уровням проявления компетенций
Низкие показатели внутренней согласованности, ответы на вопросы распределяются случайным образом Хорошие показатели надежности, высокая связь с личностными особенностями
Единственная шкала – успешность решения ситуаций, фокус на интегральном показателе теста. Возможность создавать тест с несколькими субтестами и создавать профиль выраженности отдельных компетенций

Что такое кастомизация и ревалидизация теста?

Компании разработчики могут иметь готовый банк ситуативных тестов и проводить кастомизацию теста – своего рода «индивидуальную подгонку» теста под специфику деятельности и потребности заказчика. Конструкт теста переводится на язык корпоративной модели компетенций заказчика, что делает отчеты применимыми в ежедневной работе с персоналом.

Ревалидизация – это проверка валидности (способности теста выявлять характеристики, для которых он предназначен) на выборке специалистов определенной профессиональной сферы. Проводится тестирование контрольной группы сотрудников и статистическое сравнение их результатов с данными по эффективности и баллами по другим тестам или результатами интервью по компетенциям.

После такой апробации из теста могут быть исключены неработающие на этой выборке вопросы, для него могут быть изменены нормы – границы уровней выраженности качеств (высокий, средний, низкий). Надежность теста повышается.

Пример кейс-теста для оценки компетенций

Созданный нашей экспертной группой тест представляет собой набор ситуаций в виде графических иллюстраций и текстовых вариантов возможного поведения. Каждый вариант описывает уровень выраженности компетенции: недостаточное, минимальное, базовое или высокое развитие.  Формат решения – выбор «наилучшего» и «наихудшего» вариантов ответов – снижает эффект простого угадывания. Дополнительная шкала – оценка установки (мотивационная основа проявления компетенции в поведении) по методу Терстоуна.

Тест предъявляется на компьютере онлайн в украинской и русской версиях с возможностью переключения в ходе заполнения.

Тест разработан в конструктном подходе. Используемая авторами модель компетенций в целом, а также готовые к применению субшкалы теста представлены в таблице 3. Для всех перечисленных в таблице компетенций разработаны критерии четырех уровней выраженности и поведенческие индикаторы, что позволяет оперативно моделировать ситуации под конкретные условия деятельности заказчика и создавать вопросы для оценки нужных компетенций.

Таблица 3. Конструктная модель кейс-теста (теста ситуативных суждений) ProHR

Версия теста ТСС ProHR-1 Название компетенции Определение компетенции
    Кластер Когнитивная компетентность
+ Аналитичный склад ума распознавание в целой ситуации отдельных элементов в их причинно-следственной взаимосвязи, сбор недостающей информации и выстраивание приоритетов
+ Системное (концептуальное) мышление понимание профессиональной ситуации как системы с учетом механизмов неочевидных взаимосвязей внутренних подструктур и внешней среды
  Профессиональное развитие, карьерная компетенция ориентация на приобретение и передачу знаний и опыта в своей профессиональной сфере
    Кластер Социальная компетентность
+ Межличностная проницательность и эмпатия внимание к позиции других людей, способность понимать намерения, прогнозировать реакции для эффективной стратегии взаимодействия
+ Взаимодействие и влияние на других людей побуждение других людей к совместной деятельности, ассертивное (без давления) уверенное воздействие и убеждение действовать определенным образом
  Эффективная коммуникация грамотная и эффективная передача информации в форме, доступной для восприятия собеседника с учетом его особенностей и обстоятельств ситуации общения
  Работа в команде совместная работа с другими в режиме сотрудничества и согласования своих действий в противовес индивидуальному труду
  Ориентация на клиента активная ориентация на выстраивание отношений и оказание помощи клиенту, действие в интересах клиента с одновременным учетом выгоды для своей компании в долгосрочной перспективе
    Кластер Личностная компетентность
+ Гибкость поведения адаптивность к обстоятельствам, перестройка поведения в соответствии с изменением условий без напряжения
  Доминирование и решительность решительное и настойчивое достижение своих целей через влияние, контроль и использование силы своего положения или авторитета в интересах общего дела
  Организованность и исполнительность последовательное стремление к порядку и качеству через подчинение своих действий принятой стратегии и уменьшение неопределенности в окружающей обстановке
  Приверженность компании готовность строить свое поведение с учетом потребностей организации и способствовать реализации целей компании
+ Стрессустойчивость и самоконтроль контроль своего поведения и уравновешивание эмоционального состояния в стрессовых ситуациях
+ Достижение результата настойчивая и активная направленность на результат в балансе между мотивацией достижений и избеганием неудач
    Кластер Управленческая компетентность
  Лидерство и авторитетность авторитетность в глазах других сотрудников или подчиненных, основанная на уважении и признании заслуг в достижении общих целей
  Развитие подчиненных направленность на поддержку, воодушевление, стимулирование и создание условий для профессионального и личностного развития других людей

Содержательная валидность первой версии теста для 7 компетенций (соответствие содержания концепту) – обеспечивалась в ходе  разработки вопросов опорой на ситуации американского Situational Judgment Test компании AbilitUS для оценки менеджерских компетенций, индикаторы опросника «Стили мышления» (Р. Брэмсона, А. Харрисона, адаптирован А. А. Алексеевым) и словаря-справочника компетенций Л. Спенсера и С. Спенсера (разработан на основе обобщения 286 моделей компетенций 20 стран и сотен интервью по получению поведенческих примеров), а также параллельным использованием шкалы Терстоуна  для выявления установок.

Критериальная валидность (соотнесение результатов с внешним критерием) в каждом случае определяется перед непосредственным применением в конкретных условиях заказчика на стадии пробного тестирования. А качество инструментов валидизации могут использоваться социометрия, дополненная оценкой управленческих ролей; экспертная оценка эффективности руководителем; данные отдела кадров (образование, повышение квалификации, уровень должности, совмещение должностей, нетрудоспособность по болезни, возраст…); данные оценки эффективности – KPI (результативные, количественные и качественные). Конструктная валидность (параметры, раскрывающие природу изучаемого явления) проверяется путем соотнесения результатов кейс-теста с данными методик выявления отдельных компонентов каждой из входящих в тест компетенций. В настоящий момент проводится эмпирическое исследование группы вопросов, отмеченных в таблице знаком «плюс» с привлечением испытуемых, данные готовятся к публикации после завершения статистического анализа. При создании кейс-теста под конкретную профессиональную деятельность заказчика методы оценки конструктной валидности подбираются индивидуально.