Кейс тест. Розробка та застосування

Прочитать статью на русском языке можно по ссылке

Продовжіть фразу за персонажа

Визначення поняття “кейс-тест” або “тест ситуативних суджень”

Тест ситуаційних суджень (Situational judgment test) — метод психологічного оцінювання респондентів шляхом пред’явлення їм змодельованих робочих ситуацій, персонажі яких зіткнулися з проблемою. Запропоновані варіанти рішень описують різні форми поведінки. В основі поведінки лежить знання проблемної сфери, або опора на ті чи інші якості (компетенції).

Можна зустріти різні варіації перекладу терміну «situational judgment test»: тест ситуаційних суджень, кейс-тест, тест оцінки ситуації, ситуаційний тест, метод конкретних ситуацій.

Кейс-тест складається з двох основних частин: ситуація та варіанти її вирішення.

1) Формати ситуації:

  • текстовий,
  • ілюстрований,
  • анімований,
  • відеоформат.

2) Формати відповідей:

  • вибір єдиної (правильної) відповіді;
  • вибір «найкращого» та «найгіршого» варіантів відповідей;
  • оцінка всіх варіантів відповідей за запропонованою шкалою;
  • ранжування всіх варіантів відповідей;
  • формулювання свого варіанту (відкрита відповідь).

Застосування кейс-тестів у роботі з персоналом

Спочатку ситуативні тести застосовувалися для відбору кандидатів на вакансії, але поле їх застосування постійно розширюється:

– оцінка персоналу при відборі на посади та в резерв;

– уточнення потреб співробітника у розвитку;

– оцінка результативності навчання персоналу;

– навчальний матеріал для тренування професійних навичок;

– дослідження персоналу (наприклад, виявлення певних категорій співробітників, корпоративних субкультур, підбір ефективних комунікативних стратегій через використання варіантів відповідей відповідно до цілей дослідження).

На відміну більшості психологічних методик, ситуативні тести часто створюються під індивідуальні запити, наприклад, розробляються з урахуванням корпоративної моделі компетенцій чи руслі корпоративної програми навчання персоналу.

Кейс-тести показують сприятливішу реакцію респондентів на процедуру заповнення, ніж на опитувальники, тести інтелекту чи знань. Робота з ситуаціями залучає та викликає менше психологічних захистів, є менш стресовою, створює відчуття компетентності знаходження у типових ситуаціях та можливості використовувати свій досвід.

Ситуативні тести можна комбінувати у програмах оцінки з іншими методиками (співбесіда, ситуативні вправи, тести на знання, соціометрія, 360 градусів).

Що вимірюють кейс тести. Конструкт методики

Кейс-тести вимірюють особливості, які впливають на поведінку, що веде до ефективного виконання роботи. Такими умовами можуть виступати знання, когнітивні здібності, особистісні риси. Найчастіше кейс-тести називають як інструменти для вимірювання компетенцій. У відповіді можна закласти як різні ступені володіння професійними знаннями та корпоративною інформацією (hard-skills), так і опис різних стилів поведінки, у яких проявляються рівні розвитку особистісних властивостей (soft-skills).

Компетенція – така базова якість особистості, яка має причинне відношення до ефективної поведінки у багатьох ситуаціях, у тому числі у професійних завданнях. Це інтегративна властивість (що складається з ряду компонентів), яка є глибинною властивістю та стійкою частиною особистості. Компетенція, як показано на рисунку 1, включає по-перше спосіб дії через підключення певних здібностей та інших особистісних властивостей, а по-друге, мотиваційну частину, тобто встановлення на дію.

Рис. 1. Компонентний склад компетенції

Будь-яка компетенція проявляється у поведінці, задіює знання та здібності, але це поведінка має чимось «включитися». Говорячи словами автора однієї з перших класифікацій компетенцій Джона Равена, «компетенція – це мотивована здатність», тобто та, що запущена в дію. Цей момент ми вважаємо дуже важливим, тому включаємо до ситуативного тесту шкалу оцінки установок. Наприклад розберемо склад компетенції «Досягнення результату». Саме цей конструкт закладено у ситуації запропонованого нами кейс-тесту. Прагнення досягнень може бути описане як активна, наполеглива поведінка, прояв здатності діяти раціонально, планувати, виділяти пріоритети при установці брати на себе відповідальність за те, що відбувається, уникати ситуацій, пов’язаних із надмірним ризиком. А умовою запуску всього комплексу цих проявів є баланс мотивації досягнення та уникнення невдач (рис. 2).

Рис. 2. Компоненти компетенції (на прикладі компетенції «Досягнення результату»)

Кожна компетенція, що входить до тесту, має бути представлена ​​кількома ситуаціями (зазвичай 5-7 питань для оцінки однієї компетенції). У варіантах рішень описується поведінка, у якій різною мірою виявляються окремі складові компетенції. Оскільки для досягнення результату важливо виявити цілий набір особистісних рис – мотиви, установки та цінності, поведінкові звички, здібності – у пропонованих варіантах вони повинні бути присутніми та бити виражені різною мірою. Враховуючи професійний контекст діяльності, можуть бути представлені ще й вимоги до знань – процедури та алгоритми отримання результату у конкретній професійній діяльності.

Процедура розробки кейс-тестів: що потрібно знаті замовнику тесту

Існує два походи до розробки тестів ситуаційних суджень – традиційний, що ґрунтується на використанні критичних інцидентів конкретної професійної сфери та конструктний підхід, що ґрунтується на моделі компетенцій (таблиця 1). Від обраного підходу залежить, що зможе виміряти тест.

Таблиця 1. Етапи розробки ситуаційних тестів

Традиційний підхід Конструктний підхід
1. Інтерв’ю з експертами у предметній області, які визначають набір ситуацій, типових для посади, поведінка у яких поділяє виконавців на ефективних та неефективних. 1. Вибір певних конструктів із корпоративної моделі компетенцій чи довідника компетенцій, підбір ситуацій, у яких має проявитися досліджувана властивість.
2. Вибір типу інструкції  
Інструкція на виявлення знання:  «Як правильно діяти в ситуації?»   А) Поведінкова інструкція: «Як ви вчините в ситуації?» Б) Інструкція за принципом хибного консенсусу, чи проекції свого досвіду: «Як може вчинити персонаж ситуації?»
3. Опис варіантів поведінки у вибраних ситуаціях, різною мірою пов’язаних з ефективністю та досвідом. 3. Опис варіантів поведінки у ситуаціях з різним ступенем прояву досліджуваної якості.
4. Апробація первинного набору кейсів    
Використовується надмірна кількість питань для подальшого відсіву непрацюючих. Тестування на контрольній групі співробітників з використанням інших методів оцінки властивостей, що вивчаються (наприклад, інтерв’ю з компетенцій, тести знань, особистісні опитувальники, експертна оцінка ефективності та ін.) аналогічна процедура
5. Перевірка надійності та валідності тесту  
Перевірка надійності можлива лише методом паралельних форм та повторним тестуванням Перевірка надійності можлива методом паралельних форм, повторним тестуванням, методом розрахунку внутрішньої узгодженості за математичними критеріями
Перевірка критеріальної валідності – кореляція з показниками успішності у роботі (зовнішніми критеріями). Перевірка критеріальної валідності – кореляція з показниками успішності у роботі (зовнішніми критеріями).
не застосовується Перевірка конструктної валідності (кореляція з іншими інструментами оцінки, що вимірюють аналогічні якості та їх компоненти)
6. Формування фінального набору кейсів  
Підготовка документації – тест, інструкції, методичні рекомендації щодо обробки та підготовки звіту аналогічна процедура

Як вибрати вид кейс-тесту: порівняльний аналіз тестів, виконаних у різних підходах

У ряді публікацій відзначається перспективність розробки ситуативних тестів у руслі конструктного підходу (Christian et al., 2010; Личутина Э.И., 2017; Боровикова Н.В., 2021). До такого типу тестів належить розроблений нами тест, але за потреби може бути розроблений тест у традиційному підході.

Таблиця 2. Особливості різних видів ситуаційних тестів

Традиційний підхід Конструктний підхід
Залежність тесту від контексту (ситуації вузькопрофесійні) Низька контекстуалізація, можливість більш універсального застосування для спеціалістів різних профілів
Тест менше схильний до фальсифікації при заповненні – знання підробити складніше Вплив тенденції давати відповідь, що соціально схвалюється. Інструкції за принципом хибного консенсусу підвищують стійкість тесту до навмисного викривлення результатів.
Неоднорідна структура тесту, тому що тест не має концептуальної основи, а ґрунтується на досвіді експертів та наборі знань Однорідна структура тесту, однотипні питання з варіантами відповідей, що логічно вибудовані за рівнями прояву компетенцій.
Низькі показники внутрішньої узгодженості, відповіді розподіляються випадковим чином Хороші показники надійності, високий зв’язок з особистісними особливостями
Єдина шкала – успішність вирішення ситуацій, фокус на інтегральному показнику тесту. Можливість створювати тест із кількома субтестами та створювати профіль виразності окремих компетенцій.

Що таке кастомізація та ревалідизація тесту?

Компанії розробники можуть мати готовий банк ситуативних тестів і проводити кастомізацію тесту – свого роду «індивідуальне припасування» тесту під специфіку діяльності та потреби замовника. Конструкт тесту перекладається мовою корпоративної моделі компетенцій замовника, що робить звіти зручнішими у щоденній роботі з персоналом.

Ревалідизація – це перевірка валідності (здатності тесту виявляти характеристики, котрим він призначений) на вибірці фахівців певної професійної сфери. Проводиться тестування контрольної групи співробітників та статистичне порівняння їх результатів з даними щодо ефективності та балами з інших тестів або результатами інтерв’ю з компетенцій.

Після такої апробації з тесту можуть бути виключені питання, які не працюють на цій вибірці, для нього можуть бути змінені норми – межі рівнів виразності якостей (високий, середній, низький). Надійність тесту підвищується.

 Приклад кейс тесту для оцінки компетенцій

Створений нашою експертною групою тест є набір ситуацій у вигляді графічних ілюстрацій та текстових варіантів можливої ​​поведінки. Кожен варіант визначає рівень виразності компетенції: недостатній, мінімальний, базовий чи високий розвиток. Формат рішення – вибір “найкращого” та “найгіршого” варіантів відповідей – знижує ефект простого вгадування. Додаткова шкала – оцінка установки (мотиваційна основа прояву компетенції у поведінці) методом Терстоуна.

Тест подається на комп’ютері онлайн в українській, російській версіях.

Тест розроблений у конструктному підході. Використовувана авторами модель компетенцій загалом, і навіть готові до застосування субшкали тесту представлені у таблиці 3. Для всіх перелічених у таблиці компетенцій розроблено критерії чотирьох рівнів виразності та поведінкові індикатори, що дозволяє оперативно моделювати ситуації під конкретні умови діяльності замовника та створювати питання оцінки потрібних компетенції.

Таблиця 3. Конструктна модель кейс-тесту (тесту ситуативних суджень) ProHR

Версія тесту ТСС ProHR-1 Назва компетенції Визначення компетенції
    Кластер Когнітивна компетентість
+ Аналітичний склад мислення розпізнавання в цілій ситуації окремих елементів у їх причинно-наслідковому взаємозв’язку, збирання інформації та вибір пріоритетів
+ Системне (концептуальне) мислення розуміння професійної ситуації як системи з урахуванням механізмів неочевидних взаємозв’язків внутрішніх підструктур та зовнішнього середовища
  Професійний розвиток, кар’єрна компетенція орієнтація на придбання та передачу знань та досвіду у своїй професійній сфері
    Кластер Соціальна компетентність
+ Міжособистісна проникливість та емпатія увага до позиції інших людей, здатність розуміти наміри, прогнозувати реакції для ефективної стратегії взаємодії
+ Взаємодія та вплив на інших людей спонукання інших людей до спільної діяльності, асертивний (без тиску) впевнений вплив та переконання діяти певним чином
  Ефективна комунікація грамотна та ефективна передача інформації у формі, доступній для сприйняття співрозмовника з урахуванням його особливостей та обставин ситуації спілкування
  Командна праця спільна робота з іншими в режимі співробітництва та узгодження своїх дій на противагу індивідуальній праці
  Орієнтація на клієнта активна орієнтація на вибудовування відносин та надання допомоги клієнту, дія на користь клієнта з одночасним урахуванням вигоди для своєї компанії у довгостроковій перспективі
    Кластер Особистісна компетентність
+ Гнучкість поведінки адаптивність до обставин, перебудова поведінки відповідно до зміни умов без напруги
  Домінування та рішучість рішуче і наполегливе досягнення своїх цілей через вплив, контроль та використання сили свого статусу чи авторитету на користь спільної справи
  Організованість та старанність послідовне прагнення до порядку та якості через підпорядкування своїх дій прийнятій стратегії та зменшення невизначеності у навколишній обстановці
  Прихильність компанії готовність будувати свою поведінку з урахуванням потреб організації та сприяти реалізації цілей компанії
+ Стресостійкість та самоконтроль контроль своєї поведінки та врівноваження емоційного стану у стресових ситуаціях
+ Досягнення результату наполеглива та активна спрямованість на результат у балансі між мотивацією досягнень та уникненням невдач
    Кластер Управлінська компетентність
  Лідерство та авторитетність авторитетність в очах інших співробітників або підлеглих, заснована на повазі та визнанні заслуг у досягненні спільних цілей
  Розвиток підлеглих спрямованість на підтримку, стимулювання та створення умов для професійного та особистісного розвитку інших людей

Змістовна валідність тесту (відповідність змісту концепту) – забезпечувалась у ході розробки питань опорою на ситуації американського Situational Judgment Test компанії AbilitUS ​​для оцінки менеджерських компетенцій, індикатори опитувальника «Стилі мислення» (Р. Бремсона, А. Харрісона, адаптований А.А. Алексєєвим) та словника-довідника компетенцій Л. Спенсера та С. Спенсера (розроблено на основі узагальнення 286 моделей компетенцій 20 країн та сотень інтерв’ю з отримання поведінкових прикладів), а також паралельним використанням шкали Терстоуна для виявлення установок.

Критеріальна валідність (співвіднесення результатів із зовнішнім критерієм) у кожному випадку визначається перед безпосереднім застосуванням у конкретних умовах замовника на стадії пробного тестування. Як інструменти валідизації можна використовувати соціометрію, доповнену оцінкою управлінських ролей; експертну оцінку ефективності керівника; дані відділу кадрів (освіта, підвищення кваліфікації, рівень посади, поєднання посад, непрацездатність через хворобу, вік…); дані оцінки ефективності – KPI (результативні, кількісні та якісні).

Конструктна валідність (параметри, що розкривають природу явища, що вивчається) перевіряється шляхом співвіднесення результатів кейс-тесту з даними методик виявлення окремих компонентів кожної з компетенцій, що входять до тесту. Наразі проводиться емпіричне дослідження групи питань, зазначених у таблиці знаком «плюс» із залученням досліджуваних, дані готуються до публікації після завершення статистичного аналізу. Під час створення кейс-тесту під конкретну професійну діяльність замовника методи оцінки конструктної валідності підбираються індивідуально.