Валидность и надёжность DISC от TTI
Подробный ответ экспертам о качестве диагностики
Многим незрелым провайдерам психологических инструментов трудно отвечать на вопрос и валидности и надежности их инструментов.
Этим вопросом клиенты хотят выяснить, насколько их диагностика на самом деле работает. «Пощупать» работоспособность неспециалисту непросто, а рекламные лозунги и заверения о качестве провайдеров кажутся одинаковыми.
Техническое руководство — необходимый признак качества методики
Никто не любит ни читать, ни писать технические отчёты к психологическим методикам. Ну, если вы не учёный.
Технические отчёты документируют разработку и процесс улучшения инструментов оценки. Это делается с целью показать компетентным экспертам, а не среднестатистическим пользователям научные обоснования, почему психологический инструмент работоспособен.
В чём-то это сравнимо с документацией по клинической опробации медикаментов — сложно и непонятно даже для обычного доктора. В нашем случае — для психолога-пользователя и тем более HR.
Идеально, если вы сумеете внимательно изучить технический отчёт, хотя бы немного разбираясь в стандартах психометрики.
Хорошо — если у провайдера существует хотя бы документ, в котором присутствуют следующие разделы. Хотя бы наличие такого отчёта — признак профессионального провайдера, который отвечает за качество своих данных. Кликните на раздел, чтобы увидеть детализацию (на примере DISC):
Требования о наличии технических отчётов не новы. Оскар Бюрос, создавший «Ежегодник психических измерений» в 1938 году, включил в предисловие к своей первой публикации цитату:
Пользователи тестов имеют все права требовать от авторов и издателей тестов представлять все детали, касающиеся методов, используемых при разработке и утверждении тестов, выпускаемых на рынок.
Тесты без подробных сведений об их разработке, валидизации, сферах использования и ограничениях должны считаться сомнительным.
Чтобы помочь неподготовленному читателю лучше понять эти сложные отчёты, на сайте TTISI опубликованы несколько информационных документов с протоколами оценки, подготовленные группой исследователей под руководством доктора Эрика Герига.
Доктор Эрик Гериг
Вице-президент по исследованиям и разработкам
TTI Success Insights Global.
Занимается проблемами математической верификации и совершенствования качества диагностики TTI. Получил степень Ph.D. по математике.
Самое важное в технических отчётах
Разработчики инструмента должны доказать
- надёжность (консистентность, конгруэнтность) и
- валидность (достоверность).
Это кажется на первый взгляд простым, пока вы не столкнетесь с требованиями к оценке каждого из компонентов.
Мы оцениваем надежность нашей диагностики по четырём параметрам:
Внутренняя консистентность (конгруэнтность) — постоянство в ответах (одинаковая популяционная выборка, одинаковые условия проведения сессий тестирования).
Временная консистентность — стабильность результатов в разные моменты времени (для одной и той же популяционной выборки), т.е. корреляция.
Сравнительная консистентность — корреляция с альтернативными инструментами тестирования (на тех же выборках).
Возможность генерализации — обобщение всего сказанного выше с учётом возможных множественных источников случайных ошибок.
Внутренняя согласованность (консистентность, конгруэнтность)
Отражает то, насколько последовательны, преемственны ответы участников выборки на вопросы теста.
Временная консистентность (стабильность)
Если внутренняя консистентность определяет то, насколько последовательно респонденты отвечают на отдельные вопросы теста, то временная консистентность показывает то, насколько постоянны набираемые респондентами баллы на протяжении времени.
Сравнительная надежность или метод изучения альтернатив
Надёжность альтернативных форм требует как минимум двух версий того же тестирования, которые имеют примерно одинаковую эффективность в измерении нужного параметра.
Идея в том, чтобы группа респондентов прошла оба теста в относительно короткий промежуток времени между ними. Баллы, набранные респондентами, затем изучаются с точки зрения корреляции или другого похожего метода, чтобы определить степень связи версий теста между собой. Высокий уровень корреляции говорит о высокой степени надёжности альтернативных форм.
Генерализация (обобщаемость)
Это целая сфера исследований сама по себе. Идея заключается в том, чтобы искать возможные источники ошибок измерений за пределами границ одной предметной области или понятия.
Например, внутренняя консистентность рассматривает в основном только зависимость между объектами, а временная консистентность — только постоянство на протяжении времени. Генерализация же одновременно может показывать измерения, например, зависимость между объектами и сопоставимость во времени. Более полное описание темы генерализации выходит за рамки данной статьи.
Изменения в методах исследования надежности
Ранние исследования надёжности, проведённые TTISI, были направлены на изучение внутренней согласованности в виде коэффициента альфа Кронбаха, а также на получение описательных статистик.
Теперь TTISI периодически проводит исследования временной консистентности ещё и путём повторных тестирований.
В современной западной литературе часто говорится о том, что для измерения внутренней консистентности существуют более эффективные методы, чем коэффициент альфа Кронбаха с доверительными интервалами, не говоря уже про давно устаревшее изучение всего и вся через коэффициенты корреляции. TTISI планирует в будущем продолжить использовать доверительные интервалы, но также и определять зависимость с использованием коэффициента омега.
Мы также планируем подключить теорию генерализации для измерения внутренней согласованности, чтобы измерять погрешности как в конструкте вопросников, так и при заполнении ими респондентами, анализ временной консистентности, чтобы измерять погрешности вопросников и ответов респондентов, возникающие во времени). Надёжность и достоверность стали важнейшим критерием для всего, с чем работает TTISI, поскольку мы, как эксперты, понимаем истинную важность этой информации и того, как она отличает нас от конкурентов на рынке.
Компоненты
для определения валидности:
Существует несколько подтипов валидности:
- Внутренняя валидность — характеризует меру влияния на изменение зависимой переменной тех условий (независимой переменной), которые варьирует экспериментатор, т. е. она тем выше, чем больше вероятность того, что изменение зависимого свойства вызвано изменением независимой переменной. От неё зависит достоверность экспериментальных результатов.
- Внешняя валидность — мера соответствия проведённой экспериментальной процедуры реальности, переносимость результатов из лабораторных условий в реальные процессы и экстраполяция их на другие сферы.
- Конструктная валидность — правильность употребления терминов теории при интерпретации данных эксперимента.
Для обеспечения качества мы контролируем шесть её компонентов:
- Тестовый материал — теоретическое его обоснование, разработка вопросника, его адаптация, предметное поле, конструкт и др.
- Внутреннюю структуру вопросника — данные должны согласовываться с теоретическими основами содержания (конструкта).
- Внешние переменные — соотношение с реальностью (что ещё может повлиять на результат).
- Процесс анкетирования — сопротивление тестовому материалу при анкетировании: согласен ли мозг с тем, что пытается измерить тест.
- Управление последствиями тестирования — всеми возможными положительными и отрицательными последствиями и необходимыми стратегиями их смягчения.
- Нормы международной комиссии по переводу и адаптации инструментов оценки
Почему шесть компонентов?
Мы стремимся к соответствию самым передовым мировым стандарнтам, чтобы соотсветствовать не только российским стандартам психометрики, но и соответствовать стандартам:
- Американской психологической ассоциации (APA)
- Европейской федерацией психологических ассоциаций (EFPA)
- Британского психологического общества (BPS),
- Международной комиссии по тестированию и Ежегодником психических измерений Бюроса.
Особо интересные места в техническом отчете DISC
Те, кто давно пользуется нашими инструментами, хорошо знают, что они действительно работают. Но мы в любом случае щепетильно следим за документационным обеспечением и прозрачностью — это важные факторы для того, чтобы оставаться лидерами в нашей сфере.
Это также отличный ответ на нападки на качество нечистоплотных конкурентов и дилетантов.
История DISC, которую мы описали так, как ее еще никто не рассказывал
Первое, что обычно требуют при проверке тестов — подробное теоретическое обоснование, методика и процесс разработки.
Большинство работающих с оценкой DISC знают о трудах Марстона. Тем не менее критический анализ сотен документов, связанных с оценкой поведения и потрясающее интервью с Питером Тернером открывают захватывающую историю разработки DISC, которая до сих пор еще никогда не публиковалась.
Вы не пожалеете о потраченном времени на чтение истории создания типологии (методики) DISC и вкладе в неё Прескотта Лески, Уолтера Вернона Кларка, Арта Ниманна, У. Клемента Стоуна, Джона Кливера, Джона Гейера и Билла и Дэвида Боннстеттеров.
Почему TTISI не использует средние показатели или «III график DISC»
Раздел 2.7 объясняет почему График III невалиден. Нейрологические данные наглядно объясняют, почему реакция на то, что нам «нравится» (ответы 1 и 2), очень сильно отличается от реакции отвращения (ответы 3 и 4).
Такое понимание «яблока и апельсина» ясно показывает, почему пользоваться средними показателями III-го графика неправильно.
Демографические данные для прогнозирования
Благодаря функционалу сбора демографических данных можно, наконец, продемонстрировать, как наши вопросники позволяют обнаружить уникальные закономерности, связанные с должностью.
В «Приложении B» отчёта приведена модель регрессии, используемая для определения вероятностной принадлежности к классу должностей путём сравнения выборки по всем респондентам.
На момент публикации у TTISI Global достаточно данных, чтобы проанализировать 184 должности. В каждой из 184 таблиц с данными приведены ключевые статистически важных показателей, которые превышают 0.5. Они известныы как «область ниже кривой» (AUC).
Например, было интересно увидеть, как в таблице 129 в разделе В (хирурги) выделяются их личностные особенности.
| Переменная | AUC |
| Отрицательное отношение к: Работе с клиентами, Естественный стиль I по DISC | 0,62 |
Наша библиотека технических руководств
Подавляющему большинству наших пользователей отчёты ниже никогда не потребуются, но хотя бы знать об их существовании необходимо. Мы не рекомендуем покупать методики без технических отчётов.
Если у вас есть вопросы о качестве инструментов, выборе провайдера или вы хотите узнать как применить инструменты в бизнесе и жизни — наши эксперты всегда на связи.
Информационные продукты на данной странице рассчитаны на возраст 18+
‣ Типология DISC
‣ Эмоциональный интеллект EQ
‣ Оценка 360 градусов
‣ Тесты ценностей. Корпоративная культура
‣ HR функция
‣ Оценка персонала
‣ Оценка компетенций
‣ Профиль должности
‣ Индивидуальный план развития ИПР и Кадровый резерв
‣ Команда
‣ Развитие лидерства и управленческих компетенций
‣ Мотивация
‣ Выгорание
‣ Психодиагностика