Валидность и надёжность инструментов TTI
Честный ответ экспертам о качестве диагностик TTISI
Большинство провайдеров диагностики юлят, когда их спрашивают о «валидности» инструментов. Этим вопросом клиенты обычно хотят выяснить, насколько можно доверять диагностике. Ведь понять это крайне непросто: «пощупать невозможно», а рекламные лозунги и заверения о качестве у всех одинаковы.
К сожалению, честный ответ могут понять только эксперты. Если им предоставлена специализированная информация.
Технические руководства TTISI — что нужно знать
Если вы когда-либо видели технические отчёты к психологическим методикам, возможно, вы задаетесь вопросом, что же это такое и почему их так занудно и трудно читать. Ниже описано подробно о том, что нужно знать о них, и приложены сами руководства.
Технические отчёты документируют процесс, прогресс и обновление результатов постоянного процесса улучшения инструментов оценки. Всё это делается с целью показать компетентным экспертам, а не просто среднестатистическим пользователям научные обоснования, почему психологический инструмент работоспособен.
Именно экспертная целевая аудитория диктует выбор лексики, стиль и формат таких отчётов, именно поэтому они написаны в академическом стиле и их непросто понимать.
Требования о наличии технических отчётов не новы. Оскар Бюрос, создавший «Ежегодник психических измерений» в 1938 году, включил в предисловие к своей первой публикации цитату:
Пользователи тестов имеют все права требовать от авторов и издателей тестов представлять все детали, касающиеся методов, используемых при разработке и утверждении тестов, выпускаемых на рынок.
Тесты без подробных сведений об их разработке, валидизации, сферах использования и ограничениях должны считаться сомнительным.
Чтобы помочь неподготовленному читателю лучше понять эти сложные отчёты, на сайте TTISI опубликованы несколько информационных документов с протоколами оценки, подготовленные группой исследователей под руководством доктора Эрика Герига.
Доктор Эрик Гериг
Вице-президент по исследованиям и разработкам
TTI Success Insights Global.
Занимается проблемами математической верификации и совершенствования качества диагностики TTI. Получил степень Ph.D. по математике.
Каковы требования к техническим отчетам?
Ключевые компоненты этих технических отчётов требуют, чтобы разработчики тестов доказали их
- надёжность (консистентность, конгруэнтность) и
- валидность (достоверность).
Это кажется на первый взгляд простым, пока вы не столкнетесь с требованиями к оценке каждого из компонентов.
Мы оцениваем надежность нашей диагностики по четырём параметрам:
Внутренняя консистентность (конгруэнтность) — постоянство в ответах (одинаковая популяционная выборка, одинаковые условия проведения сессий тестирования).
Временная консистентность — стабильность результатов в разные моменты времени (для одной и той же популяционной выборки), т.е. корреляция.
Сравнительная консистентность — корреляция с альтернативными инструментами тестирования (на тех же выборках).
Возможность генерализации — обобщение всего сказанного выше с учётом возможных множественных источников случайных ошибок.
Внутренняя согласованность (консистентность, конгруэнтность)
Отражает то, насколько последовательны, преемственны ответы участников выборки на вопросы теста.
Временная консистентность (стабильность)
Если внутренняя консистентность определяет то, насколько последовательно респонденты отвечают на отдельные вопросы теста, то временная консистентность показывает то, насколько постоянны набираемые респондентами баллы на протяжении времени.
Сравнительная надежность или метод изучения альтернативных форм
Надёжность альтернативных форм требует как минимум двух версий того же тестирования, которые имеют примерно одинаковую эффективность в измерении нужного параметра.
Идея в том, чтобы группа респондентов прошла оба теста в относительно короткий промежуток времени между ними. Баллы, набранные респондентами, затем изучаются с точки зрения корреляции или другого похожего метода, чтобы определить степень связи версий теста между собой. Высокий уровень корреляции говорит о высокой степени надёжности альтернативных форм.
Генерализация (обобщаемость)
Это целая сфера исследований сама по себе. Идея заключается в том, чтобы искать возможные источники ошибок измерений за пределами границ одной предметной области или понятия.
Например, внутренняя консистентность рассматривает в основном только зависимость между объектами, а временная консистентность — только постоянство на протяжении времени. Генерализация же одновременно может показывать измерения, например, зависимость между объектами и сопоставимость во времени. Более полное описание темы генерализации выходит за рамки данной статьи.
Изменения в методах исследования надежности
Ранние исследования надёжности, проведённые TTISI, были направлены на изучение внутренней согласованности в виде коэффициента альфа Кронбаха, а также на получение описательных статистик.
Теперь TTISI периодически проводит исследования временной консистентности ещё и путём повторных тестирований.
В современной западной литературе уже часто говорится о том, что для измерения внутренней консистентности существуют более эффективные методы, чем коэффициент альфа Кронбаха с доверительными интервалами, не говоря уже про давно устаревшее изучение всего и вся только через коэффициенты корреляции. TTISI планирует в будущем продолжить использовать доверительные интервалы, но также определять зависимость с использованием коэффициента омега.
Мы также планируем подключить теорию генерализации для измерения внутренней согласованности, чтобы измерять погрешности как в конструкте вопросников, так и при заполнении ими респондентами, и анализ временной консистентности, чтобы измерять погрешности вопросников и ответов респондентов, возникающие во времени). Надёжность и достоверность стали важнейшим критерием для всего, с чем работает TTISI, поскольку мы понимаем истинную важность этой информации и того, как она отличает нас от конкурентов на рынке.
А вот компоненты
для определения валидности:
Считается, что существует несколько подтипов валидности:
- Внутренняя валидность — характеризует меру влияния на изменение зависимой переменной тех условий (независимой переменной), которые варьирует экспериментатор, т. е. она тем выше, чем больше вероятность того, что изменение зависимого свойства вызвано изменением независимой переменной. От неё зависит достоверность экспериментальных результатов.
- Внешняя валидность — мера соответствия проведённой экспериментальной процедуры реальности, переносимость результатов из лабораторных условий в реальные процессы и экстраполяция их на другие сферы.
- Конструктная валидность — правильность употребления терминов теории при интерпретации данных эксперимента.
Для обеспечения качества мы контролируем шесть её компонентов:
- Тестовый материал — теоретическое его обоснование, разработка вопросника, его адаптация, предметное поле, конструкт и др.
- Внутреннюю структуру вопросника — данные должны согласовываться с теоретическими основами содержания (конструкта).
- Внешние переменные — соотношение с реальностью (что ещё может повлиять на результат).
- Процесс анкетирования — сопротивление тестовому материалу при анкетировании: согласен ли мозг с тем, что пытается измерить тест.
- Управление последствиями тестирования — всеми возможными положительными и отрицательными последствиями и необходимыми стратегиями их смягчения.
- Нормы Международной комиссии по переводу и адаптации инструментов оценки, поскольку личностная диагностика TTISI переводится на множество языков и происходит глобальная дистрибуция отчётов TTISI.
Почему шесть компонетнтов?
Чтобы соответствовать высоким стандартам Американской психологической ассоциации (APA), изложенным в её трёхтомном руководстве по психологической оценке и тестированию, которое во многом пересекается с похожими руководствами, опубликованными Европейской федерацией психологических ассоциаций (EFPA) и Британским психологическим обществом (BPS), Международной комиссии по тестированию и Ежегодником психических измерений Бюроса.
Почему это важно?
Те, кто уже давно пользуется нашими инструментами, хорошо знают, что они действительно работают. Но мы в любом случае щепетильно следим за документационным обеспечением и прозрачностью — это важные факторы для того, чтобы оставаться лидерами в нашей сфере.
Это также отличная защита от нападок на качество нечистоплотных конкурентов и просто дилетантов.
Наши технические отчёты документируют процесс, прогресс и обновление результатов нашего постоянного процесса улучшения инструментов оценки.
Мы должны находиться в готовности предоставить такую подробную информацию, чтобы иметь вес рынке, который становится всё более компетентным. Запросы на данные такого типа поступают нам все чаще.
Кроме того, такой анализ помогает нам лучше понять конструкты наших инструментов оценки и эффективность их отдельных элементов, что помогает постоянно работать над качеством.
Какие ключевые преимущества получит среднестатистический пользователь нашей диагностики?
Общая структура технических отчётов является одинаковой для всех наших инструментов оценки, ниже мы приводим описание основных преимуществ одной из публикации — технического отчёта по оценке DISC.
1. Свидетельство надёжности
и достоверности, описание в деталях
Обратите внимание — мы используем слово «свидетельство». Это слово — отличный пример решения проблемы соединения двух миров: научного и делового.
Наука не категорична. Поэтому мы приводим свидетельства доказательств, избегая чёрно-белых выводов в научном документе.
2. История DISC, рассказанная так,
как её ещё никогда не рассказывали
Одна из первых вещей, которые требуют при проверке тестов — подробное теоретическое обоснование и методика разработки теста, применявшаяся с самого начала работы над ним.
Хотя большинство наших пользователей могут сказать, что наша оценка по DISC основана на трудах Марстона, тем не менее критический анализ сотен документов, связанных с оценкой поведения и потрясающее интервью с Питером Тернером открывают богатую и захватывающую историю разработки нашей диагностики по DISC, которая до сих пор никогда не публиковалась.
Пожалуйста, потратьте время на чтение о вкладе в работу Прескотта Лески, Уолтера Вернона Кларка, Арта Ниманна, У. Клемента Стоуна, Джона Кливера, Джона Гейера и Билла и Дэвида Боннстеттеров.
3. Подробное объяснение того, почему TTISI не использует средние показатели графиков
Раздел 2.7 поможет нам выделиться на рынке благодаря наглядно проиллюстрированным неврологическим данным. Эти данные объясняют, почему реакция на то, что нам «нравится» (ответы 1 и 2), очень сильно отличается от реакции отвращения (ответы 3 и 4).
Такое понимание «яблока и апельсина» ясно показывает, почему пользоваться средними показателями неправильно.
4. Ценность демографических данных
Благодаря функционалу сбора демографических данных можно, наконец, продемонстрировать, как наши вопросники позволяют обнаружить уникальные закономерности, связанные с должностью.
В Приложении B отчёта приведена модель логистической регрессии, используемая для определения вероятности принадлежности к тому или иному классу должностей путём сравнения группы со случайной выборкой из общей выборки по всем респондентам.
На момент публикации у TTISI Global было достаточно данных, чтобы проанализировать 184 должности. В каждой из 184 таблиц с данными приведены ключевые статистически важные конструкты показатели, превышающие 0.5, известные как «область ниже кривой» (AUC).
В качестве одного лишь из примеров, тем, кто работает в медицине, было бы интересно увидеть, как в таблице 129 в разделе В (хирурги) выделяются свойства по этим двум личностным свойствам, что совершенно не удивительно.
| Переменная | AUC |
| Отрицательное отношение к: Работе с клиентами, Естественный стиль I по DISC | 0,62 |
Наша библиотека технических руководств
Подавляющему большинству наших пользователей, возможно, эти отчёты никогда не потребуются, но всем в нашем сообществе необходимо знать об их существовании и придавать значение их ценности — как высокотехнологичной документации и источника доказательств нашей приверженности прозрачности и постоянному совершенствованию.
Если у вас есть вопросы о качестве инструментов, выборе провайдера или вы хотите узнать как применить инструменты в бизнесе и жизни — наши эксперты всегда на связи.
Информационные продукты на данной странице рассчитаны на возраст 18+