Большинство провайдеров диагностики юлят, когда их спрашивают о «валидности» инструментов. Этим вопросом клиенты обычно хотят выяснить, насколько можно доверять диагностике. Ведь понять это крайне непросто: «пощупать невозможно», а рекламные лозунги и заверения о качестве у всех одинаковы.


К сожалению, честный ответ могут понять только эксперты. Если им предоставлена специализированная информация.


Если вы когда-либо видели технические отчёты к психологическим методикам, возможно, вы задаетесь вопросом, что же это такое и почему их так занудно и трудно читать. Ниже описано подробно о том, что нужно знать о них, и приложены сами руководства.


Технические отчёты документируют процесс, прогресс и обновление результатов постоянного процесса улучшения инструментов оценки. Всё это делается с целью показать компетентным экспертам, а не просто среднестатистическим пользователям научные обоснования, почему психологический инструмент работоспособен.


Именно экспертная целевая аудитория диктует выбор лексики, стиль и формат таких отчётов, именно поэтому они написаны в академическом стиле и их непросто понимать.

Требования о наличии технических отчётов не новы. Оскар Бюрос, создавший «Ежегодник психических измерений» в 1938 году, включил в предисловие к своей первой публикации цитату:

Пользователи тестов имеют все права требовать от авторов и издателей тестов представлять все детали, касающиеся методов, используемых при разработке и утверждении тестов, выпускаемых на рынок. 


Тесты без подробных сведений об их разработке, валидизации, сферах использования и ограничениях должны считаться сомнительным.


Доктор Эрик Гериг

Вице-президент по исследованиям и разработкам

TTI Success Insights Global.


Занимается проблемами математической верификации и совершенствования качества диагностики TTI. Получил степень Ph.D. по математике.


Каковы требования к техническим отчетам?

Ключевые компоненты этих технических отчётов требуют, чтобы разработчики тестов доказали их

  • надёжность (консистентность, конгруэнтность) и
  • валидность (достоверность).

Это кажется на первый взгляд простым, пока вы не столкнетесь с требованиями к оценке каждого из компонентов.


Внутренняя согласованность (консистентность, конгруэнтность)

Отражает то, насколько последовательны, преемственны ответы участников выборки на вопросы теста.

Читать далее

Временная консистентность (стабильность)

Если внутренняя консистентность определяет то, насколько последовательно респонденты отвечают на отдельные вопросы теста, то временная консистентность показывает то, насколько постоянны набираемые респондентами баллы на протяжении времени.

Читать далее

Сравнительная надежность или метод изучения альтернативных форм

Надёжность альтернативных форм требует как минимум двух версий того же тестирования, которые имеют примерно одинаковую эффективность в измерении нужного параметра.

Идея в том, чтобы группа респондентов прошла оба теста в относительно короткий промежуток времени между ними. Баллы, набранные респондентами, затем изучаются с точки зрения корреляции или другого похожего метода, чтобы определить степень связи версий теста между собой. Высокий уровень корреляции говорит о высокой степени надёжности альтернативных форм.

Генерализация (обобщаемость)

Это целая сфера исследований сама по себе. Идея заключается в том, чтобы искать возможные источники ошибок измерений за пределами границ одной предметной области или понятия.

Например, внутренняя консистентность рассматривает в основном только зависимость между объектами, а временная консистентность — только постоянство на протяжении времени. Генерализация же одновременно может показывать измерения, например, зависимость между объектами и сопоставимость во времени. Более полное описание темы генерализации выходит за рамки данной статьи.


Ранние исследования надёжности, проведённые TTISI, были направлены на изучение внутренней согласованности в виде коэффициента альфа Кронбаха, а также на получение описательных статистик.

Теперь TTISI периодически проводит исследования временной консистентности ещё и путём повторных тестирований.

В современной западной литературе уже часто говорится о том, что для измерения внутренней консистентности существуют более эффективные методы, чем коэффициент альфа Кронбаха с доверительными интервалами, не говоря уже про давно устаревшее изучение всего и вся только через коэффициенты корреляции. TTISI планирует в будущем продолжить использовать доверительные интервалы, но также определять зависимость с использованием коэффициента омега.


Мы также планируем подключить теорию генерализации для измерения внутренней согласованности, чтобы измерять погрешности как в конструкте вопросников, так и при заполнении ими респондентами, и анализ временной консистентности, чтобы измерять погрешности вопросников и ответов респондентов, возникающие во времени). Надёжность и достоверность стали важнейшим критерием для всего, с чем работает TTISI, поскольку мы понимаем истинную важность этой информации и того, как она отличает нас от конкурентов на рынке.

Те, кто уже давно пользуется нашими инструментами, хорошо знают, что они действительно работают. Но мы в любом случае щепетильно следим за документационным обеспечением и прозрачностью — это важные факторы для того, чтобы оставаться лидерами в нашей сфере.


Это также отличная защита от нападок на качество нечистоплотных конкурентов и просто дилетантов.

Наши технические отчёты документируют процесс, прогресс и обновление результатов нашего постоянного процесса улучшения инструментов оценки.

Мы должны находиться в готовности предоставить такую подробную информацию, чтобы иметь вес рынке, который становится всё более компетентным. Запросы на данные такого типа поступают нам все чаще.


Кроме того, такой анализ помогает нам лучше понять конструкты наших инструментов оценки и эффективность их отдельных элементов, что помогает постоянно работать над качеством.

2. История DISC, рассказанная так, 

как её ещё никогда не рассказывали

Одна из первых вещей, которые требуют при проверке тестов — подробное теоретическое обоснование и методика разработки теста, применявшаяся с самого начала работы над ним.


Хотя большинство наших пользователей могут сказать, что наша оценка по DISC основана на трудах Марстона, тем не менее критический анализ сотен документов, связанных с оценкой поведения и потрясающее интервью с Питером Тернером открывают богатую и захватывающую историю разработки нашей диагностики по DISC, которая до сих пор никогда не публиковалась.


Пожалуйста, потратьте время на чтение о вкладе в работу Прескотта Лески, Уолтера Вернона Кларка, Арта Ниманна, У. Клемента Стоуна, Джона Кливера, Джона Гейера и Билла и Дэвида Боннстеттеров.

3. Подробное объяснение того, почему TTISI не использует средние показатели графиков

Раздел 2.7 поможет нам выделиться на рынке благодаря наглядно проиллюстрированным неврологическим данным. Эти данные объясняют, почему реакция на то, что нам «нравится» (ответы 1 и 2), очень сильно отличается от реакции отвращения (ответы 3 и 4).


Такое понимание «яблока и апельсина» ясно показывает, почему пользоваться средними показателями неправильно.

4. Ценность демографических данных

Благодаря функционалу сбора демографических данных можно, наконец, продемонстрировать, как наши вопросники позволяют обнаружить уникальные закономерности, связанные с должностью.


В Приложении B отчёта приведена модель логистической регрессии, используемая для определения вероятности принадлежности к тому или иному классу должностей путём сравнения группы со случайной выборкой из общей выборки по всем респондентам.


На момент публикации у TTISI Global было достаточно данных, чтобы проанализировать 184 должности. В каждой из 184 таблиц с данными приведены ключевые статистически важные конструкты показатели, превышающие 0.5, известные как «область ниже кривой» (AUC).


В качестве одного лишь из примеров, тем, кто работает в медицине, было бы интересно увидеть, как в таблице 129 в разделе В (хирурги) выделяются свойства по этим двум личностным свойствам, что совершенно не удивительно.

Ссылка на это место страницы: ##1

Если у вас есть вопросы о качестве инструментов, выборе провайдера или вы хотите узнать как применить инструменты в бизнесе и жизни — наши эксперты всегда на связи.

Информационные продукты на данной странице рассчитаны на возраст 18+