Валидность и надёжность DF Motivators — Движущие силы, ТТИ

Когда покупатель психодиагностики спрашивает поставщика «а насколько это вообще надёжно», честный ответ — это не рекламная фраза, а конкретный подход к проверке и, где это возможно, ссылка на исследование. Незрелому провайдеру ответить на этот вопрос нечем, кроме лозунгов. Зрелому есть что показать: методологию оценки, документацию и честную границу того, что доказано, а что нет.

Разбираем это на примере методики DF Motivators (12 Движущих сил): какой подход к валидности и надёжности мы используем, что должно быть в техническом отчёте любого нормального инструмента оценки, и отдельно, прямо: какие конкретные цифры по DF Motivators опубликованы, а каких пока нет.

Сразу самое важное: это страница про DF Motivators, а не про DISC. DF Motivators измеряет ценности и мотивы человека: почему он делает то, что делает. DISC описывает стиль поведения: как он действует. Это разные конструкты, разные шкалы и разная психометрическая история, и у DISC валидность с надёжностью разбираются на отдельной странице. Здесь эти два инструмента не смешиваются.

Выберите, что нужно прямо сейчас:

→ Коротко. Надёжна ли DF Motivators: короткий честный ответ без выдуманных цифр → Живые имена. Кронбах, Макдональд, Бюрос, Шпрангер: кто они и при чём здесь эта методика → Как проверить. Пошаговая процедура: что спросить у провайдера DF Motivators → Техотчёт и цифры. Что должно быть в паспорте методики и какие цифры опубликованы, а какие нет

Коротко: надёжна ли DF Motivators?

Короткий честный ответ: у DF Motivators есть проверяемый методологический подход к надёжности и валидности, унаследованный от разработчика методики (TTI Success Insights Global) и применяемый к линейке инструментов в целом. Но отдельного числового коэффициента (альфа Кронбаха, омега Макдональда или аналога), опубликованного именно для российской версии, на сегодня в открытом доступе нет. Это не значит, что методика не проверялась: это значит, что конкретная цифра для нашего рынка не публикуется, и добросовестный провайдер обязан сказать об этом прямо, а не встраивать её в маркетинговый текст.

Кто стоит за терминами

За абстрактными словами «альфа» и «омега» стоят живые исследователи, и полезно понимать, откуда эти методы вообще взялись.

Коэффициент альфа, самый распространённый способ измерить внутреннюю согласованность теста, вывел американский психолог Ли Кронбах. Он много лет проработал в разных университетах, включая Иллинойсский, а с 1964 года и до конца карьеры в Стэнфорде, где занимался педагогической психологией и оценкой качества тестов.

Более современную альтернативу, коэффициент омега, предложил психометрист Родерик Макдональд, который часть карьеры провёл в Иллинойсском университете в Урбане-Шампейн (наряду с позициями в Торонто и Сиднее) и много лет занимался количественными методами в психологии. Современные исследователи, включая самого Кронбаха, признавали: омега во многих ситуациях точнее альфы, потому что не требует нереалистичного допущения о равном весе всех пунктов шкалы.

Требование вообще раскрывать такую методологию появилось не вчера. Ещё в 1938 году американский психолог Оскар Бюрос выпустил первый «Ежегодник психических измерений» (Mental Measurements Yearbook), знаковое издание, заложившее традицию независимых экспертных рецензий тестов. Он настаивал: пользователи тестов вправе требовать от разработчиков полной информации о том, как инструмент создавался и проверялся, а тест без такой документации не заслуживает доверия. Эта логика с тех пор не изменилась.

Исследовательскую группу разработчика методики, TTI Success Insights Global, возглавляет Эрик Гериг, PhD по математике, вице-президент по исследованиям и разработкам. Это реальный человек с именем и должностью, а не безымянный «отдел исследований», и это тоже часть того, что отличает проверяемую методику от рекламной фразы «мы всё проверили».

А в основе самой теоретической модели DF Motivators лежит работа немецкого психолога Эдуарда Шпрангера, выделившего шесть базовых ценностных ориентаций человека (теоретическую, экономическую, эстетическую, социальную, политическую, религиозную), позже развитых в опроснике Олпорта и Вернона «Изучение ценностей» (Study of Values). Подробную историю модели, с хронологией и источниками, мы разбираем на отдельной странице «12 Движущих сил»: здесь её не повторяем, чтобы не размывать тему валидности.

Как проверить провайдера

Проверка провайдера психодиагностики (DF Motivators, DISC или любого другого инструмента) — это не чтение технического отчёта от корки до корки. Это несколько простых вопросов, которые стоит задать до покупки:

  1. Есть ли у провайдера вообще технический отчёт или паспорт методики, а не только маркетинговое описание?
  2. Прописаны ли отдельно надёжность и валидность, или это одна общая фраза «методика проверена»?
  3. Указано ли честно, какие данные относятся к глобальной версии инструмента, а какие относятся к локальной, российской версии, если речь о нашем рынке?
  4. Готов ли провайдер сказать прямо, если конкретной цифры по локальному рынку у него нет, вместо того чтобы её выдумать?

Подробный пошаговый разбор с примерами мы даём на отдельной странице «Как проверить провайдера психодиагностики»; здесь короткая версия из четырёх вопросов.

Что входит в техотчёт и какие цифры есть

Технический отчёт, или паспорт методики, — это документ. Он описывает, как инструмент оценки разрабатывался и проверялся. Он пишется не для рядового пользователя, а для эксперта, который умеет читать статистику. Сравнение здесь уместно с документацией клинических испытаний препарата: сложно, но именно эта сложность и отделяет проверенный инструмент от непроверенного.

Что должно быть в хорошем техническом отчёте, если хотите проверить не только нас

Полноценный технический паспорт методики обычно закрывает восемь-десять смысловых блоков: (1) теоретическое обоснование: какая теория лежит в основе и что именно методика измеряет; (2) описание процедуры проведения и подсчёта баллов; (3) психометрические характеристики (самое важное): отдельно надёжность (внутренняя согласованность, ретестовая устойчивость) и отдельно валидность (конструктная, критериальная, содержательная); (4) стандартизацию и нормы, не общими словами, а конкретной выборкой: сколько человек, из каких групп, за какой период; (5) процедуру обработки сырых баллов; (6) интерпретацию и честные ограничения: что методика прямо не измеряет; (7) адаптацию и локализацию: перевод, обратный перевод, проверку на новой выборке; (8) этику и конфиденциальность данных.

Обратите внимание на пункт про выборку стандартизации: в учебных материалах о том, как писать такие отчёты, часто приводят пример вида «выборка N респондентов из нескольких отраслей экономики». Это иллюстрация формата, а не наша конкретная цифра по DF Motivators. Не путайте общий шаблон технического отчёта с фактической статистикой конкретного инструмента.

Валидность: что мы контролируем

Валидность отвечает на вопрос: действительно ли методика измеряет то, что заявляет, а не что-то смежное. Для этого отдельно контролируются шесть компонентов: тестовый материал (теоретическое обоснование, разработка и адаптация вопросника); внутренняя структура вопросника (согласованность данных с теоретическим конструктом); внешние переменные (что ещё может повлиять на результат); процесс анкетирования (насколько формулировки воспринимаются респондентом адекватно замыслу); последствия тестирования (риски использования результата и их снижение); соответствие международным нормам перевода и адаптации инструментов оценки.

Ориентир здесь не наша собственная планка, а стандарты профессиональных ассоциаций: Американской психологической ассоциации (APA), Европейской федерации психологических ассоциаций (EFPA), Британского психологического общества (BPS) и Международной комиссии по тестированию, чья традиция независимой экспертизы восходит как раз к Ежегоднику Бюроса. Ни один из этих стандартов не принимает голословное «наша методика валидна» без разбивки по компонентам.

Честно: какие цифры опубликованы, а какие нет

Это раздел, который отличает DF Motivators от готового набора маркетинговых утверждений, и мы сознательно делаем его отдельным, а не прячем внутри общих фраз.

Что известно. По данным разработчика методики (TTI Success Insights Global), в 2002 году было проведено независимое внешнее исследование с выборкой более 43 000 респондентов, которое подтвердило высокую внутреннюю согласованность инструмента. Важная оговорка: это исследование почти наверняка относится к глобальной, англоязычной версии инструмента (на тот момент ещё до его прихода на российский рынок), а не к отдельной ревалидизации на российской выборке. Позже, в 2013 и в 2015–2022 годах, у линейки инструментов ТТИ (включая DF Motivators) проводилась ревалидизация на российской выборке. Это подтверждено в общей истории компании, но детализированные цифры (размер выборки, значение коэффициента) для DF Motivators отдельно от других методик публично не раскрываются.

Чего нет в открытом доступе. Конкретного числового коэффициента надёжности или валидности для российской версии DF Motivators (значения вида «альфа = 0,ХХ») на сайте и в публичных материалах нет. Мы не будем называть здесь число, которого не существует в открытых источниках: ни своё, ни чужое.

Что есть у разработчика для специалистов. У TTI Success Insights Global существует англоязычный технический паспорт для глобальной версии инструмента (на английском она называется Motivation Insights). Мы проверили, что документ существует и открыт по прямой ссылке: Motivation Insights Technical Manual, версия 1.0. Аналогичный отчёт есть и для DISC: Style Insights Technical Manual, версия 1.0. Это документы для специалистов по психометрике, на английском языке, и мы не выдаём их содержание за российскую статистику: конкретные цифры из них на этой странице не приводятся, потому что мы не подтверждали, к какой именно выборке и версии инструмента они относятся.

Если для вашей задачи (например, для внутреннего HR-аудита) нужны точные цифры, а не общее описание подхода, прямо скажите об этом при обращении: мы уточним, что можно предоставить, и не будем подменять отсутствующую цифру общими словами.

Откуда растёт модель

Модель DF Motivators: прикладное развитие теории ценностных ориентаций Эдуарда Шпрангера и последующих опросников на её основе, адаптированное для задач бизнеса: подбора, развития и работы с мотивацией. Методика состоит из 12 полярных векторов на 6 биполярных шкалах и включает вопросник из 72 утверждений с принудительным выбором (ипсативный формат), прохождение которого занимает у респондента около 10 минут. Полную историю модели мы разбираем на странице «12 Движущих сил»: сюда её не переносим целиком, чтобы не дублировать материал на двух страницах.

Частые вопросы

Валидность и надёжность DF Motivators — это одно и то же? Нет. Надёжность отвечает за стабильность измерения, валидность — за то, измеряет ли методика заявленное. Общий подход к обеим темам у DF Motivators есть; отдельного опубликованного числового показателя для российской версии по каждой из них пока нет, и мы это не скрываем.

Есть ли у DF Motivators коэффициент альфа или омега, как у DISC? Опубликованного значения для российской версии нет. Есть исследование разработчика 2002 года на выборке более 43 000 респондентов (вероятно, глобальной), подтвердившее высокую внутреннюю согласованность, но это не заменяет отдельную российскую цифру.

Кто такие Кронбах, Макдональд и Бюрос? Независимые учёные, чьи методы применяются в психометрике инструментов оценки в целом. Кронбах вывел коэффициент альфа (Стэнфорд), Макдональд предложил коэффициент омега (в том числе Иллинойсский университет), Бюрос в 1938 году запустил традицию требовать от тестов открытую документацию.

На чём основана модель DF Motivators? На теории шести ценностных ориентаций Эдуарда Шпрангера и опроснике Олпорта и Вернона «Изучение ценностей». Полная история дана на странице «12 Движущих сил».

DF Motivators — это то же самое, что DISC? Нет. DISC описывает стиль поведения, а DF Motivators измеряет ценности и мотивы. Разные конструкты, разные шкалы, разные страницы про валидность.


Дальше на выбор

Обсудить с консультантом: короткий разговор о том, какой инструмент и с каким уровнем доказательности нужен именно вам. Прочитать про 12 Движущих сил целиком: что измеряет модель, откуда взялась, как устроены шкалы. Как проверить провайдера диагностики: пошаговый разбор и вопросы на один звонок.


Источники

  1. TTI Success Insights Global. «Motivation Insights Technical Manual», Version 1.0 (2020): глобальный технический паспорт инструмента, англоязычный. PDF: https://images.ttisi.com/wp-content/uploads/research/2020/10/21102559/PIAV2techman_2020_v1.pdf (проверено живым запросом 07.09.2026, 200).
  2. TTI Success Insights Global. «Style Insights Technical Manual», Version 1.0 (2021): аналогичный паспорт для DISC, приведён для сравнения формата. PDF: https://images.ttisi.com/wp-content/uploads/research/2021/03/03101710/R4techman_2020_v1.pdf (проверено живым запросом 07.09.2026, 200).
  3. Buros O.K. (ed.) «The Nineteen Thirty-Eight Mental Measurements Yearbook». New Brunswick: Rutgers University Press, 1938; исторический факт первого издания, широко задокументирован независимо от ТТИ.

Автор: Редакция ТТИ Россия

Обсудить задачу с консультантом