Мы озабочены. Надежностью.

В самом начале XX века газеты были заполонены рекламой чудодейственных пиявок «от полипа и от гриппа», волшебных мазей и настоек, которые, предполагалось, должны были вылечить все.

Прошло 100 лет, но у коллег-медиков, которыми являются и психологи, мало что изменилось. Консультанты, бизнес-тренеры и психологи, часто отмеченные официальными дипломами, по незнанию оказывают услуги с применением психологических тестов сомнительного происхождения и качества. Такая работа больше похожа на гадание. 

Кроме того, проверять нужно качество не только инструментов диагностики, но и процедур оценки, которые часто могут быть сомнительными и предвзятыми.

Если качество фармпрепаратов сейчас — полностью ответственность производителя. То, сожалению, в отличие от лекарств, такая проверка психодиагностических инструментов — забота только самого клиента, которому оказывают столь непростые специализированные услуги.

С одной стороны, вред от психологических «знахарских припарок» вряд ли вы сможете заметить, да ещё и сразу. С другой — представьте себе, что вы просто не сможете отобрать качественного сотрудника на работу или в кадровый резерв. Никто от этого не умрёт, но... додумайте сами последствия и возможные потери для бизнеса.

TTI Success Insights (TTISI), как производитель качественных инструментов психологической диагностики, крайне заинтересована в том, чтобы результатам процедур оценки и её инструментам, применяемым в этой оценке, можно было доверять.

Поэтому, в том числе и в соответствии с предписаниями APA, TTISI работает над достижением научно обоснованной высокой надёжности своих инструментов оценки. TTI Success Insights периодически публикует технические отчёты об исследовании надёжности своих инструментов и размещает их в открытом доступе.

Технический отчёт, в котором присутствуют десятки или даже сотни страниц, требует месяцев, если не лет на своё создание.

Проведение грамотного научно обоснованного исследования довольно дорого, и оно требует особой квалификации. Кроме того, такое исследование для бизнес-целей невозможно провести без опроса большого количества подходящих для этого респондентов (от 500), то есть создать серьёзный тест на выборке студентов психологического факультета довольно затруднительно.

Скорее всего, технический отчёт, нашпигованный научной терминологией, прочитают единицы подготовленных экспертов, а массовая аудитория HR даже не обратит на этот колоссальный труд внимание. Само наличие таких опубликованных материалов скажет многое о качестве провайдера.

Не стоит доверчиво полагаться на голословные заверения продавцов психологических услуг и бизнес-тренингов о «самом высоком качестве». Это нужно чем-то подтвердить.

Но... Как вы думаете, почему подавляющее большинство создателей тестов почему-то не размещают технические отчёты на сайтах?

Для начала у провайдера стоит выяснить такие моменты.

1. Наличие отчёта. Поинтересуйтесь хотя бы о наличии технических отчётов о каждой методике, которую они предполагают использовать и полистайте эти отчёты.
2. Содержание документа. К сожалению, официальных стандартов для содержания технических отчётов в России не существует. Однако, получив несколько таких документов исполнителей, вы сможете, как минимум пусть поверхностно, сравнить их объём и связь с качеством диагностики, которую они описывают. Подобно тому, как если бы вы стали листать сертификат безопасности к купленному товару.

Представьте термометр для измерения температуры тела. Если здоровый человек будет измерять температуру несколько раз на протяжении нескольких часов, то каждое такое измерение даст примерно одинаковые результаты — около 36,6°С.

Если повторять измерения на протяжении нескольких часов и каждый раз записывать результат, при этом результаты каждый раз будут оказываться близкими к 36,6°С, то можно утверждать, что термометр надёжен.

И даже если другой термометр будет каждый раз, постоянно показывать у здорового человека не 36,6°С, а 37,5°С, то всё равно можно говорить о том, что термометр оказался надёжным.

Этот пример демонстрирует, что надёжность теста является мерой того, насколько он конгруэнтен, т.е. стабилен в результате.

А вот достоверность теста отражает то, насколько точно он измеряет то, что на самом деле должен измерять.

По аналогии с термометром в примере выше: несмотря на стабильность результатов, термометр, который всегда показывал 37,5°С у здорового человека, является хоть и надёжным, но недостоверным (невалидным). Потому что достоверно известно, что температура среднестатистического здорового человека составляет 36,6°С, а не 37,5°С.

При определении валидности задача разработчика состоит в том, чтобы добиться соответствия инструментария предмету своего изучения. Хорошим подспорьем для понимания валидности теста будет описание предмета методики, на чем она основана, почему делаются те или иные причинно-следственные связи, как утверждения вопросника связаны с этими понятиями и т.д.

Например, чтобы получить понимание того, насколько вопросник DISC и отчет на основе результатов обработки, валидны своему предмету изучения, т.е. оценке по методу DISC, для HR будет правильно прочитать книги «Универсальный язык DISC» Билла Боннстеттера и «Emotions Of Normal People» У.М.Марстона (есть только на английском языке) или пройти в TTISI обучение по методике DISC.

Согласно APA, существуют 4 основных типа надёжности:

1. Внутренняя консистентность (конгруэнтность, согласованность).
2. Временная консистентность (стабильность).
3. Сравнительная надёжность (надёжность в сравнении с другими параллельными, альтернативными формами оценки).
4. Генерализация (обобщаемость).

Генерализация вообще сама по себе представляет собой целое поле для исследований. Во многих уважаемых источниках даётся также такое понятие, как межэкспертная надёжность.

TTISI традиционно концентрируется на изучении внутренней и временной консистентности. Изучение же через сравнительную надёжность требует анализа, как минимум двух похожих тестов. Затраты времени и ресурсов на независимую разработку альтернативных форм тестов на стили поведения по DISC или любых других пока нерациональны.

Однако по прошествии времени тесты требуют переосмысления и, возможно, повторной разработки. В ходе такого процесса, как раз и можно создать независимый отдельный тест, измеряющий те же свойства и параметры, и таким естественным образом создать возможность для изучения сравнительной надёжности с помощью альтернативных форм.