РЕТЕСТОВАЯ НАДЕЖНОСТЬ ОПРОСНИКОВ ТАЛАНОВА

Обсуждение соционических экспериментов

РЕТЕСТОВАЯ НАДЕЖНОСТЬ ОПРОСНИКОВ ТАЛАНОВА

Сообщение kanonik » Сб май 04, 2019 5:55 pm

РЕТЕСТОВАЯ НАДЕЖНОСТЬ, ПОЛУЧЕННАЯ ПРИ ПОВТОРНОЙ ДИАГНОСТИКЕ НА ОПРОСНИКАХ С ДРУГИМИ ДИАГНОСТИЧЕСКИМИ ВОПРОСАМИ (тест-ретесты с помощью опросников 250, 584-B и 584-С, использованных в проекте изучения статистики интертипных отношений)

(Фрагмент из свежей статьи В.Л.Таланова – для любителей углубляться в соционическую теорию… Просим прощения за слишком серьезно-научный материал, но иногда это нужно и полезно, чтобы расставить вешки перед движением вперед и оградиться в дальнейшем от некомпетентной критики и глупых заблуждений, для каковых и в этом форуме есть, увы, масса любителей)
=====================

«Всего обследовано 178 пар тест-ретест, полученных от 125 разных респондентов (если один респондент заполнял сразу три опросника, то он учитывался не в одной, а сразу в трех тест-ретестовых парах). Никакой отбор, никакая выбраковка ретестовых пар не осуществлялись - выборка формировалась "как есть", и при наличии двух заполненных опросников от любого испытуемого соответствующая пара получившихся типных профилей в выборку включалась автоматически.

В группе мужчин (68 ретестовых пар типных профилей) средняя сходимость диагностированных типов с заявленными (типами по самотипированию) составила 0,675; средняя сходимость ведущих пиков в парах типных профилей, полученных по разным опросникам, составила 0,735; медианное значение корреляции между типными профилями в паре составило 0,942 (соответственно, медианное перекрытие дисперсий типных профилей в паре, равное квадрату их корреляции, составило 0,887). Среднее перекрытие дисперсий типных профилей в паре составило 0,794.

В группе женщин (110 ретестовых пар типных профилей) средняя сходимость диагностированных типов с заявленными (типами по самотипированию) составила 0,484; средняя сходимость ведущих пиков в парах типных профилей, полученных по разным опросникам, составила 0,564; медианное значение корреляции между типными профилями в паре составило 0,930 (соответственно, медианное перекрытие дисперсий типных профилей в паре, равное квадрату их корреляции, составило 0,865). Среднее перекрытие дисперсий типных профилей в паре составило 0,782.

В подгруппе мужчин средний индекс заявленной соционической компетентности составил 2,71, а средний процент уверенности в своем заявленном типе – 76,4%.
В подгруппе женщин средний индекс заявленной соционической компетентности составил 2,45, а средний процент уверенности в своем заявленном типе – 66%.

Таким образом, более высокие точностные характеристики в подгруппе мужчин объясняются, скорее всего, не их полом, а более высоким средним уровнем соционической компетентности в данной их подгруппе (дело в том, что мужчины в целом меньше интересуются соционикой, и если многие женщины идут на повторное заполнение тестов, лишь чтобы точнее узнать свой социотип – будучи промотивированы желанием своего оптимального семейного обустройства, то большинством мужчин при повторном заполнении тестов руководит лишь исследовательский интерес, в свою очередь в этой части мужчин скоррелированный и с более глубоким знанием соционики, и с более высоким интеллектом, и более глубоким уровнем их саморефлексии).

В неразделенной по полу выборке (178 ретестовых пар типных профилей) средняя сходимость диагностированных типов с заявленными (типами по самотипированию) составила 0,559; средняя сходимость ведущих пиков в парах типных профилей, полученных по разным опросникам, составила 0,629; медианное значение корреляции между типными профилями в паре составило 0,935 (соответственно, медианное перекрытие дисперсий типных профилей в паре, равное квадрату их корреляции, составило 0,874). Среднее же перекрытие дисперсий типных профилей в паре составило 0,787.

Выборка людей с ретестовыми парами профилей соответствует той выборке людей, на которой нами исследуются интертипные отношения, по всем своим параметрам (средний индекс соционической компетентности, уверенность в своем типе, средняя высота сырого типного профиля по опроснику, средний показатель f, характеризующий «чистоту» типа).
Поэтому все полученные результаты, в том числе среднюю сходимость с самотипированием, среднюю ретестовую сходимость ведущих пиков профилей и среднее перекрытие дисперсий типных профилей человека в его ретестовых парах, можно отнести и к той выборке, на которой по тем же самым опросникам исследуются интертипные отношения.

В проекте исследования интертипных отношений для нас важны те выводы, которые на основе этих чисел можно сделать также и о точности определения интертипных отношений. При определении интертипных отношений по ведущим пикам типных профилей двух людей вероятность правильной классификации интертипных отношений составляет, очевидно, все те же самые 0,629 (63%), а вероятность ошибки – 37%. Если же интертипные отношения диагностируются по паре типных профилей в целом (а не только по их ведущим пикам), то тогда вероятность правильного определения интертипного отношения в паре людей равна средней надежности в воспроизведении дисперсии типного профиля, то есть 0,787 (79%) с вероятностью ошибки в определении ИО, в среднем равной 21%.

Ну, и независимо от любых научно-исследовательских проектов, для всех респондентов опросников должна быть интересна точность (надежность), с которой опросниками в среднем определяется их социотип. Типный профиль в целом определяется с медианным значением надежности 0,935 (это очень много). Ведущий пик профиля определяется со средней достоверностью 79% (но это лишь среднее по выборке значение; вероятность достоверного его определения очень сильно зависит от того, является ли тип человека относительно чистым, строго близким к одному из «стандартных» социотипов – в этом случае средняя вероятность точного определения этого типа приближается к 90%, и напротив, если тип человека является строго промежуточным между двумя классическими социотипами, то в этом случае вероятность правильного выделения одного единственного стандартного типа, к которому человек лишь самую малость ближе, чем к другому, падает практически до уровня 50%).

В целом надежность диагностики типа зависит от двух параметров. Первый – это высота «сырого» типного профиля человека, диагностированного по опроснику. Высотой профиля называется стандартное отклонение (то есть среднеквадратичный разброс от среднего нулевого значения) тех 16-ти алгебраических чисел, которые образуют диагностированный опросником типный профиль респондента. Обозначается этот параметр, характеризующий высоту или контрастность профиля, буквой S. Чем S больше, тем лучше для надежности результатов. S получается более высоким, если, во-первых, ответы человека на диагностические вопросы были вдумчивыми и тщательными, а также если у человека есть достаточный жизненный опыт, чтобы объективно оценивать свое поведение и свои жизненные предпочтения, а также и сравнивать себя с другими людьми. Во-вторых, S зависит еще и от объективного уровня личностной акцентуации человека, то есть от степени реального отклонения его психических функций от популяционного среднего. Объективно существуют люди, у которых все их функции – «с середки на половинку», не низкие и не высокие, а так-сяк. Понятно, что и типный, и функциональный профили таких людей получаются слабо выраженными, с низким контрастом. В этом случае и от тщательности заполнения, и даже от жизненного опыта мало что зависит, и опросник не врет, раз за разом показывая низкую высоту их профиля.

Однако в любом случае от величины показателя S зависят как ретестовая воспроизводимость формы профиля (она измеряется корреляцией между первым тестовым и вторым ретестовым типным профилем), так и достоверность выделения того единственного стандартного социотипа, который наиболее близок по свойствам к данному человеку. Так, в группе респондентов с более низким значением S (от 0,05 до средневыборочного значения 0,22) медианная в этой группе людей корреляция между тестовым и ретестовым типными профилями составляет 0,876, а воспроизводимость ведущего пика типного профиля равна 0,506.

В другой же половине испытуемых, со значениями S от средневыборочного значения 0,22 и до максимального на выборке значения 0,41, медианная тест-ретестовая корреляция типных профилей составляет уже 0,963 (то есть намного более высокую величину), а средняя тест-ретестовая воспроизводимость ведущего пика типного профиля поднимается до уровня 0,753 (в полтора раза выше, чем в половине испытуемых с низким S). Соответственно, в этих подгруппах испытуемых разнится и достоверность определения ведущего пика их типного профиля (то есть достоверность верного определения стандартного социотипа, который по своим свойствам наиболее близок к данному человеку). Если в половине людей с низким S средняя вероятность верного определения опросником одного-единственного и самого главного ведущего пика составляет 71%, то в половине людей с высоким S эта вероятность равна уже 86%.

Однако вероятность верного определения единственного, самого близкого социотипа зависит не только от вашего индивидуального S (высоты, контраста вашего типного профиля).
В еще большей мере она зависит от «чистоты» вашего типа, то есть насколько вы близки лишь к одному из стандартных социотипов (а не расположены, например, по своим свойствам строго посередине между сразу двумя, а то и тремя стандартными социотипами – а такое тоже бывает сплошь и рядом). Этот показатель условной «чистоты» типа измеряется с помощью так называемого показателя f, показывающего, насколько ведущий пик вашего профиля отличается по своей высоте от следующих вслед за ним по высоте второго и третьего пиков этого же профиля.

Конкретно, показатель f вычисляется вот так: f=(h1-0,425*h2-0,353*h3)/h1
Здесь h1 – высота самого высокого пика типного профиля, а h2 и h3- второго и третьего по высоте. Чем более высок ваш показатель f, тем условно «чище» ваш тип (именно что условно, - потому что выделенные «стандартные» социотипы – это лишь психологические условности, и точки в промежуточных координатах между ними по своим свойствам, ей-богу, абсолютно ничем не хуже, чем в центре так называемых стандартных социотипов). В случае же, если вы по своим психологическим свойствам промежуточны между двумя, а то и тремя социотипами, то ваш показатель f получится низким. Медианное на нашей выборке значение f равно 0,442. Cоответственно, та половина людей, у которых их f выше, чем 0,442, имеет сравнительно чистый «единственный» социотип, а вот половина людей с f ниже, чем 0,442, относится скорее к промежуточным психотипам.

Важно подчеркнуть, что показатель f с выше рассмотренным показателем S никак не связан, они независимы друг от друга.

Тест-ретестовая корреляция типных профилей от величины показателя f не зависит, а вот воспроизводимость определения одного-единственногго ведущего пика в профиле зависит очень сильно, а значит, сильно зависит от f и вероятность правильного выделения ведущего пика в вашем типном профиле. И понятно, почему – если ваш f очень низкий, то тогда сразу два а то и три пика в вашем типном профиле практически равны по высоте и одновременно претендуют на первенство, и вероятность ошибиться в выделении одного-единственного «лидера» среди них сразу резко возрастает.

Измерение показывает, что в половине людей из нашей выборки со сравнительно низкими f (от 0,277 до 0,442) тест-ретестовая воспроизводимость ведущего пика профиля равна в среднем лишь 0,561 (отсюда средняя вероятность достоверного выделения ведущего пика получается 74%). В то же время в половине людей с высокими f, от 0,442 и до 0,747 (и любыми S) тест-ретестовая воспроизводимость в выделении ведущего пика профиля вырастает уже до 0,697, а средняя вероятность верного выделения опросником ведущего пика получается 83%. И это – без учета различий испытуемых по показателю S, то есть контраста их типного профиля.

Если же учесть оба показателя, то различия людей по возможности однозначно определить их единственный социотип становятся еще более резко выраженными. Так, в той части испытуемых, где и S, и f одновременно выше среднего уровня, тест-ретестовая воспроизводимость в выделении ведущего типа профиля достигает уже 0,833, а соответствующая этому числу средняя вероятность правильного выделения единственного ведущего социотипа становится равна 91%.

Почему 91%, а не 100%? Потому что есть еще такая вещь, как объективные вариации психического состояния человека. Кстати, у разных людей эти вариации, в силу их разной эмоциональной реактивности, могут иметь существенно разный размах. И люди с большим размахом этих вариаций в одном своем состоянии могут показать по опроснику один тип, а в другом состоянии, отвечая столь же искренне (и даже не на другой, а на тот же самый опросник) они могут вполне честно показать другой тип – который может отличаться от первого по полюсу любой из базовых юнговских дихотомий, а то и сразу двух.

Несмотря на все эти оговорки и ограничения, определение социотипа человека по опросникам остается все равно самым высоконадежным методом. Он в разы точнее любой экспертной диагностики (даже производимой на протяжении большого количества времени высококвалифицированным специалистом), и значительно превосходит по точности даже самотипирование испытуемых. Кроме того, только опросники позволяют определить не только наиболее близкий по свойствам стандартный социотип, но и полную, точную координату человека в психологическом пространстве, то есть все дополнительные нюансы его типного, признакового и функционального профилей.

На рисунках, прикрепленных к посту, показаны эмпирические графики зависимости основных ретестовых показателей опросниковой надежности от ряда индивидуальных для респондента черт его типного профиля.

Кроме показателей S и f, которые индивидуально характеризуют типный профиль каждого человека, там участвуют еще и К – корреляция между типными профилями, полученными методом разбиения одного опросника на две половинки. А еще участвуют два производных показателя. Один из них, показатель А – это распространенный в психологии показатель Альфа-Кронбаха, в данном случае характеризующий надежность формы полученного типного профиля. Он напрямую зависит от высоты профиля S:
A= (S^2-0,0051)/ (S^2)
Другой показатель, Z, является производным сразу вместе от А и f: Z= A^6+2,2*f-0,45
Показатель Z наиболее полно характеризует совместное влияние S, A и f на способность опросника верно выделять в полученном типном профиле один-единственный типный пик, по своим свойствам наиболее близкий к свойствам респондента.

Преобразование Фишера, упоминаемое на графиках – применяется к значениям коэффициентов линейной корреляции, чтобы сделать распределение величин этих коэффициентов гауссовым (с гауссовыми распределениями намного удобней работать в математическом смысле).

Как строились все представленные графики? Все тест-ретестовые пары выборки располагались в возрастающем порядке по величине показателя, заложенного в ось абсцисс. Те показатели, которые откладываются на графике по вертикальной оси Y, при этом усреднялись по 25 тест-ретестовым парам, близко-смежным по своим значениям на оси X. Таким образом, все точки на графиках – это усреднения по 25 экспериментальным точкам, оказавшимся смежными на оси X.»

Copyleft В.Л.Таланов 2019

Изображение
Изображение
Изображение
Изображение
Изображение
Изображение
=========
«Если тебя лишили обязанностей гражданина, исполняй обязанности человека». (Сенека)
kanonik
Старожил
Старожил
 
Сообщения: 4490
Зарегистрирован: Вс авг 07, 2011 7:10 pm
Медали: 4

РЕТЕСТОВАЯ НАДЕЖНОСТЬ ОПРОСНИКОВ ТАЛАНОВА

Сообщение Oleg » Сб май 04, 2019 7:24 pm

средняя вероятность правильного выделения единственного ведущего социотипа становится равна 91%

Почему 91%, а не 100%?

:lol:

У меня другой вопрос, почему 91%, а не 30-50%? 8-)
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 75645
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

РЕТЕСТОВАЯ НАДЕЖНОСТЬ ОПРОСНИКОВ ТАЛАНОВА

Сообщение kanonik » Сб май 04, 2019 7:36 pm

Oleg писал(а):
У меня другой вопрос, почему 91%, а не 30-50%? 8-)

Потому что читать надо внимательно и вникая.
=========
«Если тебя лишили обязанностей гражданина, исполняй обязанности человека». (Сенека)
kanonik
Старожил
Старожил
 
Сообщения: 4490
Зарегистрирован: Вс авг 07, 2011 7:10 pm
Медали: 4

РЕТЕСТОВАЯ НАДЕЖНОСТЬ ОПРОСНИКОВ ТАЛАНОВА

Сообщение Светлана_ » Сб май 02, 2020 5:15 pm

kanonik писал(а):РЕТЕСТОВАЯ НАДЕЖНОСТЬ, ПОЛУЧЕННАЯ ПРИ ПОВТОРНОЙ ДИАГНОСТИКЕ НА ОПРОСНИКАХ С ДРУГИМИ ДИАГНОСТИЧЕСКИМИ ВОПРОСАМИ (тест-ретесты с помощью опросников 250, 584-B и 584-С, использованных в проекте изучения статистики интертипных отношений)

--==--==--==--==
Однако в любом случае от величины показателя S зависят как ретестовая воспроизводимость формы профиля (она измеряется корреляцией между первым тестовым и вторым ретестовым типным профилем), так и достоверность выделения того единственного стандартного социотипа, который наиболее близок по свойствам к данному человеку. Так, в группе респондентов с более низким значением S (от 0,05 до средневыборочного значения 0,22) медианная в этой группе людей корреляция между тестовым и ретестовым типными профилями составляет 0,876, а воспроизводимость ведущего пика типного профиля равна 0,506.

В другой же половине испытуемых, со значениями S от средневыборочного значения 0,22 и до максимального на выборке значения 0,41, медианная тест-ретестовая корреляция типных профилей составляет уже 0,963 (то есть намного более высокую величину), а средняя тест-ретестовая воспроизводимость ведущего пика типного профиля поднимается до уровня 0,753 (в полтора раза выше, чем в половине испытуемых с низким S).

Соответственно, в этих подгруппах испытуемых разнится и достоверность определения ведущего пика их типного профиля (то есть достоверность верного определения стандартного социотипа, который по своим свойствам наиболее близок к данному человеку). Если в половине людей с низким S средняя вероятность верного определения опросником одного-единственного и самого главного ведущего пика составляет 71%, то в половине людей с высоким S эта вероятность равна уже 86%.

Здравствуйте, уважаемый каноник. Хочу разобраться КАК получаются те или иные числа. Привожу кусок текста. И пытаюсь воспроизвести ваши вычисления и получить искомые числа.

Правильно ли я понимаю, что из вот этих чисел
Так, в группе респондентов с более низким значением S (от 0,05 до средневыборочного значения 0,22) медианная в этой группе людей корреляция между тестовым и ретестовым типными профилями составляет 0,876, а воспроизводимость ведущего пика типного профиля равна 0,506.

вытекает искомая вероятность определения пика?
Если в половине людей с низким S средняя вероятность верного определения опросником одного-единственного и самого главного ведущего пика составляет 71%,


Я просто пытаюсь получить искомую вероятность. Беру 0.876==> 87.6% и 0.506==>50.6% ==>
87.6+50.6=138.2 берем среднее значение ТАК? 138.2/2=69.1 % ( ну у вас 71%)
АНАЛОГИЧНО
В другой же половине испытуемых, со значениями S от средневыборочного значения 0,22 и до максимального на выборке значения 0,41, медианная тест-ретестовая корреляция типных профилей составляет уже 0,963 (то есть намного более высокую величину), а средняя тест-ретестовая воспроизводимость ведущего пика типного профиля поднимается до уровня 0,753 (в полтора раза выше, чем в половине испытуемых с низким S).


то в половине людей с высоким S эта вероятность равна уже 86%.

Аналогично вычисляю верояность ведущего пика для надежных профилей путем вычисления среднего от чисел 0.963 и 0.753
96.3+75.3=171.6 делим пополам и получаем 85.8 % . Округляем получаем 86%. Здесь совпало.
Правильно ли я воспроизвела данные вычисления?
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник

РЕТЕСТОВАЯ НАДЕЖНОСТЬ ОПРОСНИКОВ ТАЛАНОВА

Сообщение kanonik » Сб май 02, 2020 7:10 pm

Я просто пытаюсь получить искомую вероятность. Беру 0.876==> 87.6% и 0.506==>50.6% ==>
87.6+50.6=138.2 берем среднее значение ТАК? 138.2/2=69.1 % ( ну у вас 71%)
АНАЛОГИЧНО...


Нет! Расчет другой:
0,71*0,71=0,505=50,6%
Если вероятность попадания теста в некий истинный диапазон равна P (тут P=0,71), то тогда ретестовая воспроизводимость в процентах будет 100%*P*P
(в не очень существенном пренебрежении вероятностью дважды попасть в один и тот же весьма малый ложный диапазон, что лишь ненамного изменило бы формулу)

Аналогично, если для другой группы испытуемых их средняя тест-ретестовая воспроизводимость ведущего пика оказывается равна 0,753, то, памятуя, что эта тест-ретестовая воспроизводимость должна быть равна Р^2 (квадрат вероятности верного определения ведущего пика), то, извлекая квадратный корень из 0,753 получаем для Р величину 0,868.

Что же до медианной ретестовой корреляции между целостными типными профилями (0,876 в первой подвыборке, 0,963 во второй подвыборке), то ее связь с показателями воспроизводимости ведущего пика тоже можно теоретически вычислить по математической формуле, но формулы будут довольно сложными. То есть эти два числа вообще как бы в стороне от всех расчетов. Их смысл - характеристика надежности в определении целостных профилей (включая не только ведущий пик, но и все допакценты к нему). Эта надежность (и ретестовая воспроизводимость) всегда ВЫШЕ, чем надежность (и соответствующая ретестовая воспроизводимость) в определении просто одного ведущего пика.

То есть 0,876>0,71 и 0,963>0,868, как и должно быть. А больше тут первая величина получается потому, что в ее воспроизводимости учитывается не только высота одного пика, но взаимная высота всех пиков, то есть в ней сидит намного больше информации. В случае же второго числа учитывается лишь информация по воспроизводимости единственного пика, а все прочие пики попадают в разряд случайных, пренебрегаемых величин, и поэтому второй показатель надежности и должен быть меньше (0,71 против 0,876). Аналогия: какова генетическая общность между дочерью и матерью по цвету волос? Если взять непрерывную шкалу признака "цвет волос", то корреляция по нему получится довольно высокой между дочерью и матерью. А если огрубить этот признак до двух значений (либо брюнетка, либо блондинка), то корреляция уже получится меньше!
=========
«Если тебя лишили обязанностей гражданина, исполняй обязанности человека». (Сенека)
kanonik
Старожил
Старожил
 
Сообщения: 4490
Зарегистрирован: Вс авг 07, 2011 7:10 pm
Медали: 4

РЕТЕСТОВАЯ НАДЕЖНОСТЬ ОПРОСНИКОВ ТАЛАНОВА

Сообщение Светлана_ » Вс май 03, 2020 12:37 am

kanonik писал(а):То есть 0,876>0,71 и 0,963>0,868, как и должно быть. А больше тут первая величина получается потому, что в ее воспроизводимости учитывается не только высота одного пика, но взаимная высота всех пиков, то есть в ней сидит намного больше информации. В случае же второго числа учитывается лишь информация по воспроизводимости единственного пика, а все прочие пики попадают в разряд случайных, пренебрегаемых величин, и поэтому второй показатель надежности и должен быть меньше (0,71 против 0,876). Аналогия: какова генетическая общность между дочерью и матерью по цвету волос? Если взять непрерывную шкалу признака "цвет волос", то корреляция по нему получится довольно высокой между дочерью и матерью. А если огрубить этот признак до двух значений (либо брюнетка, либо блондинка), то корреляция уже получится меньше!


Понятно. Спасибо. :I6
Аватара пользователя
Светлана_
Модератор
Модератор
 
Сообщения: 1995
Зарегистрирован: Пт июн 29, 2007 9:49 am
Откуда: Россия
Медали: 2
Пол: Женский
Соционический тип: Робеспьер
Тип по психе-йоге: Лао-цзы (ЛВФЭ)
Темперамент: Сангвиник


  • { SIMILAR_TOPICS }
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в Эксперименты

Кто сейчас на конференции

Зарегистрированные пользователи: GoGo [Bot], Google [Bot], Joker, Грим, rtanya, vadimr, Yandex 3.0 [Bot], Yandex [Bot], на лошади весёлой