Конкурс-эксперимент (2017-2018 г) типирования по текстам

[Oleg]

8-9% сходимости с самотипированием - это просто ужасный результат, особенно учитывая, что можно было узнать авторов по стилю на форуме.
Непонятно почему так слабо получилось, ведь в первом конкурсе типирования по тексту результаты были сильно лучше.

3. Проверить эффективность машинного типирования по текстам с помощью нейросетей.

На самом деле намного интереснее будет в виде соревнования людей и нейросетей.
И желательно, чтобы было несколько разных нейросетей на основе разных алгоритмов.

[Буран]

То есть повышение сходимости происходит за счет того, что типировщики угадывают авторов?

Понижение сходимости происходит, если
- авторы далеки от соционики;

Это гипотеза, требующая проверки.

- общее число рассказов не известно типировщикам;
- сроки окончания конкурса неизвестны, из-за этого сложнее вычислить принадлежность рассказов;
- авторам разрешалось заменять свои рассказы на другие, более интересные читателям, написанные в процессе конкурса;

А вот это я без мата не могу комментировать.

Понимаю, почему этот конкурс вызвал у многих негативную реакцию. Обещаю, что в следующем конкурсе Пробирка как организатор не участвует и ничего подобного не будет.
1. Сроки окончания конкурса и число рассказов будут известны до начала конкурса.
2. Никаких дописываний, редактирований и замен в процессе конкурса не будет.

Я делаю вывод, что полученная среднеконкурсная 8-9% сходимость при типировании обусловлена:
1). Знанием авторами основ соционики и отыгрыванием стереотипов;
2). Узнаваемостью авторов и знанием их ТИМов по иным источникам (по личному знакомству на форуме, например).

Если бы двух выше изложенных факторов не было, то сходимость была бы близкой к случайной, 6.25%.

Ты это кому-нибудь другому рассказывай. Чем объяснишь мою сходимость в 12%? Второй фактор я исключил самым тщательным образом.

[Буран]

8-9% сходимости с самотипированием - это просто ужасный результат, особенно учитывая, что можно было узнать авторов по стилю на форуме.
Непонятно почему так слабо получилось, ведь в первом конкурсе типирования по тексту результаты были сильно лучше.

Потому и были лучше, что в первом конкурсе авторов узнавали по стилю на форуме. Здесь возможность узнавания была минимизирована.

Помнится, Sarah Connor (ручеек) в каком-то прошлом конкурсе получила сходимость 15%, а у нас - 8%.

[Prob-Irka]

8-9% сходимости с самотипированием - это просто ужасный результат, особенно учитывая, что можно было узнать авторов по стилю на форуме.
Непонятно почему так слабо получилось, ведь в первом конкурсе типирования по тексту результаты были сильно лучше.

Половина авторов были новички форума и сторонние люди, приглашенные другими авторами. Переписывались со мною по е-мейлам, пару человек даже не регистрировались на форуме.
Некоторые авторы пришли с нераскрученных литературных площадок инета. Есть такие, кого средненько оценили и они отозвали свои рассказы, что уменьшило самосходимость.

В авторы-лидеры заслуженно вышли в основном местные форумчане.
Лучшими типировщиками также стали лучшие литераторы нашего форума.

Кстати, часть авторов с "литературной арены" с хорошим устоявшимся стилем в типировочном эксперименте не участвовали, что уменьшило общую сходимость, ведь думали иногда на них.

Авторов-новичков типировщики лично не знали, не знали их ТИМы. Своё инкогнито новички скрывали, в обсуждение и типировщики не лезли, что не позволяло другим типировщиком вычислить полный список авторов.

В прежних конкурсах типирования по текстам, рассказам и по эссе список авторов был известен и текстов было равное число от автора.

Парф в новом конкурсе вновь создаст "тепличные" условия. Если организатор верит в соционику, то он всегда создаст и обоснует условия (для повышения сходимости).
И Парф будет гордится высокими сходимостями (15-25%) в своем предстоящем эксперименте и раструбит об этом в ВКонтакте.

Всё больше и больше социоников ставят математику на службу своей вере.

И не удивительно, что Парф не доверит проведение нового конкурса даже TailWind-у, программисту хорошо знающему математику.

[Prob-Irka]

Oleg
Парф много чего хорошего сделал для конкурса, например, придумал формулу случайной сходимости в зависимости от частоты выдаваемых экспертами популярных ТИМов.

Парф установил, что случайная сходимость реально выше чем 6.25%.
Одна из сходимостей, которую он рассчитывал, это превышение сходимости над случайной величиной.
Случайная сходимость конкурса равна 8.07%

Номинации к наградам:
Самосходимость типировщика = 9.39% (нормированная), 14.32% (обычная), 10.25% (случайная). Средняя самосходимость в конкурсе = 9.27% при средней случайной = 8,07%

Как видно из номинаций лидеров, превышение среднеконкурсной сходимости составляло
9.27%-8.07%=1.2%
Это итог конкурса типирования!

Запомните эту цифру
1.2% превышения над случайностью.

[Буран]

7. Никаких интертипных отношений между писателями и читателями нет. Если они и есть, то не влияют на то, насколько текст понравится читателю.

Это интересно. Значит, по литературным пристрастиям ничего тимного в читателе определить нельзя?

Похоже, что так.

[Буран]

Некоторые авторы пришли с нераскрученных литературных площадок инета. Есть такие, кого средненько оценили и они отозвали свои рассказы, что уменьшило самосходимость.

Это ты кого имеешь в виду? Портер - форумный старожил.

А вот твои попытки пропихнуть на конкурс засвеченный текст Багирко, действительно, непонятны. Его могли узнать, и это уж точно повысило бы сходимость.

Парф в новом конкурсе вновь создаст "тепличные" условия.

Я собираюсь в новом конкурсе привлекать авторов не только с форума, но и из вконтакта, и стимулировать типировщиков привлекать знакомых, не знающих соционику.

Если организатор верит в соционику, то он всегда создаст и обоснует условия (для повышения сходимости).

Это утверждение работает и в обратную сторону: если организатор не верит в соционику, то всегда создаст условия для искусственого понижения сходимости. Да, я тебя имею в виду.

И не удивительно, что Парф не доверит проведение нового конкурса даже TailWind-у, программисту хорошо знающему математику.

Ему уж точно не доверю. Раньше TailWind был более-менее адекватен, но потом стал нести полный бред. В итоге я добавил его в чёрный список и забыл о его существовании.

Хотя помощники мне нужны.

[Буран]

Как видно из номинаций лидеров, превышение среднеконкурсной сходимости составляло
9.27%-8.07%=1.2%
Это итог конкурса типирования!

Запомните эту цифру
1.2% превышения над случайностью.

Самосходимости.

Если правильно трактовать самосходимость, она связана с надёжностью определения ТИМа следующей формулой:

s = p*p + (1-p)(1-p)/11 (11 - число степеней свободы при неправильном определении ТИМа, определённое Талановым по статистике тестов; можно поменять его на максимально возможное число 15 - результат не сильно изменится).

Отсюда и получается верхняя оценка реальной надёжности типирования, которую я уже публиковал:

А вот и оценка точности конкретных типировщиков по самосходимости. Подчеркну, что это верхняя оценка, то есть реальная их точность типирования по 1 художественному тексту, скорее всего, меньше:

Parf: 23,6%
Грим: 38,7%
kurlemushe: 31,3%
Сумеречный Кот: 19,9%
Типировщик: 12,2%
Erika A: 35,3%
Сита: 20,9%
Fladen: 22,8%
ENTP: 26,2%
RomaGerm: 12,5%
Зимбабве: 56,6%
Дашуська: 34,9%
ornithologist: 25,2%
Brittany: 27,0%
Sarah Connor: 27,5%
Буратино: 22,3%
Horn85: 77,2%
Типодром (программа): 34,1%

Реальная надёжность типирования ниже из-за двух факторов:
1) неравномерности распределения ТИМов;
2) использования неправильных методик типирования, которые улавливают не соционические, а какие-то другие особенности стиля автора.

В любом случае, самосходимость - ненадёжная методика из-за того, что на неё сильно влияют малые случайные колебания.

Думаю, в следующем конкурсе считать самосходимость я не буду. И так понятно, что она маленькая. Её подсчёт только даёт основания для спекуляций тем, кто не понимает приведённую выше формулу. Например, у типировщика самосходимость 10%, и они говорят, что он типирует с точностью 10% - хотя в реальности это означает оценку надёжности типирования порядка 30%.

Лучше использовать сходимость с заявленными ТИМами - это более точная и наглядная методика.