Andy Volykhov (andy_racing) wrote in ru_chgk,
Andy Volykhov
andy_racing
ru_chgk

Анализ предсказательной способности рейтинговых систем

Мне представляется, что основным показателем, по которому следует оценивать качество рейтинговой системы, должно быть высокое соответствие между предсказанными ей соотношениями команд и результатами реальных турниров.
Я сравнил положение команд в первых крупных турнирах осени (наиболее близких по времени к сентябрьскому релизу)с тем, что предсказывает рейтинг (старая - действующая система, новая система Исраэлита без учёта собственного рейтинга при начислении бонусов и новая с учётом оного). Учтены только команды, фигурирующие в топ-250 по обеим новым системам (по другим всё равно нет данных), не учтены команды без преемственности. Привожу среднеквадратичные отклонения прогнозируемых мест от реальных, нормированные на число команд (чтобы можно было их сравнивать между собой).

Всемирный кубок одесситов: старая - 0,2813, новая без своего - 0,3049, новая со своим - 0,3016
Всемирный потоп: старая - 0,2098, новая без своего - 0,1853, новая со своим - 0,1805
Город героев: старая - 0,1456, новая без своего - 0,1657, новая со своим - 0,1509
Открытый чемпионат Смоленска: старая - 0,1124, обе новые - 0,1281 (они полностью совпадают)
Открытый кубок МГУ: старая - 0,2857, новая без своего - 0,2716, новая со своим - 0,2912

В среднем по 5 турнирам: старая - 0,2070, новая без своего - 0,2111, новая со своим - 0,2104

Выводы.
1. Предсказательная способность новой системы (в том виде, в каком она представлена) в среднем несколько хуже старой, хотя и незначительно.
2. Новая система с учётом и без учёта собственного рейтинга при начислении бонусов в среднем даёт очень близкие результаты.
3. Новая система работает лучше старой на турнирах с преимущественным участием команд из Москвы и Санкт-Петербурга и хуже - на других турнирах.

Думаю, что в будущем все предложения по усовершенствованию рейтинговой системы следует подвергать подобной апробации.
Tags: Инфо: Рейтинг МАК, Обращения: Аналитика
Subscribe
  • Post a new comment

    Error

    Comments allowed for members only

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 62 comments