?

Log in

No account? Create an account
робосова

ru_chgk


Спортивное "Что? Где? Когда?"

Life is a gamble


Предыдущий пост Поделиться Следующий пост
Эксперимент с новой формулой
tugarev пишет в ru_chgk
На сайте рейтинга появилась страница экспериментов.

На этой странице было проведено исследование эффективности различных формул расчёта турнирных бонусов и вариантов учёта синхронов при расчёте релизов рейтинга.

Для начала стоит ещё раз напомнить недостатки нынешней формулы:
1) достаточно сильная зависимость бонуса призёров и субпризёров турнира от его массовости;
2) надувание бонусов на турнирах с относительно слабым составом участников (практически все команды такого турнира гарантировано получают бонус больше 0,2 от своего рейтинга) - например: http://ratingnew.chgk.info/tournaments.php?displaytournament=579;
3) бесполезность очных турниров с сильным составом для большинства их участников, занявших места чуть ниже призовых;
4) не всегда корректно самонастраивающиеся коэффициенты наклона тренда ("тверской эффект"): топовая команда, прибывшая на турнир, где играют много команд среднего уровня с малым разбросом рейтинга, снижает бонусы турнира; ещё пример - победитель высшей лиги чемпионата Москвы получает меньше, чем победитель первой лиги, где больше команд, хотя и более слабых;
5) инфляция - рост бонусов и рейтингов (особенно заметен рост рейтинга 100-го места: на 10% в год).

За последние полгода было предложено и протестировано несколько формул.
Наилучшие результаты дала формула, рассчитываемая по следующему алгоритму:
1) для команд, участвующих в турнире, производится сортировка по рейтингу;
2) для каждого места X из мест 1..N вычисляется бонус, равный среднему арифметическому от рейтингов команд, места которых при сортировке по рейтингу лежат в промежутке [Х; Х+М-1]; если Х+М-1>N, то принимается Х+М-1=N;
3) если место Х заняла одна команда, то она получает бонус согласно п. 2;
4) если несколько команд заняли место Х, то есть разделили места от (Х-L/2) до (Х-L/2), то каждая из этих команд получает среднее арифметическое от бонусов, начисленных на места этого диапазона;
5) все бонусы умножаются на коэффициент С.

В формуле два настраиваемых параметра: М - глубина субтурнира и С - коэффициент роста бонуса. Третий настраиваемый параметр - число синхронов, учитываемых при расчёте релиза.

Очевидно, что М не должен быть равен 1 (сильная команда посетившая детский турнир, без борьбы получает приличный бонус). Но и большой М нежелателен, чем больше этот коэффициент, тем сильнее падают в рейтинге сильные команды из удалённых от Москвы регионов. Оптимально М=2.

Критерием предсказательной способности Z была выбрана сумма квадратов отношения разности занятого на турнире места и места, предсказанного по рейтингу, к сумме этих мест: Z=sumZi, где
Zi=((Р-R)/(Р+R))^2,
где Р - предсказанное по рейтингу место, R - реально занятое место.
Основным тестовым турниром выбран ОКР-2009 (последний по времени большой синхрон). По действующей формуле: Z=77,1. Опыты запускались от 1 сентября 2009 (в этом случае по-новой формуле считался только один релиз), от 1 июля 2007 и от 1 января 2005. Для ОКР при М=2 и С=0,203 были получены значения Z: 72,8 (при старте в сентябре 2009); 61,8 (при старте в июле 2007) и 60,4 (при старте в январе 2005) соответственно.

Предсказательная способность рейтинга повысилась и для большинства очных турниров. Например,
Мемориал Дмитрия Коноваленко 3,39 (4,01 по нынешней формуле);
Отрытый кубок Зеленограда 3,32 (3,92 по нынешней формуле).

Был проведён ряд опытов для оценки предсказательной способности при разных значениях М и разном максимальном количестве учитываемых синхронов. Подтвердилось ухудшение предсказательной способности при повышении М и жёстких ограничениях на учёт синхронов.
Ограничение "не более двух синхронов", разумное при ныне действующей формуле (поскольку синхрон по ней даёт всем участникам более высокие бонусы, чем турнир, полученный, например, отсеканием всех команд ниже 100-го места), не является целесообразным при новой формуле.
При этом в списках учтённых командам турниров не наблюдается массового вытеснения очных турниров синхронами - в среднем в рейтинг идёт по два синхрона. Лишь у очень немногих команд (в основном, базирующихся в отдалённых регионах) учтены четыре синхрона.

Бонусы победителей турниров, проводимых в регионах, в среднем соответствуют тем бонусам, которые эти команды набирают на синхронах или на общих турнирах с топовыми командами:
в Израиле - 1850 баллов,
в Украине - 1750 баллов,
в Беларуси - 1710 баллов,
в Германии и США - по 1350 баллов,
в Прибалтике и Армении - по 1000 баллов и т.д.
В топ-50 попали 4 команды из Израиля, одна из США, 8 из Украины, 2 из Беларуси, 7 из провинциальных городов России - никакого кардинального отличия от нынешней ситуации нет (кроме ухода из топ-50 четырёх прибалтийских команд).

Итак, устранены ВСЕ основные проблемы нынешней формулы.
Тренд рейтинга, расчитанного по новой формуле, довольно близок к тренду по существующей формуле. Для синхронов тренд является вогнутым. Для очных турниров с сильным составом – линейным.Совместимость с ныне действующей системой - достаточно хорошая. Не требуется пересчёт старых релизов. Формула может быть введена с любого релиза. Колебания рейтинга для места Х могут быть доведены до уровня 2-3%.

Кажется, мы пришли к более-менее приемлемому варианту.

А вот адрес страницы:
http://ratingnew.chgk.info/test_case/teams.php
Сейчас на ней результаты эксперимента, в ходе которого новая формула введена с лета 2007 года с параметрами М=2, С=0,203 и "не более четырёх синхронов".



(Удалённый комментарий)
тока синхроны дико подешевели... например за весьма представительный кубок одесситов дележ 1-3 места стал стоить как 11 место на мемориале Коноваленко....
А ваще пока на первый взгляд - мне пока кажется более сбалансированными результаты (я пока бегло просмотрел типичные результаты скажем так команды топ-20, топ-30)

(Удалённый комментарий)
(Удалённый комментарий)
(Удалённый комментарий)
(Удалённый комментарий)
(Удалённый комментарий)
(Удалённый комментарий)
Нашёл в топ-100 команду, у которой разница мест официального и тестового рейтинга -35. Подозреваю, что это не предел.

инфляция - рост бонусов и рейтингов (особенно заметен рост рейтинга 100-го места: на 10% в год).
А если 1-е место посмотреть? Вообще в пержней формуле предельный рейтинг как раз ограничен. в новой же-нет.

достаточно сильная зависимость бонуса победителя турнира от его массовости
Не победителя а всех кроме победителя,ибо там участвует число участников N

бесполезность очных турниров с сильным составом для большинства их участников, занявших места чуть ниже призовых;

Это да,так что же сделано в этом направлении?

("тверской эффект")
Накануне фестиваля в Твери это является его антирекламой, спасибо....

то есть разделили места от (Х-L/2) до (Х-L/2),
Тут вкралась ошибка вроде бы?

[Х; Х+М-1

При X равном 1 команда победитель получат среднее между рейтингом первого и второго места?

(Удалённый комментарий)
Участники чемпионата мира получают огромнейшую фору. Коэффициент 1,5 надо менять на 1,1, не больше.

Я думал фантастика в другом разделе :-)

Если я правильно помню, то рейтинг победителя от массовости вообще не зависит.

Именно. Общее кол-во команд участниц влияет на рейтинг всех мест кроме первого.

С Германией всё по-прежнему очень грустно :). Может, чуть менее грустно, чем было, но всё равно очень грустно :).

Конкретно нас каждое новое изменение формулы отбрасывает мест на 10-15 назад. Что уже начинает надоедать, ибо формулы меняются достаточно регулярно.

> не всегда корректно самонастраивающиеся коэффициенты наклона тренда ("тверской эффект"): топовая команда, прибывшая на турнир, где играют много команд среднего уровня с малым разбросом рейтинга, снижает бонусы турнира;
По новой формуле можно "по дружбе" пригласить топовую команду на турнир среднего состава, чтобы очень сильно подтянуть рейтинг 2 места.

Если она займёт первое место, это никак не повлияет на бонус за второе. А вот если её "по дружбе" ещё уговорить проиграть...

Ура! Снова придется ездить в Москву за колбасой рейтингом:)

Лёша, ты бы хоть рассказал, какие альтернативы мы рассматриваем.

А именно:
1. М может варьироваться, разумные значения для него лежат в границах от 2 до 5. Одновременно с этим изменяется C так, чтобы за прошедший период не было ни инфляции, ни дефляции.
Увеличение С в этих границах ведёт к повышению адекватности бонусов на "материковой части", но ухудшает положение команд из анклавов.

2. С учётом синхронов ещё не решили, как поступить.

Уточню, что повышению адекватности не очень существенному. Кстати, Кубок Зеленограда и Мемориал Коноваленко оказались чуть-чуть адекватнее при М=2.

Кажется, мы пришли к более-менее приемлемому варианту.

Когда Кубок ЛКИ стоит столько же, сколько ЧР-2009, Кубок Городов и "Белые ночи" - это приемлемо?!

Антон, а чем Белые Ночи лучше? тем что там еще 30 команд места с 45 по 75-е занимают?
Вот если бы в формуле еще добавился некий коэффициент за количество вопросов, тогда да.

Формула откровенно подогнана под Москву и Питер.
В Топ-20 только 3(!) команды не оттуда.
Если посмотреть на основные синхроны, то ситуация совсем другая: ОКР - 7, Кубок Городов - 10, Кубок Провинций - 8. Даже и Чемпионат России, на котором, по понятным причинам не выступают сильные команды их Израиля и США - в 20-ке 7 команд не из Москвы или Питера.

Так и по прежней формуле там Минск, Самара и Тель-Авив.

Да введите же уже, пожалуйста, новую схему поскорее )

А может быть, это потому, что в прошлом сезоне израильские команды не блистали на синхронах, а на "Знатокиаде" отдали все призовые места москвичам. А команды из Украины, выбираясь в Ростов, Курск, Питер или Витебск тоже уезжали не с медалями.

Посчитал команды, условно выходящие на ЧР2011 (по сумме мест на ЧР и в экспериментальном релизе)

Губанов, Афина, Кузьмин, Кирибати, Ксеп, Понаехали
Сальваторе, ЛКИ, МИРаж, Социал-демократы, Быдло, ЮМА
Тайга, Дилемма, Ла Скала, Биркиркара, Зарница, ДЛИ
Катус, Бавин, МУР-ЛЭТИ, Саут Бутово, Сирвента, Самум

провинция хоть немного, но потеряла.