Формула рейтинга квестов

У нас долгое время рейтинг квестов считался по определённой формуле (её мы здесь вспомним также). Но с начала 2022 года мы решили её обновить и сделать более живой и динамичной, чтобы она максимально отражала действующее положение вещей, а рейтинг был актуальным. Давайте разберёмся, как она работала, какие проблемы возникали и как мы их решили.

Ранее наша формула выглядела так:

Есть 4 степени доверия, которые в основном зависят от опыта человека - если он прошел много квестов (и соответственно оставил на них объективные осмысленные отзывы), то уровень доверия к нему будет выше. То есть у новичка "доверие" будет 0, у того, кто прошел хотя бы 5 квестов и может более менее сравнивать - 1, и так далее. У каждого УД свой удельный вес в финальном балле: с доверием 0, 1, 2 и 3 соответственно в оценку идут 10%, 20%, 30% и 40%. Рассмотрим на примере:
квесту "Найди тапки" поставили оценки 15 новичков (УД 0), 7 чуть более опытных (УД 1) и 3 самых опытных (УД 3). У первых средний балл 9.3, у вторых - 8.9, третьи же дали только 8.8. В итоге мы должны получить 9.3 * 0.1 + 8.9 * 0.2 + 8.8 * 0.4 = ... Но, если вы заметили, у нас не оказалось отзывов с доверием 2, а его вес должен кому-то достаться, иначе цифра окажется заниженной. В этом случае ее вес поровну распределяется на остальные, то бишь получим в итоге такой расклад: 9.3 * 0.2 + 8.9 * 0.3 + 8.8 * 0.5 = 8.93, что по понятным причинам отличается от просто среднего балла всех отзывов.

Есть еще пара нюансов: мы автоматически занижаем оценку, если на квест есть меньше 30 отзывов и/или если все отзывы у него только с нулевым уровнем доверия (тут уж придется подождать, пока контингент ценителей станет более разношерстным).

В целом, рейтинг сам по себе был неплохой, в топе были крутые квесты. Почему же мы решили её поменять? За долгое время накопилось немало моментов, которые мы решили исправить.

1) Рейтинг был негибким

После того, как сформировалась более менее твёрдая оценка, её поменять было сложно. Это демотивирует некоторых квестмейкеров.

2) Рейтинг не всегда был актуальным

Мы хотели, во-первых, исключить ситуации, когда квест был сильно переработан и обновлён, но его тянут вниз ранние оценки. Во-вторых, исключить ситуации, когда квест набирает минимальный порог отзывов и дальше вообще не стремится к получению новых. То есть квест с 30 отзывами и всеми десятками был бы выше квеста с 300 отзывами, где есть оценки разного рода.

3) Влияние мастеров и профи было чрезмерным

Да, могло быть так, что оценка одного мастера ставила крест на карьере квеста :) Это не совсем правильно, особенно в ситуации, когда мастер ставит оценку на раннем этапе, а квест потом значительно дорабатывается (см. п. 2).

4) Рейтинг не учитывал популярность квеста

Количество отзывов (а именно желание людей делиться своими эмоциями), на наш взгляд, отражает популярность квеста. А грань между популярностью и рейтинговостью очень тонкая =)

А что же теперь?

Как работает новая формула?

Мы не будем расписывать её слишком подробно. Она довольно сложно выглядит. Но мы распишем основные факторы, которые влияют на формирование рейтинга.

1. Оценки за последние 2 года и уровень игроков
   
2. Общее количество отзывов
3. Количество отзывов за три месяца
4. Процент подтверждённых игр (когда человек бронирует игру на сайте и мы знаем, что отзыву можно доверять)

Разберём каждый из пунктов.

Оценки за последние 2 года и уровни игроков

Тут мы решили проблему негибкости рейтинга и чрезмерного влияния мастеров. А в некоторой мере и проблему актуальности. Ранее рейтинг считался по всем отзывам, сейчас же только по тем, что были оставлены за последние 2 года. Ранее было 4 уровня доверия с очень большой разбежкой весов (0.1, 0.2, 0.3 и 0.4), сейчас же их стало 2, и почти без разбежки. Новички, любители и опытные вошли в первый уровень доверия с весом 0.33, а профи и мастера - во второй и имеют вес 0.34.

Общее количество отзывов

Мы считаем, что количество отзывов на самом деле значительно отражает "рейтинговость" квеста. На какие-то квесты люди оставляют отзывы охотнее и чаще, и это свидетельствует о его популярности, а значит и рейтинге в целом. Кроме того, большее количество отзывов даёт более объективную выборку и оценку.

Количество отзывов за 3 месяца

Суть в том, что при хорошем количестве отзывов к рейтингу добавляется небольшой бонус, если же отзывов слишком мало (менее 5 за 3 месяца), то он может и значительно урезаться.

Процент подтверждённых игр

Тут всё просто. Если игра состоялась, то у нас нет поводов не доверять отзыву =) И если большая часть отзывов имеют значок "подтверждённый" (голубенькая галочка), то такой квест получит бонус к рейтинговой оценке. Это должно, на наш взгляд, поспособствовать формированию более объективной итоговой оценки.