Критерии оценки игр
Небольшая предыстория. Читая очередные претензии тесеровцев друг к другу по поводу "иш ты, смеет тут говорить, у самого Монополия в топе" и т.д., а также пробуя внести в видеообзоры некий оценочный элемент, я вдруг люто задумался. А не подумать ли всей Тесерой над этой темой, чтобы все выразили своё мнение по этому поводу, а это мнение пошло бы на пользу Тесере 2.0.?
Вот мои мысли. Это не критика, простое рассуждение, и всех, кому есть, что сказать предлагаю озвучить и свои мысли.
1) Оценки на Тесере. Нет, ну реально, можно ли вообще предъявлять что-то человеку, исходя из его оценок? Я оценивал игры, когда заполнял свою коллекцию и всё, с тех пор я там был пару раз, что-то ставил под впечатлением, но эти оценки мало того, что плавающие, так ещё и реально не отражают моих взглядов на данный момент. Вот эти все "да как вы можете такое писать, если у вас к этой игре оценка такая то" - это всё полный бред. Да на этой неделе у человека взяло и проснулось чуство любви к данной настолке после какого-нибудь обзора или просто так. У меня сейчас в топе Descent, хотя я сейчас вообще на волне Pathfinder ACG, и как мне это выразить, ввести статусы на Тесере, как во Вконтакте? Это ещё первая часть первого пункта.
Вторая часть.
-Геймплей
-Глубина
-Оригинальность
-Реализация
Это претензия не к Тесере, напоминаю, хотелось бы просто найти оптимальные критерии. Лично я не могу оценивать игры по данным критериям, причём игры разных классов - и LCG и Board game и Wargame. Очевидно, что к каждому классу игр подходить нужно со своей стороны. Причём, если говорить о Тесере 2.0, то без мнения наших самых известных варгеймеров, например, вообще не обойтись (не буду называть ники).
В общем, на данный момент, указывать человеку на его оценки в спорах как-то совсем нелепо, потому что оценки не отражают реального положения дел. И вообще будут ли его когда-нибудь отражать, я тоже не знаю.
Тут я помещаю картинку, ибо все уже так привыкли!
2) Рейтинг на BGG. Как видите, критериями здесь вообще не пользуются, а предлагают оценить игру по общему впечатлению и желанию сыграть в неё ещё раз. Но, опять же, бывают разные периоды увлечений теми или иными играми. Оценка хоть и статусная на BGG, но мы пойдём другой дорогой:)
3) Критериев много, а оценка одна. А вот тут оценка на BGG уже выигрывает, потому что из 10-критериев можно поставить "идее игры" - 10, а по всем остальным вариантам - по единице. Т.е. понять по такой оценке какой видится человеку игра, опять же, невозможно. Поэтому я за то, чтобы общая оценка раскрывалась в эти самые критерии и можно было бы посмотреть сколько человек оценило тот или иной критерий.
А по-моему можно оставить и основную оценку и по критериям (но только не в качестве обязательной и так, чтобы она не влияла на основную).
Но вот 5-и или 10-и бальная шкала для нра-ненра - это одна из виликих глупостей человечества. Такая шкала нужна для оценки выполненого задания.
А здесь нужна шкала от -3 до 3 (или даже от -2, градация отрицательных эмоций, как правило, меньше).
При всей моей любви к Тесере, я никогда не смотрю на оценки игр на ней. К сожалению, круг оценивающих здесь не слишком велик (по сравнению, скажем, с БГГ) и законы больших чисел еще не работают.
А раз так, то оказывается важным не только собственно оценка, но и кто ее поставил.
Если я люблю евро-игры, то мнение поклонника америтреша или варгеймов для меня мало что значит: я понимаю, что их оценка евро-игры с большой вероятностью не превысит 5 по 10-балльной шкале. Более того, если ярый противник евро ставит игре 1, это повод присмотреться к ней повнимательнее!
Ведь это как в реальной жизни. У меня есть знакомые А и Б. И если мне предлагает попробовать игру А, то я скорее всего прислушаюсь к его совету, а к рекомендации Б, если и прислушаюсь, то с точностью до наоборот.
Таким образом, на мой взгляд, оценка игры индивидуальна для конкретного пользователя и зависит от его собственной оценки игр! То есть может быть, что мне показывается оценка "8", а соседу - оценка "6".
И да простят меня гуманитарии, оценка игры должна быть средневзвешенной по коэффициенту корреляции между оценками автора оценки и интересующегося пользователя. Я понимаю, что это достаточно сложно реализовать... Но без этого оценка на Тесере будет, как и сейчас, больше похожа на "среднюю температуру по больнице, включая реанимацию и морг"
Оценки только две - нра / не нра
"не нра" - лишнее, ибо уже содержиться в модели "нра" ;)
Попроигрывай в Робинзона Крузо с десяток партий и потом я посмотрю на тебя, лол.
Не согласен. Если мне игра не понравилась, я должен иметь возможность выразить свою точку зрения. Таким образом тот самый Манчкин получит в итоге не 100500 лайков, а ровно в половину
Ты предлагаешь "не нра" вычитать из "нра"?
Интересно. То есть будут отрицательные оценки? Или близкие к нулю, так что вообще непонятно, почему игра с 10-ти миллионным тиражом понравилась 15-ти человекам.
1. «Не нравится», как и «Нравится», это активная позиция. Не поставить оценку может и тот, кто не играл.
Т.е. просто нужно рекомендовать ставить оценки только если играл. При этом два варианта: «Нравится» или «Не нравится».
2. В отрицательном рейтинге нет ничего плохого.
Но я бы тогда хотел иметь возможность:
1. Видеть график изменений итоговой оценки игры.
2. Фильтровать оценки по периоду (за всё время, за последний месяц, за какой-то определённый промежуток времени).
Я согласен, есть определённый смысл в дислайках. Собственно, показывает дополнительную группу, копу не понравилось.
Но при этом нужно видеть обе группы, без вычетов. то есть, это не то что Пауль описал, как "Манчкин получит в итоге не 100500 лайков, а ровно в половину", а это будут те же 100500 лайков, рядом с 100250 дислайков
Не, дизлайки не нужны. Вон посмотри у какого количества народа руки аж трясутся от желания поставить дизлайк или единицу просто так, потому что можно. Уж лучше оценка за что-то конкретное, чтобы видно было за что.
А почему ты решил что оценка игра это что-то рациональное и её можно разложить по разным критериям?
И почему ты считаешь что можно пренебрежительно отзываться о ком-то, просто потому что ему не нравится игра, которая нравится тебе?
А я и не про то. Я про другое. Есть люди, которые специально троллят игры\фильмы. Оно и нафиг не нужно.
А ещё есть люди которые специально "продвигают" игры. Оно тоже не нужно.
Так это ж диалектика, получается. Да, тогда такой подход не работает, издатели будут лайкать, хейтеры дизлайкать.
Нужна обычная шкала на пять или десять баллов, без раскладки по критериям.
Ну поставит вам какой-нибудь тролль единицы по всем критериям, разве лучше станет?
По-моему, вообще не стоит придавать такое большое значение оценкам.
Я уж не говорю про "я настолько туп, что проиграл с разгромным счетом, но счас-то я на авторе игры отыграюсь, понаставив единиц".
Чисто технически, дизлайк несёт ту же функцию, что и оценки ниже 6 в десятибальной шкале. Статистически, конечно, они дают разную информацию. Опять же, насколько эта информация имеет смысл?
хорошо сделали майкрософт в своем магазине. Есть общая оценка, но всегда можно посмотреть кто сколько поставил. И если итоговая 3,6, но единица одна, а 5-ок 10 (ну я условно), то понятно что вещь скорее хорошая, чем плохая
Рейтинг 6,2
5-поставили 10
4-10
3-2
2-0
1-1
Там шире, я упростил немного :)
Кстати да, хорошая идея, в Яндекс.Маркете такая же. Удобно.
Ну, на Тесере есть аналог - "фанатская" зона. Аналог хороших и плохих отзывов на Яндексе.
Не знал, гляну. Спасибо.
Не зря в соцсетях ушли от оценки "не нравится". Это контрпродуктивно =)
reddit.com с вами не согласится.
Читал статью, почему это сделано - очень жалею, что не сохранил ссылку =)
зависит от подреддита. на некоторых выключили кнопку downvote, как здесь на тесере, и всё хорошо (но это в основном очень небольшие, "домашние" сообщества).
на других (в частности, популярных игровых) выключали в качестве эксперимента, но уже на следующий день в ужасе включали обратно, потому что уровень постов и дискуссий падал катастрофическим образом.
Именно. Одним пряником не обойтись, нужен кнут.
Переходи уже к делу
Совершенно точно. 10 лет назад я писал рецензии на музыкальные альбомы одному ресурсу, и мой знакомый на это сказал - что ты зря распинаешься в буквах, у всего этого есть только 2 оценки - "класс" и "гамно".
Согласен. Игра может либо нравится либо нет.
А "просто нравится" и "очень нравится" не может быть?
Или "да, точно нравится" и "скорее нравится, чем нет" быть не может?
Только ситхи всё возводят в абсолют!
Ещё чуть-чуть, и скорее да, чем нет, но почти нет, потому что слегка не до.
Не согласен - оценок может быть несколько.
Нравится, счастлив что купил
Нравится, но исключительно в компании на четверых
Нравится, но буду играть не чаще раза в месяц, ибо очень утомляет.
Нравится, но есть откровенные косяки в геймплее
Лично мне нравится, но никому не посоветую, так как специфична
и т.п.
Уравниловка в оценках может уравнять Свинтус и Eclipse. Простая десятибальная градация bgg меня устраивает)
На Тесере перед оценкой решаю какая оценка должна быть. Допустим 8.25 и ставлю 8-8-8-9, не смотря на критерии.
Аналогично, с той лишь разницей, что пытаюсь получить четное число в среднем числе оценки по критерию. Т.е. если хочу получить общую 7 это могут быть 10 4 5 9. Критерии такие забавные. А четные цифры такие симпатичные.
Целые числа, наверное
А как же "нравицца, но исключительно после того как сожру эклер и помацаю цыцку"? Какой оценке по десятибальной шкале соответствует?
примерно 7, ну или 6+
Это в твоей вселенной такая оценка? Я не ем Эклеры)
много потерял.
как минимум кило 10 за жизнь точно ))
Ну и кроме шуток - действительно советую эклеры. 10 из 10 (большой палец вверх для фанатов лайков)
Может Дима видел отзывы и не стал их пробовать?
Было как-то видео одного эксперта в этом вопросе в каком-то киножурнале. Вроде в Ералаше...
А чем плоха такая уравниловка. Думается мне, что общая ценность игры в том, сколько народа получает от неё фан.
А для выбора лучшей в жанре игры есть отдельный рейтинг на том же bgg.
Свинтус - 1000 лайков, 100 дизлайков.
Eclipse - 100 лайков, 10 дизлайков.
О чём вам сказала такая оценка? Только что Свинтус в России более известен. Куда ещё можно применить такую оценку? Позволит ли подобная оценка подсказать игроку, какую игру выбрать, даже среди патиигр? Нет - она будет давать лишь рейтинг известности.
У меня Каркассон получил заслуженно 10 баллов, а NE - 8 с хвостиком
И что это значит? Абсолютно разные игры с разной аудиторией, а поставить 10 Эре я не могу
Так никто не смотрит на твою оценку. Это твой личный топ и твоё дело что куда ставить.
Но из циферок, которые наставят игроки можно вывести среднюю оценку. Из лайков дизлайков ничего не выведешь.
И что она даст? Некий средний абсолют вроде того коня...
Вспомни тунец - пользователи долго ставили оценки, но нужна была только 10 (вряд ли ты делал смарт листы по песням с оценкой 2 или 6 или даже 8...). Именно она стала тем самым "лайком".
Как у Гегеля, "разумно и достаточно".
Ну и куда потом эту твою среднюю оценку? Кому и зачем она нужна?
из топ 10 на BGG для меня только одна представляет средний интерес, остальное всё - уныленькие кизяки, а та что на первом месте для меня и вовсе не игра
Средний топ - чистая бюрократия.
Информативен будет топ среди тех кто ставит оценки близкие к твоим.
Мне вот интересно, есть ли на свете те мудрецы, что руководствуются при покупке средней оценкой чего-либо?..
То есть ни внешний вид игры, ни механика/правила, ни автор, ни награды/отзывы, а именно средний балл, что получила игра на каком-то интернет-ресурсе?!
Для покупки - нет, но для изучения вида, правил, механики и тд - очень даже присматриваюсь к оценкам. Зачем мне изучать правила какого-то заминусованного шлака. А если у игры 9.9 - то потенциально что-то интересное.
Рейтинг для оценки желаемого нужен. Например, понравилась игра по обзору, а в рейтинге она засрана, как минимум заставит задуматься, почему и потратить больше времени на изучение игры до покупки.
Рейтинг не есть истина в последней инстанции, а просто ещё один инструмент для выбора, не самый последний, думаю.
Божемой))))))))
Вот ведь гики)) у меня левая пятка зачесалась, возникла в голове мысль " Хочу New Era!", позвонил в магаз, отложил, приехал и купил по той цене, что есть. И все. И индифферентно на мнение кн. Марьи Алексевны.
А почему мысль то возникла? Не потому ли что кругом всякию нюси и кседихи советуют и говорят, что это супер пупер и ставят ей 9-10?
Если бы говорили, что игра в общем ничё-такая, на семерочку, возникло бы такое же желание без сомнений её взять? Зачесалась бы пятка? Вопрос.
поэтому то лайк/не лайк не особо катит.
сами себе противоречите ;))
основной тезис поста - товар покупается по рекомендации, а не в силу оценки
Ну, оценка-то тоже не с Марса к нам послана. Если только не думать, что все тупни, а ты д'Артаньян и знаешь об игре больше тех, кто ставил оценки ;)
Я лично перед покупкой в том числе руководствуюсь и оценкой с БГГ. Оценка как индикатор, стоит ли вообще интересоваться игрой или нет.
Вы с Пашей вдвоём можете хоть задоказываться о бесполезности оценок BGG, только они есть, на них ориентируются, на них ссылаются, их используют для поиска игр. Для вас бесполезны - ок. Рейтинг Павла "Нраненра" пока лишь теория и говорить о его преимуществе можно лишь теоретизировать.
Большинству такой 10-бальный рейтинг BGG удобен. Как и рейтинг Кинопоиска и IMDb.
Меня вполне устраивает новая система в тунце. А сколько помидоров у фильма как-то фиолетово. Буду смотреть на иное либо по настроению.
Про Бгг я вообще молчу. Топ БГГ чистой воды res in se.
Некое значение у оценок есть, иначе их бы не было, тут ты прав. Но имхо, для таких вещей как фильм, количество посмотревших - гораздо более красноречивый параметр.
Я, например, гораздо больше заинтересуюсь фильмом со средней оценкой 6, который посмотрело 10 млн человек, чем фильмом с оценкой 9 и сотней посмотревших.
А количество приобщившихся замеряется простыми лайками
Количество просмотревших это оценка работы отдела рекламы, а не самого фильма.
Не без этого, конечно. Разумеется, это надо учитывать.
Идеального критерия не существует.
Количество посмотревших тоже так себе параметр. Ну вот яркий пример - ЗВ новый. Уже на 50 лямов билетов продали. Даже если фильм попахивает его посмотрит как минимум один раз бешеное количество народу. ВОт если бы там было написано сколько людей его пересмотрели хотя бы 1 раз. Это был бы другой разговор.
Ещё яркий пример обратного свойства.
Отличная комедия:
http://www.kinopoisk.ru/film/404190/
Рейтинг на IMDB 7.5, количество просмотревших - 965. Просто потому что фильм из Шри-Ланки :)
Классический пример почему среднее не работает.
3 игрока и сыграли в 3 игры и расставили им оценки:
Игрок 1: 14, 13, 12
Игрок 2: 2, 8, 6
Игрок 3: 11, 6, 9
У первой игры средний рейтинг - 9
У второй игры средний рейтинг - 9
У последней игры средний рейтинг .... 9!
Чёрт! Да они же одинаковые!
Но если приглядется к цифрам оказывается, что:
1) Игра 1 на первом месте у 2-х игроков
2) Игра 2 на первом месте у одного игрока
3) И никто не отдал предпочтения игре 3
14 это хорошо или плохо?
если хотя бы 500 человек проголосуют и у игр будет одинаковый рейтинг, значит люди именно на столько удовлетворились каждой игрой. А от десятка человек считать бессмысленно, не достаточен размер выборки.
А кто сказал, что при 500 голосах результаты не будут обладать теми же свойствами?
При равном среднем:
1) Игра 1 на первом месте у 2/3 игроков
2) Игра 2 на первом месте у 1/3 игроков
3) И никто не отдал предпочтения игре 3
Вы рассматриваете только три игры. Сомневаюсь, что человек, поиграв в своей жизни только в три игры, выдаст им оценки 2, 3 и 4 из 10.
Вы всё пытаетесь рассмотреть очень маленькую выборку, что даёт возможность играть с цифрами. Из этих трёх игр и человека с наименьшими оценками можно предположить, что игроку эти игры не очень понравились и играет он в другие, которым ставит 8-10, но он всё же решил дать им оценку, просто потому, что захотелось. Получается ,что он на самом деле невысоко оценил данные тайтлы и да, 9-ка для всех получается вполне одинаковой.
Интересно, почему это я ограничиваю выборку?
Вполне реальный пример. Игрок колеблется какую игру из интересующего его жанра выбрать. И сталкивается с такими аномалиями в оценке. В такой постановке вопроса у нас на выбор не сотни игр, а единицы, максимум пара десятков.
Вы не правильно меня поняли.
Человек, ставящий оценку, ставит оную ниже половины от максимальной, если у него в личном рейтинге уже есть игры с приближенной к максимуму оценкой. Представить, что 100 человек сыграли только в 3 игры и поставили им оценки 3-5 из 10 крайне трудно. Если им эти игры не понравились, они скорее про Тесеру и не узнают и забъют на это хобби. А человек, увлечённый, который всем играм ставит только низкие оценки - это скорее странность и редкость, это должно отсекаться большим количеством голосующих.
Думаете есть на Тесере 150 человек, которые за свою жизнь сыграли только в 3 игры и каждой из них поставили только 3-5, и эти три игры одинаковые для всех 150 человек? А именно это вы говорите, в своём примере.
Вы плодите слишком много новых сущностей.
У меня простая школьная легкопроверяемая математика, вы же добавляете к этим рассуждениям какой-то психологический булшит.
"Человек, ставящий оценку, ставит оную ниже половины от максимальной, если у него в личном рейтинге уже есть игры с приближенной к максимуму оценкой."
Есть какие-то данные подтверждающие это утверждение?
"Представить, что 100 человек сыграли только в 3 игры и поставили им оценки 3-5 из 10 крайне трудно."
Не так. 100 человек сыграли в 100 разных игр. В том числе и в те самые 3 игры, в которые мы планируем сыграть\приобрести. Т.е. остальные 97 (игр) в нашем случае нас не интересуют. Пусть это будут: Pandemic, Pandemic: the cure и, допустим, Flash Point (средний рейтинг у них приблизтельно одинаков).
При выборе одной из 3-х игр - чьи оценки нас больше интересуют?
а) тех, кто играл в 3 игры
б) тех, кто играл в 1-2 из 3 игры
"А человек, увлечённый, который всем играм ставит только низкие оценки - это скорее странность и редкость"
Есть какие-то данные подтверждающие это утверждение?
"это должно отсекаться большим количеством голосующих"
Что такое "большое" количество голосующих?
"Думаете есть на Тесере 150 человек, которые за свою жизнь сыграли только в 3 игры и каждой из них поставили только 3-5, и эти три игры одинаковые для всех 150 человек?"
Я думаю, что на тесере есть 100 игроков, которые играли в 3 одинаковые игры.
Я даже думаю, что на тесере есть игры средний рейтинг которых обладает этой аномалией.
Если результаты обладают такими свойствами может быть не стоит делать вывод, что люди одинаково и именно на столько "удовлетворились каждой игрой"?
Кстати, тут речь идет даже скорее об адаптации рейтинга IMDB/BGG к твоему личному. С опытом приходит понимание, ниже какого рейтинга смотреть фильмы/игры лично тебе уже не нужно, там будет шлак.
Справедливости ради, моя жена с этим не согласна и регулярно смотрит шлак с ужасающими рейтингами =)))
Хух, я думал только у меня такое дома.
Взять в процентах плюс к минусу и увидишь, что в среднем, большинству сыгравших и та и та пришлась по душе, а значит стоит пробовать.
Для более подробного анализа - тематический рейтинг на бгг, можно правила почитать, летсплей глянуть, отчёт посмотреть.
Рейтинг даёт только то, что люди получили от игры того, что ждали. Так то ни один народный рейтинг не даёт точной оценки, как по мне, только общие оценки и некоторые тенденции.
О том что обе игры приносят примерно одинаково удовольствия, но вследствие того, что за свинтус тысячи, а за эклипс меньше - скорее всего первая больше "пати гейм", а вторая, скорее всего сложнее и "на любителя". Я бы посмотрел в сторону эклипса.
Фишка не в счастье что купил, а как раз в том нравится тебе игра или нет :) Ну для меня, по крайней мере. Мне лично не надо сто градаций. Мне надо знать понравилась ли игра людям которым я доверяю (ну или бешеному количеству людей) или нет и насколько. Этого вполне достаточно что решить интересоваться дальше или забыть. Все равно каждый принимает решения сам на основании собственных тараканов
У тебя даже тараканы играм оценки ставят? ;)
тогда манчкин точно возглавит рейтинг тесеры, т.к. "нра" у него буден больше чем у TW ST (например)
И любой новый для настолок человек пришедший на тесеру за тем, чтобы узнать какие игры лучшие видит этот рейтинг и бежит в магаз за "лучшей игрой".
Критериев должно быть только два:
- оценка по несколькобальной шкале, отражающая, насколько нравится
- и количество оценивавших эту игру.
всё. никаких других критериев оценок не нужно.
нужны градация по жанрам и комментарии/отзывы/рецензии.
этого вполне достаточно для составления представления об игре.
к чему вся эта дискуссия?
Пришла в голову мысль - принять за 100% сумму оценок одного конкретного пользователя. И чем большему количеству игр ставит оценки, тем меньше эти оценки значат. Т.е. накидал одной игре одних десяток - ну ок, может, это игра всей его жизни. Накидал еще одной - ненене Дэвид Блэйн, игра всей жизни может быть только одна - и все его 10-ки превращаются в 9.9. И так далее.
И нужно будет ходить со старых игр лайки убирать, чтобы на новые поставить!