Небольшое "исследование" на тему
Я хотел выставить этот пост еще до Кубка Украины, но полагаю, что сейчас он был бы менее неуместен.
Не секрет, что наиболее частым поводом для споров в ЧГК-сообществе является основное понятие самой игры, а именно "Что такое вопрос ЧГК?" или скорее "Что такое хороший вопрос ЧГК?". Большое количество определений дается в литературе посвященной игре, да и практически в каждом массовом холиваре эти определения заново изобретаются. Под эти определения подводится теоретическая база, вводятся понятия "минимальное необходимое знание", "минимальное достаточное знание" и пр. Все эти определения сводятся к двум характеристикам:
- они априорные (т.е. рассуждения, применяемые для определения качества вопросов применимы вне зависимости от того, был ли данные вопрос сыгран или находится в стадии написания\тестирования)
- они носят эстетический характер, т.е. отражают представление игрока (или лидеров мнения среди игроков) о том, приятен или нет процесс взятия\невзятия этого вопроса.
Безусловно, сам процесс обсуждения есть той изюминкой, что привлекает людей играть в ЧГК: радость от того, что тебе удалось раскусить (в меньшей степени вспомнить) загадку, досада, что этого сделать не удалось, вперемешку с восхищением красотой задумки автора, - эти эмоции и есть тем наркотиком, ради которых многие отказываются от личной жизни, карьеры, тратят деньги и свободное время. Однако у спортивного ЧГК есть еще один аспект: спортивная сторона.
Желание померяться длиной ленточки и цветом медали на ней - важный элемент игры, который зачастую превалирует над всем остальным. Поэтому при оценке качества одного вопроса (или целого пакета) необходимо принимать во внимание его спортивную функцию. Что же такое "хороший вопрос(пакет)" со спортивной точки зрения?
Для начала я попробую привести предложить вот такое, практически самоочевидное определение: "Хороший вопрос - это вопрос, на котором более сильная команда показывает свое преимущество над более слабой". Это определение сразу вызывает встречный вопрос: что же такое "сильная" и "слабая" команда? Попытка определить "силу" команды как умение отвечать на вопросы ЧГК заставляет либо вспомнить о сепульках, либо использовать то самое гуманитарное определение вопроса из кодекса, все эти "элементы размышления", "метафоричность" и пр. Чтобы абстрагироваться от оценочного суждения, я попробую поставить задачу о сферическом вопросе в вакууме (напомню, что СКвВ это излишне упрощенная, максимально далекая от реальности модель, а вовсе не идеальный пример чего-либо).
Итак, ограничимся такими начальными условиями:
- есть эталонный пакет вопросов ЧГК, который, в силу нашей безграничной веры в закон больших чисел, являет собой в большинстве случаев пакет вопросов именно ЧГК.
- сила команды определяется количеством взятых вопросов на данном пакете, вне зависимости от априорных оценок (рейтинга МАК, места в каком-нибудь чемпионате, состава, ментальной связи с редактором пакета и организаторами турнира и т.д.)
В таких условиях уточним ранее данное определение: "хорошим вопросом в данном пакете является вопрос, на котором сильные команды (те, что взяли больше вопросов на всем пакете) подтвердили свое преимущество над слабыми (т.е. взявшими меньшее количество на всем пакете)". Еще раз напомню, что понятие "силы" применимо исключительно к данному пакету, т.е., к примеру, на недавнем Чемпионате России, занявшая 10-е место "Афина" была более слабой командой, нежели "Биркиркара", несмотря на объективные обстоятельства. Эти обстоятельства, наверняка весомые, которые стали причиной столь необычного распределения силы команд, не рассматриваются в данной модели. Только отыгранный пакет является в ней критерием. Да, вышесказанного уже достаточно, чтобы с полным правом сказать, что модель настолько далека от реальности, что ее незачем и рассматривать, но на полдороги останавливаться не хочется. :)
Что в данном случае является "подтверждением преимущества"? Если есть две команды, и команда А сильнее команды Б, то вопрос, который команда А взяла, а Б - нет, является хорошим, а вопрос, взятый Б и невзятый А - плохим. Вопрос, который взяли или не взяли одновременно обе команды для простоты отнесем к хорошим, ведь несмотря на то, что таким образом сократилась дистанция, этот вопрос не повлиял на итоговую картину. Из этого допущения, кстати, следует на первый взгляд крамольная мысль: со спортивной точки зрения "гроб"\"детский вопрос" или почти ставший таковым является скорее хорошим вопросом, нежели плохим. Но крамола здесь проистекает из "эстетической характеристики", мол как же так, шансов-то взять оказывается и не было, а команды пыжились или наоборот, у всех на столах было по 6 пальцев, зачем такое задавать? С точки зрения соревнования между участниками, эти вопросы просто очерчивают круг тех вопросов, на которых происходит борьба, не вмешиваясь в нее. Не забываем, кстати, что у нас вроде как эталонный пакет ЧГК и процент таковых вопросов весьма невелик. Во всяком случае, их всегда при дальнейшем анализе можно в расчет не брать.
А вот с плохими-то вопросами все куда проще. Очевидно, что если лидеры турнира дружно облажались на вопросе, который не стал камнем преткновения для аутсайдеров, значит он заслуживает пристального внимания, в нем скорей всего что-то не то, в контексте пакета, конечно.
Я еще раз хочу подчеркнуть, главным допущением является, скажем так, "идеальность" пакета. Если для анализа выбрать пакет из 90 вопросов внешнего тестирования школьников, то едва ли победителями турнира станут те, кто лучше играют в ЧГК, и затесавшийся среди этих 90 вопросов настоящий вопрос ЧГК скорее всего получит "плохую" оценку. На пакете с большим количеством ЧЗВЧГКНи произойдет автокорелляция: победителями станут те, кто знает больше и соответственно "хорошими" вопросами - самых махровые знайки.
Итак, каким же образом считать "рейтинг нехорошести вопроса"? Возьмем ту же ситуацию с двумя командами, более сильная команда вопрос не взяла, более слабая взяла. Если поменять местами "плюс" и "минус" в табличке, вопрос сразу станет хорошим. Эта замена дает такому вопросу рейтинг 1. Если есть 3 команды и вопрос взяла третья, а первая и вторая - нет, то два обмена плюсов и минусов сделают из вопроса хороший. На картинке пара примеров подсчета.
Минимальное значение величины рейтинга 0 (гроб и детский имеют, к примеру такое значение), максимальное - N*N/2(для четных N), где N - количество команд. Максимальным значением будут обладать вопросы, взятые нижней половиной таблицы и невзятые верхней, но если честно, не припомню ни единого подобного вопроса. Собственно, вопросы с высоким значением рейтинга и будут предметом дальнейшего пристального исследования.
Кстати, если команды показали на пакете одинаковый результат, то возникает дилемма, считать ли вопрос, на котором команды разошлись хорошим или плохим (т.е. ставить рейтинг 1 или 0 такому вопросу)? Впрочем, учитывая количество команд, сколь-нибудь существенного влияния на общий рейтинг вопроса любое из решений не оказывает(доказательство оставим как домашнее задание!).
Тут то и пришло время продемонстрировать практический результат. Собственно, ради процесса его достижения и писались все предыдущие "умозаключения".
За основу возьмем пакет Кубка Украины. Да, оценки этому пакету даны не бог весть какие, количество простеньких вопросов достаточно велико, но для начала сойдет. Итак, перегоняем любезно предоставленную табличку в текстовый файл с плюсиками, подключаем python и вперед.
Беглый взгляд на табличку говорит, что лидерами являются три вопроса:
8-й: свояк по астрономии, без знания которого чистая коломна.
58-й: коломна, на мой взгляд, весьма нетипичная для этого пакета
59-й: "жировой эфир"
Конечно, если бы обнаружилась явная корелляция между оценкой вопросов в канделябре и величиной рейтинга неспортивности, можно было бы о чем-то говорить. Но эта статистику неплохо было бы проверить на более адекватных пакетах.
UPD: эта ветка очень символична. Спор об эстетике вопроса бесконечен.
Не секрет, что наиболее частым поводом для споров в ЧГК-сообществе является основное понятие самой игры, а именно "Что такое вопрос ЧГК?" или скорее "Что такое хороший вопрос ЧГК?". Большое количество определений дается в литературе посвященной игре, да и практически в каждом массовом холиваре эти определения заново изобретаются. Под эти определения подводится теоретическая база, вводятся понятия "минимальное необходимое знание", "минимальное достаточное знание" и пр. Все эти определения сводятся к двум характеристикам:
- они априорные (т.е. рассуждения, применяемые для определения качества вопросов применимы вне зависимости от того, был ли данные вопрос сыгран или находится в стадии написания\тестирования)
- они носят эстетический характер, т.е. отражают представление игрока (или лидеров мнения среди игроков) о том, приятен или нет процесс взятия\невзятия этого вопроса.
Безусловно, сам процесс обсуждения есть той изюминкой, что привлекает людей играть в ЧГК: радость от того, что тебе удалось раскусить (в меньшей степени вспомнить) загадку, досада, что этого сделать не удалось, вперемешку с восхищением красотой задумки автора, - эти эмоции и есть тем наркотиком, ради которых многие отказываются от личной жизни, карьеры, тратят деньги и свободное время. Однако у спортивного ЧГК есть еще один аспект: спортивная сторона.
Желание померяться длиной ленточки и цветом медали на ней - важный элемент игры, который зачастую превалирует над всем остальным. Поэтому при оценке качества одного вопроса (или целого пакета) необходимо принимать во внимание его спортивную функцию. Что же такое "хороший вопрос(пакет)" со спортивной точки зрения?
Для начала я попробую привести предложить вот такое, практически самоочевидное определение: "Хороший вопрос - это вопрос, на котором более сильная команда показывает свое преимущество над более слабой". Это определение сразу вызывает встречный вопрос: что же такое "сильная" и "слабая" команда? Попытка определить "силу" команды как умение отвечать на вопросы ЧГК заставляет либо вспомнить о сепульках, либо использовать то самое гуманитарное определение вопроса из кодекса, все эти "элементы размышления", "метафоричность" и пр. Чтобы абстрагироваться от оценочного суждения, я попробую поставить задачу о сферическом вопросе в вакууме (напомню, что СКвВ это излишне упрощенная, максимально далекая от реальности модель, а вовсе не идеальный пример чего-либо).
Итак, ограничимся такими начальными условиями:
- есть эталонный пакет вопросов ЧГК, который, в силу нашей безграничной веры в закон больших чисел, являет собой в большинстве случаев пакет вопросов именно ЧГК.
- сила команды определяется количеством взятых вопросов на данном пакете, вне зависимости от априорных оценок (рейтинга МАК, места в каком-нибудь чемпионате, состава, ментальной связи с редактором пакета и организаторами турнира и т.д.)
В таких условиях уточним ранее данное определение: "хорошим вопросом в данном пакете является вопрос, на котором сильные команды (те, что взяли больше вопросов на всем пакете) подтвердили свое преимущество над слабыми (т.е. взявшими меньшее количество на всем пакете)". Еще раз напомню, что понятие "силы" применимо исключительно к данному пакету, т.е., к примеру, на недавнем Чемпионате России, занявшая 10-е место "Афина" была более слабой командой, нежели "Биркиркара", несмотря на объективные обстоятельства. Эти обстоятельства, наверняка весомые, которые стали причиной столь необычного распределения силы команд, не рассматриваются в данной модели. Только отыгранный пакет является в ней критерием. Да, вышесказанного уже достаточно, чтобы с полным правом сказать, что модель настолько далека от реальности, что ее незачем и рассматривать, но на полдороги останавливаться не хочется. :)
Что в данном случае является "подтверждением преимущества"? Если есть две команды, и команда А сильнее команды Б, то вопрос, который команда А взяла, а Б - нет, является хорошим, а вопрос, взятый Б и невзятый А - плохим. Вопрос, который взяли или не взяли одновременно обе команды для простоты отнесем к хорошим, ведь несмотря на то, что таким образом сократилась дистанция, этот вопрос не повлиял на итоговую картину. Из этого допущения, кстати, следует на первый взгляд крамольная мысль: со спортивной точки зрения "гроб"\"детский вопрос" или почти ставший таковым является скорее хорошим вопросом, нежели плохим. Но крамола здесь проистекает из "эстетической характеристики", мол как же так, шансов-то взять оказывается и не было, а команды пыжились или наоборот, у всех на столах было по 6 пальцев, зачем такое задавать? С точки зрения соревнования между участниками, эти вопросы просто очерчивают круг тех вопросов, на которых происходит борьба, не вмешиваясь в нее. Не забываем, кстати, что у нас вроде как эталонный пакет ЧГК и процент таковых вопросов весьма невелик. Во всяком случае, их всегда при дальнейшем анализе можно в расчет не брать.
А вот с плохими-то вопросами все куда проще. Очевидно, что если лидеры турнира дружно облажались на вопросе, который не стал камнем преткновения для аутсайдеров, значит он заслуживает пристального внимания, в нем скорей всего что-то не то, в контексте пакета, конечно.
Я еще раз хочу подчеркнуть, главным допущением является, скажем так, "идеальность" пакета. Если для анализа выбрать пакет из 90 вопросов внешнего тестирования школьников, то едва ли победителями турнира станут те, кто лучше играют в ЧГК, и затесавшийся среди этих 90 вопросов настоящий вопрос ЧГК скорее всего получит "плохую" оценку. На пакете с большим количеством ЧЗВЧГКНи произойдет автокорелляция: победителями станут те, кто знает больше и соответственно "хорошими" вопросами - самых махровые знайки.
Итак, каким же образом считать "рейтинг нехорошести вопроса"? Возьмем ту же ситуацию с двумя командами, более сильная команда вопрос не взяла, более слабая взяла. Если поменять местами "плюс" и "минус" в табличке, вопрос сразу станет хорошим. Эта замена дает такому вопросу рейтинг 1. Если есть 3 команды и вопрос взяла третья, а первая и вторая - нет, то два обмена плюсов и минусов сделают из вопроса хороший. На картинке пара примеров подсчета.
Минимальное значение величины рейтинга 0 (гроб и детский имеют, к примеру такое значение), максимальное - N*N/2(для четных N), где N - количество команд. Максимальным значением будут обладать вопросы, взятые нижней половиной таблицы и невзятые верхней, но если честно, не припомню ни единого подобного вопроса. Собственно, вопросы с высоким значением рейтинга и будут предметом дальнейшего пристального исследования.
Кстати, если команды показали на пакете одинаковый результат, то возникает дилемма, считать ли вопрос, на котором команды разошлись хорошим или плохим (т.е. ставить рейтинг 1 или 0 такому вопросу)? Впрочем, учитывая количество команд, сколь-нибудь существенного влияния на общий рейтинг вопроса любое из решений не оказывает(доказательство оставим как домашнее задание!).
Тут то и пришло время продемонстрировать практический результат. Собственно, ради процесса его достижения и писались все предыдущие "умозаключения".
За основу возьмем пакет Кубка Украины. Да, оценки этому пакету даны не бог весть какие, количество простеньких вопросов достаточно велико, но для начала сойдет. Итак, перегоняем любезно предоставленную табличку в текстовый файл с плюсиками, подключаем python и вперед.
Беглый взгляд на табличку говорит, что лидерами являются три вопроса:
8-й: свояк по астрономии, без знания которого чистая коломна.
58-й: коломна, на мой взгляд, весьма нетипичная для этого пакета
59-й: "жировой эфир"
Конечно, если бы обнаружилась явная корелляция между оценкой вопросов в канделябре и величиной рейтинга неспортивности, можно было бы о чем-то говорить. Но эта статистику неплохо было бы проверить на более адекватных пакетах.
UPD: эта ветка очень символична. Спор об эстетике вопроса бесконечен.