О Coursera Global Skills Index (модели компетенций) и практическом использовании машинного обучения
Партнерская конференция Coursera Partners Conference одно из самых ожидаемых международных событий года в образовательном мире. Сorsera, задающая тренды в онлайн-образовании и в этот раз удивила всех участников, представив то, о чем все много лет говорили, мечтали, но никогда прежде не видели - Global Skills Index, а по-русски говоря модель компетенций и способы определения уровней владения компетенциями, на основании данных, собираемых платформой о пройденных обучениях человека.
Кажется, начинается исполняться мечта команды ФРОО о предоставлении возможности человеку спроектировать его траекторию развития и согласно ей получить качественное, нужные в моменте и перспективе знания для реализации своих целей! Мы и сегодня стремимся выстраивать рекомендации по "маршруту" получения знаний и навыков для наших студентов, но развитие модели компетенций позволит формировать долгосрочные программы развития человека.
Сегодня в России вопросами развития человеческого потенциала наиболее активно занимаются наши уважаемые партнеры АНО "Университет 20.35", мы попросили дать несколько комментариев по итогам конференции технического директора АНО "Университет 20.35" Тараса Пустового.
Конференция Coursera , которая шла на прошлой неделе в Лондоне, приятно порадовала и удивила.
После 7 лет сбора данных и трех лет анализа, Coursera представила Global Skills Index (далее по тексту я в качестве русскоязычного аналога слова skill буду использовать слово компетенция, не вкладывая в него никакого другого тайного смысла).И у этой новости есть два важных следствия.
1) Coursera, сильно увеличив свою Data Science команду в последние 2 года, наконец-то начала обрабатывать свои данные. В качестве первого же результата они выдали то, о чем все очень много говорили и ждали - свою модель компетенций + способ пересчета уровня владений этими компетенциями всеми пользователями на их платформе (а там их 40 млн сейчас).
Базовые принципы в нее были заложены весьма простые: берем уже созданную кем-то таксономию (в данном случае рубрикатор википедии), и для некоторых областей причесываем ее при помощи экспертов. В их случае получилось пятиуровневая модель.
А вот дальше уже интереснее.
С одной стороны, нужно разметить контент и задания по элементам этой таксономии. Они делали это в два захода: сначала анализировали тексты заданий, для неанглоязычного контента автоматически переводя его на английский язык. А потом использовали краудсорсинг: спрашивая для каждого элемента контента у преподавателей, чему они учат, а для студентов - чему они (по их мнению) учатся.
С другой стороны, сняв с работодателей описания/названия профессий и карьерных целей, они, используя тексты с сайтов вакансий, сделали разметку компетенций по карьерным целям. И теперь, выбирая свою цель и направления развития, обучающийся узнает компетенции, которые ему нужны и получает персонализированные рекомендации по контенту. Более того, эти рекомендации начинают преследовать его везде (формируя выдачу поиска, каталог курсов, карусель на главной, и так далее)
Ну и на финальном этапе стояла задача для каждого обучающегося посчитать выраженность уровень развития компетенции в каждый момент времени.
Они для этого искали модель, которая должна была обладать рядом критериев: учитывать, что компетенции развиваются во времени, быть объяснимой и быть приемлемой по вычислительным ресурсам для регулярного пересчета значений. После ряда проб и ошибок пришли к модели рейтинга Эло (Elo rating system - ginko variant).
Если пояснять очень на пальцах (да простят меня специалисты) - то это турнир, где обучающиеся сражаются против заданий. Если обучающийся решает задание, у которого математическое ожидание уровня сложности компетенции, выше математического ожидания его личного уровня развития этой же компетенции, то его уровень развития этой компетенции растет. И так для всех заданий и для всех пользователей на платформе. На картинке заметно что в случае этой модели результаты получаются достаточно устойчивыми относительно количества попыток решений. Количество попыток прохождения заданий для популярных компетенций составляет десятки миллионов.
При этом важно понимать что само значение рейтинга является относительным, и один и тот же уровень развития компетенций при разных пересчетах может иметь разные абсолютные значения. Для особо любопытных фото с формулой.
2) И вот с такими посчитанными, и постоянно обновляемыми данными можно делать много интересных вещей.
На макроуровне, например, можно: сравнивать страны по развитию уровней компетенций, показывать зависимость уровня процветания (ВВП) в стране от развития компетенций, говорить о том, какие навыки являются критически важными в каких областях, какие компетенции наиболее востребованные сейчас и какие в тренде.
Не менее интересные вещи можно делать и на микроуровне. От поиска обучающихся с лучшими компетенциями в конкретных областях, до поиска скрытых талантов и предложения им сфер деятельности, в которых они могли бы быть максимально успешны.
Источник