R
Увидев пост на реддите Analysis of texts from a long distance relationship , я подумал что тоже смог бы провернуть такую фигню. Тем более, что история переписки у меня есть куда более длинная. Наверно, там и будут более интересные кореляции. Что ж, посмотрим.
Для этого нам нужно всего ничего: как-то выгрузить историю сообщений и научиться рисовать графики в R.
Самый простой пример подобного анализа я нашел в посте Tutorial: Exporting and graphing messages from WhatsApp
Теперь мы знаем, в каком формате нам нужны данные. Осталось всего ничего: как-то их извлечь.
Т.к вотсапом и аймесседж я не пользуюсь, то способы извлечения сообщений, предложенные в постах выше, мне не годились. Но у меня есть суперсила в виде Java. Говнокодим нашу первую прогу для дата майнинга.
С телегой оказалось все просто - экспортируем историю через клиент и просто парсим html
С вк тоже оказалось все просто. Пролне дружелюбный апи дает выгрузить без проблем всю переписку. Всего час, я пытался сделать авторизацию полностью автоматической, но потом забил оставил в полуручном режиме. Ведь пишем мы говнокод и программа должна соответствовать его крайне низним стандартам.
Позже я даже упоролся и нашел какие-то куски текстовых файлов с историей из квипа. А потом упоролся еще и даже спарсил ее, но как оказалось по такой обрывочной истории норм статистику не соберешь.
Едем дальше: смотрим несколько видосов по R и ggplo2, много гуглим, еще больше пробуем и ошибаемся.
В итоге имеем дата сет из 218 000 сообщения с 2011 года.
И так общая история отправленных мною сообщений.
Явно видно, что в последнее время я переехал в телегу, а последний всплеск вк обеспечен перепиской с kate.
Что стал сильно меньше сидеть в мессенжерах после переезда в питер в 2015
Что в походах по Грузии и Испании было мало интернета - 2 спада в конце 17, начала 2018, а вот поход на Эльбрус был лайтовым и там спада почти не было.
Дальше смотрим на мой словарный запас и видим, что я далеко на Эзоп. Но хотя бы ыы перестал говорить еще в 2014.
Сразу заметно, что я знатный спамер. Но хотя бы в 2016 начал предохраняться и перешел на https (шутки за 300)
Ожидаемо часто встречается кино и фильм и много всего про работу.
в 2018 в тренды попали собес и резюме - т.к сначала я долго искал к нам сотрудников, а потом долго сваливал сам.
via GIPHY
А так выглядят мои типичные отношения с дамами в 2018
Знакомство в походе, резкий всплеск уже на родине, совместная поездка за город и отношения умирают за 1-2 месяца
А так выглядит многолетняя дружба. Даже когда общение казалось бы затихало - оно продолжало жить. Хочется надеяться, то дальше так и будет :)
Для этого нам нужно всего ничего: как-то выгрузить историю сообщений и научиться рисовать графики в R.
Самый простой пример подобного анализа я нашел в посте Tutorial: Exporting and graphing messages from WhatsApp
Теперь мы знаем, в каком формате нам нужны данные. Осталось всего ничего: как-то их извлечь.
Т.к вотсапом и аймесседж я не пользуюсь, то способы извлечения сообщений, предложенные в постах выше, мне не годились. Но у меня есть суперсила в виде Java. Говнокодим нашу первую прогу для дата майнинга.
С телегой оказалось все просто - экспортируем историю через клиент и просто парсим html
С вк тоже оказалось все просто. Пролне дружелюбный апи дает выгрузить без проблем всю переписку. Всего час, я пытался сделать авторизацию полностью автоматической, но потом забил оставил в полуручном режиме. Ведь пишем мы говнокод и программа должна соответствовать его крайне низним стандартам.
Позже я даже упоролся и нашел какие-то куски текстовых файлов с историей из квипа. А потом упоролся еще и даже спарсил ее, но как оказалось по такой обрывочной истории норм статистику не соберешь.
Едем дальше: смотрим несколько видосов по R и ggplo2, много гуглим, еще больше пробуем и ошибаемся.
В итоге имеем дата сет из 218 000 сообщения с 2011 года.
И так общая история отправленных мною сообщений.
Явно видно, что в последнее время я переехал в телегу, а последний всплеск вк обеспечен перепиской с kate.
Что стал сильно меньше сидеть в мессенжерах после переезда в питер в 2015
Что в походах по Грузии и Испании было мало интернета - 2 спада в конце 17, начала 2018, а вот поход на Эльбрус был лайтовым и там спада почти не было.
Дальше смотрим на мой словарный запас и видим, что я далеко на Эзоп. Но хотя бы ыы перестал говорить еще в 2014.
Сразу заметно, что я знатный спамер. Но хотя бы в 2016 начал предохраняться и перешел на https (шутки за 300)
Ожидаемо часто встречается кино и фильм и много всего про работу.
в 2018 в тренды попали собес и резюме - т.к сначала я долго искал к нам сотрудников, а потом долго сваливал сам.
via GIPHY
А так выглядят мои типичные отношения с дамами в 2018
Знакомство в походе, резкий всплеск уже на родине, совместная поездка за город и отношения умирают за 1-2 месяца
А так выглядит многолетняя дружба. Даже когда общение казалось бы затихало - оно продолжало жить. Хочется надеяться, то дальше так и будет :)