Тятя, тятя, наши сети...

[infist_xxi]

... приволокли новый массив данных для анализа.

Итак,
за период с 1 июня 2010 года по 1 июня 2011
500 топовых блогеров (по количеству френдов на 05.06.2011) написало 276 488 открытых постов, получило на них 10 066 972 комментариев от 316 277 неанонимных читателей.

Т.е. данные вот этой публикации можно признавать морально устаревшими и ждать новых

Comments

[dmitryanon]

Ждем с нетерпением

[simmons_fan]

Сижу в Carnegie Mellon University и осваиваю методологию анализа подобного количества текстов и их превращения в сети.

[infist_xxi]

Текстов у меня нет :( Хотя если каменты первого уровня брать - они есть.

[psi_bg]

А можно вопрос не по теме?
Встала передо мной задачка: сделать автоматическую генерацию тегов к новостям. Т.е. на вход - заголовок и текст, на выходе - набор слов и словосочетаний (что важно, потому что сложнее) с основными сущностями, упоминаемыми в новости.
Словосочетанием для простоты будем считать пары "существительное-существительное" (курс доллара) и "прилагательное-существительное" (кишечная инфекция).

Не встречалось ли вам описание алгоритма для такого анализа?
Я вчера поразмыслил, набросал свою версию, но наверняка должен быть готовый вариант: задача-то не выглядит специфической.

[infist_xxi]

Алгоритма не встречал, думаю надо посмотреть в различных публикациях Яндекса, публикациях по автоматическому аннотированию текстов и пр.

Тут мне кажется два подхода. Либо семантический, с учетом структуры языка - это надо иметь серьезные познания в лингвистике. Либо статистический - тут можно подумать если есть большая база текстов для обучения (например, построить матрицу межсловных расстояний для выделения устоявшихся словосочетаний, посчитать частоты и пр.).

PS. На хабре видел какой-то пост из песочницы, который описывает алгоритм классификации текстов на основе символьных (не словарных!) цепочек. Это не в тему, но так...

[psi_bg]

У меня получилась смесь того и другого. Примерно так:
1) выделить блоки текста, разделенные знаками препинания
2) привести все слова к начальной форме, определить часть речи (для этого есть готовые инструменты, например яндексовский mystem)
3) найти в каждом блоке по шаблонам слова и словосочетания - теги
4) посчитать для тегов TF (можно еще и IDF)
5) взять N тегов с наибольшим весом.

[infist_xxi]

Ну я сам так делал в точности, но я это делал для слов, а как выделять словосочетания без матрицы расстояний? какие шаблоны? структура предложений или что? В этом мне кажется самая заморочка. Дальше то все просто.

Я бы еще отдельно увеличивал веса именам собственным - фамилии, названия, аббревиатуры. Скорее всего частота у них будет небольшая, а контекст они определяют сильно.

И IDF тоже надо, да.

[22sobaki]

Прошу прощения, не совсем по теме.
Есть способ узнать, насколько пересекаются аудитории определенного пользователя и определенного сообщества?

[infist_xxi]

Наверное есть, но я давно не занимался этим вопросом и не могу сказать точно.