Секреты ЖЖ - 32. Индексирование блогов поисковыми системами
Индексирование блогов в жж идет весьма своеобразно.
На эту тему даже есть такой вопрос в справке жж: "Вопрос № 50. Почему записи попадают или не попадают в поисковые системы?"
Там есть такая бодрая фраза: "Если значение директивы Disallow содержит только знак / ("слэш"), то это значит, что все содержимое вашего журнала запрещено к индексации. Данный запрет введен в LiveJournal для журналов с малым весом в рамках программы по борьбе со спамом. Он снимается автоматически по мере увеличения интереса к журналу со стороны других пользователей".
И еще: "В целях борьбы со спамом и манипуляцией выдачи результатов в поисковых системах сторонних ресурсов для пользователей базовых и улучшенных аккаунтов ко всем ссылкам в записях и комментариях автоматически проставляется атрибут rel="nofollow".
В частности, страница индексации для роботов-индексировщиков в жж выглядит таким образом:
Фрагмент страницы robots.txt моего блога (картинка обрезана снизу, там еще километр Disallow):
И к чему это все приводит?
А посмотрим, как находятся посты моего блога в поисковых системах. Например, поищем ссылки на мои посты про рейтинг блогеров Уфы: "Топ-25 рейтинга блогеров Уфы"
"Добрый" Яндекс выдает кучу репостов на мой пост, причем ссылки на сам мой пост в первой странице выдачи не наблюдается вообще. Угадайте с трех раз, кому достанется трафик просмотра от поисковых систем?
Гугл правда немного полояльнее, хоть поставил мой пост в выдаче на 4-е место, после его репостов. Спасибо хоть за это.
На эту тему даже есть такой вопрос в справке жж: "Вопрос № 50. Почему записи попадают или не попадают в поисковые системы?"
Там есть такая бодрая фраза: "Если значение директивы Disallow содержит только знак / ("слэш"), то это значит, что все содержимое вашего журнала запрещено к индексации. Данный запрет введен в LiveJournal для журналов с малым весом в рамках программы по борьбе со спамом. Он снимается автоматически по мере увеличения интереса к журналу со стороны других пользователей".
И еще: "В целях борьбы со спамом и манипуляцией выдачи результатов в поисковых системах сторонних ресурсов для пользователей базовых и улучшенных аккаунтов ко всем ссылкам в записях и комментариях автоматически проставляется атрибут rel="nofollow".
В частности, страница индексации для роботов-индексировщиков в жж выглядит таким образом:
Фрагмент страницы robots.txt моего блога (картинка обрезана снизу, там еще километр Disallow):
И к чему это все приводит?
А посмотрим, как находятся посты моего блога в поисковых системах. Например, поищем ссылки на мои посты про рейтинг блогеров Уфы: "Топ-25 рейтинга блогеров Уфы"
"Добрый" Яндекс выдает кучу репостов на мой пост, причем ссылки на сам мой пост в первой странице выдачи не наблюдается вообще. Угадайте с трех раз, кому достанется трафик просмотра от поисковых систем?
Гугл правда немного полояльнее, хоть поставил мой пост в выдаче на 4-е место, после его репостов. Спасибо хоть за это.