Комментарии: Современные реалии Яндекса или правильный robots.txt

Автор: nofollow

nofollow — Fri, 19 Mar 2010 23:10:14 +0000

Совершенно верно. В приведённом мною варианте все роботы скушают «стандартные» команды, а нестандартную – лишь Яндекс.

п.с. кстати, гугл на команду хост – не ругается (в отличие, к примеру, от Crawl-delay).

Автор: Антон

Антон — Fri, 19 Mar 2010 07:13:27 +0000

ну, вообще, директиву host понимает только Яндекс

Автор: nofollow

nofollow — Thu, 18 Mar 2010 22:13:57 +0000

А зачем дважды писать (в роботах) одно и то же – для всех и для Яндекса лично? Чтобы задобрить?
Т.е. почему не нравится так:
—
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /clickheat/
Disallow: */comment-page-*
Disallow: /xmlrpc.php
Disallow: /20*
Disallow: */*?replytocom*
Host: antonblog.ru
===

Автор: Антон

Антон — Wed, 03 Mar 2010 06:47:51 +0000

тут каждый сам решает как лучше…

Автор: Xstroy

Xstroy — Wed, 03 Mar 2010 05:28:42 +0000

Ты закрываешь feed, а Гугл наоборот просит оставлять его открытым для лучшей индексации.
У меня на блогах ничего не закрыто и полная индексация и тегов, и архивов. Самый важный фактор – постоянная регулярная подача материала.

Автор: Антон

Антон — Thu, 25 Feb 2010 06:32:27 +0000

по моим наблюдениям, если сайт не сильно трастовый, то есть ощутимая разница

Автор: Антон

Антон — Thu, 25 Feb 2010 06:30:21 +0000

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /author*

эти файлы у меня в теме не индексируются и так, а это:
Disallow: */*?replytocom* – при древовидных комментариях лишние страницы появляются
Disallow: /clickheat/ – карта кликов сайта (попробуйте demo demo)

Автор: Sergey

Sergey — Wed, 24 Feb 2010 19:43:50 +0000

Я считаю, что АГС’у вообще без разницы есть или нету robots.txt на хостинге.

Автор: Лаура

Лаура — Wed, 24 Feb 2010 15:43:52 +0000

Может быть добавить еще и это? Как считаешь?

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /author*
Disallow: /*?*
Disallow: /*?

А вот это что делает?

Disallow: */*?replytocom*
Disallow: /clickheat/

Автор: Антон

Антон — Wed, 24 Feb 2010 12:46:01 +0000

я только сегодня видео заметил