Комментарии: Современные реалии Яндекса или правильный robots.txt

Автор: Антон

Антон — Mon, 29 Nov 2010 06:12:35 +0000

можно и так, тот же результат

Автор: Константин

Константин — Sun, 28 Nov 2010 12:49:59 +0000

А как оно будет, если вместо этих команд:

Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

использовать одну:

Disallow: /wp-content

и добавочку:

Allow: /wp-content/uploads

Автор: Антон

Антон — Sun, 17 Oct 2010 12:23:35 +0000

я не закрываю, для избежания дублирования пользуюсь тегом more

Автор: Алексей

Алексей — Sun, 17 Oct 2010 10:41:28 +0000

А я хотел спросить: ставить Disallow:/page/ нужно, ведь это поможет от дублей страниц??

Автор: nofollow

nofollow — Fri, 19 Mar 2010 23:10:14 +0000

Совершенно верно. В приведённом мною варианте все роботы скушают «стандартные» команды, а нестандартную – лишь Яндекс.

п.с. кстати, гугл на команду хост – не ругается (в отличие, к примеру, от Crawl-delay).

Автор: Антон

Антон — Fri, 19 Mar 2010 07:13:27 +0000

ну, вообще, директиву host понимает только Яндекс

Автор: nofollow

nofollow — Thu, 18 Mar 2010 22:13:57 +0000

А зачем дважды писать (в роботах) одно и то же – для всех и для Яндекса лично? Чтобы задобрить?
Т.е. почему не нравится так:
—
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /clickheat/
Disallow: */comment-page-*
Disallow: /xmlrpc.php
Disallow: /20*
Disallow: */*?replytocom*
Host: antonblog.ru
===

Автор: Антон

Антон — Wed, 03 Mar 2010 06:47:51 +0000

тут каждый сам решает как лучше…

Автор: Xstroy

Xstroy — Wed, 03 Mar 2010 05:28:42 +0000

Ты закрываешь feed, а Гугл наоборот просит оставлять его открытым для лучшей индексации.
У меня на блогах ничего не закрыто и полная индексация и тегов, и архивов. Самый важный фактор – постоянная регулярная подача материала.

Автор: Антон

Антон — Thu, 25 Feb 2010 06:32:27 +0000

по моим наблюдениям, если сайт не сильно трастовый, то есть ощутимая разница