Много читаю на эту тему и задаю вопросы на форуме и получаю один и тот же ответ. Если не знаешь как настроить robots.txt то ставь стандартный. В том то и соль, что каждый прописывал стандарт по своему и так и не понял какой стандартный. Но теперь можно сделать его, так чтоб он сам приглашал ботов, чтоб проиндексировали материал.
Приглашение состоит из User-agent: что вы можете заметить у себя в самом первой строке. Основном идет со звездочкой, это означает, что ресурс открыт для всех поисковых роботов, это как яндекс или гугл как основные, а дальше майл и рамблер.
Это выглядит так: User-agent: *
Но нам нужно пригласительные раздать, чтоб пришли обязательно, а то мы просто открыли дверь, а там зайдет или не зайдет не от нас зависит.
Приглашение для поиска якдекс, так выглядит.
User-agent: Yandex
Вы спросите где прописать и это правильно из главных.
Делаем так:
Код
User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte
User-agent: *
Allow: /*?page*
Disallow: /a/
Disallow: /api/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /*?*
Sitemap: http://zornet.ru/sitemap.xml
Sitemap: http://zornet.ru/sitemap-forum.xml
И проверяем веб мастере яндекса.
И проверяем, будет ли все нормально.
Это то что нам нужно.
Но не забываем, что есть и пригласительный билет для гугл, смотрим.
Код
User-agent: Googlebot
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/11
Disallow: /index/14
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /secure
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /*&
Если вы будете ставить оба, то вам нужно, чтоб в низу были Sitemap:
Можно к примеру дописывать самому разделы или категорий, это будет так если есть такая категория как Новости игр.
Disallow: /news/novosti_igry/
Вообщем смотрим этот robots.txt чтоб было понятно.
