Страница 1 из 11
Форум про uCoz » Всё для web-мастера » Web мастеру » Как правильно настроить robots.txt на свой сайт ucoz
Как правильно настроить robots.txt на свой сайт ucoz
Kosten
Дата: Воскресенье, 08.02.2015, 20:34 | Сообщение # 1
Администраторы
Сообщений:12696
Награды: 39


Много читаю на эту тему и задаю вопросы на форуме и получаю один и тот же ответ. Если не знаешь как настроить robots.txt то ставь стандартный. В том то и соль, что каждый прописывал стандарт по своему и так и не понял какой стандартный. Но теперь можно сделать его, так чтоб он сам приглашал ботов, чтоб проиндексировали материал.

Приглашение состоит из User-agent: что вы можете заметить у себя в самом первой строке. Основном идет со звездочкой, это означает, что ресурс открыт для всех поисковых роботов, это как яндекс или гугл как основные, а дальше майл и рамблер.

Это выглядит так: User-agent: *

Но нам нужно пригласительные раздать, чтоб пришли обязательно, а то мы просто открыли дверь, а там зайдет или не зайдет не от нас зависит.

Приглашение для поиска якдекс, так выглядит.

User-agent: Yandex

Вы спросите где прописать и это правильно из главных.

Делаем так:

Код
User-agent: Yandex   
Disallow: /a/   
Disallow: /stat/   
Disallow: /index/1   
Disallow: /index/2   
Disallow: /index/3   
Disallow: /index/5   
Disallow: /index/7   
Disallow: /index/8   
Disallow: /index/9   
Disallow: /panel/   
Disallow: /admin/   
Disallow: /secure/   
Disallow: /informer/   
Disallow: /mchat   
Disallow: /search   
Disallow: /shop/order/   
Disallow: /abnl/   
Disallow: /google   
Disallow: /twitter   
Disallow: /facebook   
Disallow: /yandex   
Disallow: /vkontakte   

User-agent: *   
Allow: /*?page*   
Disallow: /a/   
Disallow: /api/   
Disallow: /stat/   
Disallow: /index/1   
Disallow: /index/2   
Disallow: /index/3   
Disallow: /index/5   
Disallow: /index/7   
Disallow: /index/8   
Disallow: /index/9   
Disallow: /panel/   
Disallow: /admin/   
Disallow: /secure/   
Disallow: /informer/   
Disallow: /mchat   
Disallow: /search   
Disallow: /shop/order/   
Disallow: /abnl/   
Disallow: /*?*   

Sitemap: http://zornet.ru/sitemap.xml   
Sitemap: http://zornet.ru/sitemap-forum.xml


И проверяем веб мастере яндекса.



И проверяем, будет ли все нормально.



Это то что нам нужно.

Но не забываем, что есть и пригласительный билет для гугл, смотрим.

Код
User-agent: Googlebot   
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/11
Disallow: /index/14
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /secure
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /*&


Если вы будете ставить оба, то вам нужно, чтоб в низу были Sitemap:

Можно к примеру дописывать самому разделы или категорий, это будет так если есть такая категория как Новости игр.

Disallow: /news/novosti_igry/

Вообщем смотрим этот robots.txt чтоб было понятно.
Прикрепления: 7106580.jpg(26Kb) · 7393729.jpg(10Kb)


Kosten
Дата: Воскресенье, 08.02.2015, 20:49 | Сообщение # 2
Администраторы
Сообщений:12696
Награды: 39


В очередь на индексацию вашего сайта, можно сделать с вашей админ панели.



Просто подключив, эти 3 поиска, хоть и портал уже индексируется, он все равно будет работать и выводить ошибки, как веб мастере любого поисковика.

Прикрепления: 5280557.jpg(16Kb) · 2778320.jpg(26Kb)


Kosten
Дата: Воскресенье, 08.02.2015, 21:29 | Сообщение # 3
Администраторы
Сообщений:12696
Награды: 39


Хочется сказать, что robots.txt - не является продвижением сайта, это только все что качается индексаций материала. Он должен быть понятлив и чтоб в нем не было написано написано много ключевых слов, это от название материала, то роботы могут принять статью или описание за спам и не попадет она в поиск. Но если каким то чудом попадет, то будет за 100 и далее и потом думаю вылетит. Это я прочел на одном CEO блоке и когда подорвал ссылки и писал статьи, у меня было 100% индексации. Но не долго продержалось и 35 постов выкинуло, так как много употреблял ключевые слова.

Вот к примеру, статья называется как правильно стрелять с колена

Вот эти слова становятся автоматически ключевые.

Код
как правильно стрелять с колена


И в описание ими не нужно заигрываться и много раз повторять, это приведет к тому, что ваша статья, будь она будет 3 -5 знаков станет не актуальной. Вот на это нужно обратить внимание, сейчас поисковые системы, особенно яндекс, за этим очень строго следит.


kredit-oformi
Дата: Воскресенье, 08.02.2015, 21:35 | Сообщение # 4
Vip
Сообщений:1953
Награды: 5


Kosten,
Цитата Kosten ()
так как много употреблял ключевые слова.

очень полезная информация
Kosten
Дата: Воскресенье, 08.02.2015, 23:40 | Сообщение # 5
Администраторы
Сообщений:12696
Награды: 39


kredit-oformi, думаю пригодиться cool

Форум про uCoz » Всё для web-мастера » Web мастеру » Как правильно настроить robots.txt на свой сайт ucoz
Страница 1 из 11
Поиск: