• Страница 1 из 1
  • 1
Форум » Записки веб-разработчика » Начинающему вебмастеру » Как правильно прописывать robots.txt
Как правильно прописывать robots.txt
CEREBRUM
Дата: Среда, 2017-04-12, 13:57 | Сообщение 1
Пользователи
Сообщений:654
Награды: 3


Всем привет друзья меня интересует как правельно прописывать Роботс.ТХТ Роскажите плыззз

Все для CS-1.6, CSS, CS-GO
Читы для онлайн игр скачать бесплатно..
Страна: (UA)
no_matter
Дата: Среда, 2017-04-12, 15:40 | Сообщение 2
Проверенные
Сообщений:187
Награды: 2


В ucoz правильный роботс, ничего прописывать не надо.

Выжимайте максимум из download-трафика - тут
Страна: (GE)
CEREBRUM
Дата: Среда, 2017-04-12, 15:45 | Сообщение 3
Пользователи
Сообщений:654
Награды: 3


no_matter, А если нужно вписать "Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически."

Все для CS-1.6, CSS, CS-GO
Читы для онлайн игр скачать бесплатно..
Страна: (UA)
no_matter
Дата: Среда, 2017-04-12, 17:20 | Сообщение 4
Проверенные
Сообщений:187
Награды: 2


CEREBRUM, и в чем проблема прописать эту директиву?

Выжимайте максимум из download-трафика - тут
Страна: (GE)
CEREBRUM
Дата: Среда, 2017-04-12, 17:28 | Сообщение 5
Пользователи
Сообщений:654
Награды: 3


no_matter, но нет у меня роботс в файловом менеджере

Все для CS-1.6, CSS, CS-GO
Читы для онлайн игр скачать бесплатно..
Страна: (UA)
Kosten
Дата: Среда, 2017-04-12, 17:36 | Сообщение 6
Администраторы
Сообщений:18802
Награды: 55


Можно стандартный поставить, но я еще добавил на яндекс.
Страна: (RU)
CEREBRUM
Дата: Среда, 2017-04-12, 17:37 | Сообщение 7
Пользователи
Сообщений:654
Награды: 3


Цитата Kosten ()
Можно стандартный поставить, но я еще добавил на яндекс.


А тут по подробней?!


Все для CS-1.6, CSS, CS-GO
Читы для онлайн игр скачать бесплатно..
Страна: (UA)
Kosten
Дата: Среда, 2017-04-12, 17:58 | Сообщение 8
Администраторы
Сообщений:18802
Награды: 55


CEREBRUM, так можно посмотреть, сейчас скину.
Страна: (RU)
Kosten
Дата: Среда, 2017-04-12, 18:00 | Сообщение 9
Администраторы
Сообщений:18802
Награды: 55


CEREBRUM, здесь мне просто давно рекомендовали поставить и уже установлен пару лет.

Код
User-agent: Yandex  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-  
Host: zornet.ru

User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-

Sitemap: http://zornet.ru/sitemap.xml
Sitemap: http://zornet.ru/sitemap-forum.xml
Страна: (RU)
-SAM-
Дата: Четверг, 2017-04-13, 00:42 | Сообщение 10
Друзья сайта
Сообщений:463
Награды: 18


CEREBRUM, залить файл стандартный, который отдает сервер (да, его нет в файловом менеджере, ибо на uCoz-овских серверах уже изначально правильный robots.txt для сайта), то есть залить его с сервера в файловый менеджер, а потом внести необходимые правки.... а то сейчас насоветуют... лучше в тему на форуме uCoz загляните по этому поводу, чтобы не советовать херни.



Сообщение отредактировал
-SAM- - Четверг, 2017-04-13, 00:48
Страна: (UA)
CEREBRUM
Дата: Четверг, 2017-04-13, 00:54 | Сообщение 11
Пользователи
Сообщений:654
Награды: 3


-SAM-, спасибочки.а то что то сайт в статистике упал было до 300 хостов в день а теперь 100.

Все для CS-1.6, CSS, CS-GO
Читы для онлайн игр скачать бесплатно..
Страна: (UA)
-SAM-
Дата: Четверг, 2017-04-13, 01:03 | Сообщение 12
Друзья сайта
Сообщений:463
Награды: 18


CEREBRUM, так смотреть нужно статистику в вебмастере, бывает вообще серверы uCoz-а начинают шалить, что роботы приходят обход страниц сайта делать, а им - кукиш (типо внутренняя ошибка сервера, не может доступ к странице получить)... я это к тому, что тут вряд ли из-за того, что основной домен сайта в robots.txt указан не был (ибо так всегда в вебмастере писать стало, то есть даже для сайтов, у которых стандартный uCoz-овский домен и правильный robots.txt).

И да, кстати, там идут строки shop - можно ограничиться закрытием всего инет-магазина, если модуля нет подключенного... или вовсе удалить - чем меньше строк в robots.txt, тем меньше роботы тратят время на его изучение (я это к тому, что если модуля нет - строки просто лишние эти, как включать модуль - так и дописать потом нужно будет их самому, а пока - uCoz даёт по умолчанию всем, даже если оно в вашем случае и не используется).




Сообщение отредактировал
-SAM- - Четверг, 2017-04-13, 01:25
Страна: (UA)
Kosten
Дата: Четверг, 2017-04-13, 01:37 | Сообщение 13
Администраторы
Сообщений:18802
Награды: 55


-SAM-, вот у меня такой стоит, просто давно разбирал, но также многие пишут, что стандартный также хороший. Но дело в том, когда этот робос поставил, и не какого обновление не было, у меня появился быстро робот, это только залью и через пять минут яндекс его закидывает в поиск. Вот только коммерческие с биржи, там быстро робот их не видит и не зря дают почти 40 дней на индексацию. Какое то время работал, потом забил, если нужно денежку интернет оплатить, то новости залью, про всякие новинки, но своими словами и потом уже запускаю, что только размещаю на проиндексированных статьях, хоть и дешевле, но берут, иногда сразу один заказывает от 5 до 7 ссылок на один сайт.
Страна: (RU)
Форум » Записки веб-разработчика » Начинающему вебмастеру » Как правильно прописывать robots.txt
  • Страница 1 из 1
  • 1
Поиск: