Страница 1 из 11
Форум про uCoz » Все для вебмастера » Начинающий Вебмастер » Как правильно прописывать robots.txt
Как правильно прописывать robots.txt
CEREBRUM
Дата: Среда, 12.04.2017, 13:57 | Сообщение # 1
Vip
Сообщений:544
Награды: 3


Всем привет друзья меня интересует как правельно прописывать Роботс.ТХТ Роскажите плыззз

Раздача баз, аккаунтов стим, читы для warface

Читы для Warface 2017
Страна: (UA)
no_matter
Дата: Среда, 12.04.2017, 15:40 | Сообщение # 2
Проверенные
Сообщений:187
Награды: 2


В ucoz правильный роботс, ничего прописывать не надо.

Выжимайте максимум из download-трафика - тут
Страна: (GE)
CEREBRUM
Дата: Среда, 12.04.2017, 15:45 | Сообщение # 3
Vip
Сообщений:544
Награды: 3


no_matter, А если нужно вписать "Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически."

Раздача баз, аккаунтов стим, читы для warface

Читы для Warface 2017
Страна: (UA)
no_matter
Дата: Среда, 12.04.2017, 17:20 | Сообщение # 4
Проверенные
Сообщений:187
Награды: 2


CEREBRUM, и в чем проблема прописать эту директиву?

Выжимайте максимум из download-трафика - тут
Страна: (GE)
CEREBRUM
Дата: Среда, 12.04.2017, 17:28 | Сообщение # 5
Vip
Сообщений:544
Награды: 3


no_matter, но нет у меня роботс в файловом менеджере

Раздача баз, аккаунтов стим, читы для warface

Читы для Warface 2017
Страна: (UA)
Kosten
Дата: Среда, 12.04.2017, 17:36 | Сообщение # 6
Администраторы
Сообщений:14729
Награды: 47


Можно стандартный поставить, но я еще добавил на яндекс.
Страна: (RU)
CEREBRUM
Дата: Среда, 12.04.2017, 17:37 | Сообщение # 7
Vip
Сообщений:544
Награды: 3


Цитата Kosten ()
Можно стандартный поставить, но я еще добавил на яндекс.


А тут по подробней?!


Раздача баз, аккаунтов стим, читы для warface

Читы для Warface 2017
Страна: (UA)
Kosten
Дата: Среда, 12.04.2017, 17:58 | Сообщение # 8
Администраторы
Сообщений:14729
Награды: 47


CEREBRUM, так можно посмотреть, сейчас скину.
Страна: (RU)
Kosten
Дата: Среда, 12.04.2017, 18:00 | Сообщение # 9
Администраторы
Сообщений:14729
Награды: 47


CEREBRUM, здесь мне просто давно рекомендовали поставить и уже установлен пару лет.

Код
User-agent: Yandex  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-  
Host: zornet.ru

User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-

Sitemap: http://zornet.ru/sitemap.xml
Sitemap: http://zornet.ru/sitemap-forum.xml
Страна: (RU)
-SAM-
Дата: Четверг, 13.04.2017, 00:42 | Сообщение # 10
Заблокированные
Сообщений:187
Награды: 14


CEREBRUM, залить файл стандартный, который отдает сервер (да, его нет в файловом менеджере, ибо на uCoz-овских серверах уже изначально правильный robots.txt для сайта), то есть залить его с сервера в файловый менеджер, а потом внести необходимые правки.... а то сейчас насоветуют... лучше в тему на форуме uCoz загляните по этому поводу, чтобы не советовать херни.



Сообщение отредактировал
-SAM- - Четверг, 13.04.2017, 00:48
Страна: (UA)
CEREBRUM
Дата: Четверг, 13.04.2017, 00:54 | Сообщение # 11
Vip
Сообщений:544
Награды: 3


-SAM-, спасибочки.а то что то сайт в статистике упал было до 300 хостов в день а теперь 100.

Раздача баз, аккаунтов стим, читы для warface

Читы для Warface 2017
Страна: (UA)
-SAM-
Дата: Четверг, 13.04.2017, 01:03 | Сообщение # 12
Заблокированные
Сообщений:187
Награды: 14


CEREBRUM, так смотреть нужно статистику в вебмастере, бывает вообще серверы uCoz-а начинают шалить, что роботы приходят обход страниц сайта делать, а им - кукиш (типо внутренняя ошибка сервера, не может доступ к странице получить)... я это к тому, что тут вряд ли из-за того, что основной домен сайта в robots.txt указан не был (ибо так всегда в вебмастере писать стало, то есть даже для сайтов, у которых стандартный uCoz-овский домен и правильный robots.txt).

И да, кстати, там идут строки shop - можно ограничиться закрытием всего инет-магазина, если модуля нет подключенного... или вовсе удалить - чем меньше строк в robots.txt, тем меньше роботы тратят время на его изучение (я это к тому, что если модуля нет - строки просто лишние эти, как включать модуль - так и дописать потом нужно будет их самому, а пока - uCoz даёт по умолчанию всем, даже если оно в вашем случае и не используется).




Сообщение отредактировал
-SAM- - Четверг, 13.04.2017, 01:25
Страна: (UA)
Kosten
Дата: Четверг, 13.04.2017, 01:37 | Сообщение # 13
Администраторы
Сообщений:14729
Награды: 47


-SAM-, вот у меня такой стоит, просто давно разбирал, но также многие пишут, что стандартный также хороший. Но дело в том, когда этот робос поставил, и не какого обновление не было, у меня появился быстро робот, это только залью и через пять минут яндекс его закидывает в поиск. Вот только коммерческие с биржи, там быстро робот их не видит и не зря дают почти 40 дней на индексацию. Какое то время работал, потом забил, если нужно денежку интернет оплатить, то новости залью, про всякие новинки, но своими словами и потом уже запускаю, что только размещаю на проиндексированных статьях, хоть и дешевле, но берут, иногда сразу один заказывает от 5 до 7 ссылок на один сайт.
Страна: (RU)
Форум про uCoz » Все для вебмастера » Начинающий Вебмастер » Как правильно прописывать robots.txt
Страница 1 из 11
Поиск: