Страница 1 из 11
Форум про uCoz » Все для вебмастера » Начинающий Вебмастер » Файл Robots.txt для сайта uCoz и его настройка
Файл Robots.txt для сайта uCoz и его настройка
Kosten
Дата: Среда, 24.05.2017, 21:39 | Сообщение # 1
Администраторы
Сообщений:14449
Награды: 47


Давайте с начало разберем для чего нужен файл robots.txt на вашем сайте. Он буден не давать в интернет выдавать лишнее информацию, а это данные пользователя и dсякие файлы, которые у вас в корне сайте и их не к чему видеть в поиске. Здесь нужно правильно его настроить и чтоб он только выдавал ту информацию, которую вам нужно. Для этого сама система uCoz по умолчанию сделала его как нужно.



Стандартный robots.txt должен быть такой:

Код
User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?  
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-  

Sitemap: http://сайт.ru/sitemap.xml  
Sitemap: http://сайт.ru/sitemap-forum.xml


Чтоб все поисковые системы могли зайти на ваш сайт, как приглашение у нас прописано.

Код
User-agent: *


Обязательно указываем карту сайта Sitemap:

Код
Sitemap: http://сайт.ru/sitemap.xml  
Sitemap: http://сайт.ru/sitemap-forum.xml


Если у вас форума нет, то можете не ставить на его карту. Но без нее нельзя, да будет индексация, но она в таком положение будет проходить долго. Сами карты нам не к чему делать, так как система их автоматически выдает и можно заметить, что у некоторых ресурсов они прописаны на главной страницы, специально для ботов поисковых.

Вообщем копируем и ставим свою ссылку домена и меняем ее в самом роботе.

Как установить на сайт:

Все нужно скопировать в текстовой файл, который мы заранее создали. Его нужно назвать robots и когда вы его установите на сайте, то имя должно быть такое robots.txt и тогда вы все правильно сделали. И можете его проверить веб мастере яндекс, есть такая функция, также и гугл предоставляет в своем веб мастере.



В яндекс проверка происходит так, находим свой сайт и нажимаем его, потом индексация - Анализ robots.txt и там можете проверить.

Рассмотрим посты к этому материалу:

1. Вот чем и радует система, именно тем что роботс сам прописан и не надо выдумывать как на некоторых других системах где его нет стандартного

2. Почему не нужно, а к примеру что то закрыть, чтоб в поиск не попадало. Хотя говорят от системы uCoz robots не совершенен, но они как то хоть работают над ним. Он только отвечает, за то, что пускать в интернет и что не пускать и какие боты чтоб индексировали. Потому и стоит User-agent: * - что для всех роботов он открыт.

3. Это для опытных мастеров да можно что-то закрыть и настроить,а в тоже время для новичков и не только уже есть роботс и голова не болит о том.

4. Почему для опытных, можно найти информацию и она понятно, просто основном редко кто закрывает темы, чтоб в поиск не попали, но есть такие.

5. Что опять что то новое прописали, у меня стандартный стоит и нормально, то что нужно пускает в интернет, не одной персональной страницы не пропустил.

6. Не опять а с ново, не чего почти не изменилось, разве только одна галочка, а возможно показалось. Не думаю, что кто то будет строить robots сам. Если только прописывать туда уже на готовом, чтоб тему не индексировали.

7. Лучше вообще в него не лесть и не будит не каких неожиданностей. Просто как помню перед ссылками на карты, стоял сам сайт, а точнее доменное имя, а вот здесь его нет.

8. Что касается индексации, туда стараюсь не лести, если они сами выложили его на блоге официальном, то знают что делают. А так от старого не чем не изменилось и только самого домена нет, который был всегда прописан перед всеми картами, возможно он стал неактуален и не чего не дает.

9. Индексация - дело очень тонкое и безусловно корявыми руками, лучше не лести.

10. А зачем вообще лести туда, если ты не чего или плохо по информации знаешь, если сайт хорошо индексируется, то вообще не надо не чего перенастраивать а просто дальше продолжать работать на нем.
Прикрепления: 3250100.jpg(30Kb) · 5957361.jpg(35Kb)
Страна: ❴RU
csafrones
Дата: Четверг, 25.05.2017, 15:43 | Сообщение # 2
Пользователи
Сообщений:18
Награды: 0


Если вы хотите, чтоб индекс также присутствовал, то в блоге по этому поводу прекрасная статья у них написано.
Страна: ❴RU
Форум про uCoz » Все для вебмастера » Начинающий Вебмастер » Файл Robots.txt для сайта uCoz и его настройка
Страница 1 из 11
Поиск: