| Kosten | Среда, 24 Мая 2017, 21:39 | Сообщение 1 |
| Давайте с начало разберем для чего нужен файл robots.txt на вашем сайте. Он буден не давать в интернет выдавать лишнее информацию, а это данные пользователя и dсякие файлы, которые у вас в корне сайте и их не к чему видеть в поиске. Здесь нужно правильно его настроить и чтоб он только выдавал ту информацию, которую вам нужно. Для этого сама система uCoz по умолчанию сделала его как нужно.
Стандартный robots.txt должен быть такой:
Код User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Sitemap: http://сайт.ru/sitemap.xml
Sitemap: http://сайт.ru/sitemap-forum.xml
Чтоб все поисковые системы могли зайти на ваш сайт, как приглашение у нас прописано.
Обязательно указываем карту сайта Sitemap:
Код Sitemap: http://сайт.ru/sitemap.xml
Sitemap: http://сайт.ru/sitemap-forum.xml
Если у вас форума нет, то можете не ставить на его карту. Но без нее нельзя, да будет индексация, но она в таком положение будет проходить долго. Сами карты нам не к чему делать, так как система их автоматически выдает и можно заметить, что у некоторых ресурсов они прописаны на главной страницы, специально для ботов поисковых.
Вообщем копируем и ставим свою ссылку домена и меняем ее в самом роботе.
Как установить на сайт:
Все нужно скопировать в текстовой файл, который мы заранее создали. Его нужно назвать robots и когда вы его установите на сайте, то имя должно быть такое robots.txt и тогда вы все правильно сделали. И можете его проверить веб мастере яндекс, есть такая функция, также и гугл предоставляет в своем веб мастере.
В яндекс проверка происходит так, находим свой сайт и нажимаем его, потом индексация - Анализ robots.txt и там можете проверить.
Рассмотрим посты к этому материалу:
1. Вот чем и радует система, именно тем что роботс сам прописан и не надо выдумывать как на некоторых других системах где его нет стандартного
2. Почему не нужно, а к примеру что то закрыть, чтоб в поиск не попадало. Хотя говорят от системы uCoz robots не совершенен, но они как то хоть работают над ним. Он только отвечает, за то, что пускать в интернет и что не пускать и какие боты чтоб индексировали. Потому и стоит User-agent: * - что для всех роботов он открыт.
3. Это для опытных мастеров да можно что-то закрыть и настроить,а в тоже время для новичков и не только уже есть роботс и голова не болит о том.
4. Почему для опытных, можно найти информацию и она понятно, просто основном редко кто закрывает темы, чтоб в поиск не попали, но есть такие.
5. Что опять что то новое прописали, у меня стандартный стоит и нормально, то что нужно пускает в интернет, не одной персональной страницы не пропустил.
6. Не опять а с ново, не чего почти не изменилось, разве только одна галочка, а возможно показалось. Не думаю, что кто то будет строить robots сам. Если только прописывать туда уже на готовом, чтоб тему не индексировали.
7. Лучше вообще в него не лесть и не будит не каких неожиданностей. Просто как помню перед ссылками на карты, стоял сам сайт, а точнее доменное имя, а вот здесь его нет.
8. Что касается индексации, туда стараюсь не лести, если они сами выложили его на блоге официальном, то знают что делают. А так от старого не чем не изменилось и только самого домена нет, который был всегда прописан перед всеми картами, возможно он стал неактуален и не чего не дает.
9. Индексация - дело очень тонкое и безусловно корявыми руками, лучше не лести.
10. А зачем вообще лести туда, если ты не чего или плохо по информации знаешь, если сайт хорошо индексируется, то вообще не надо не чего перенастраивать а просто дальше продолжать работать на нем.
| | Страна: (RU) |
| |
| csafrones | Четверг, 25 Мая 2017, 15:43 | Сообщение 2 |
| Если вы хотите, чтоб индекс также присутствовал, то в блоге по этому поводу прекрасная статья у них написано.
| | Страна: (RU) |
| |
