| Kosten | Суббота, 17 Августа 2019, 02:10 | Сообщение 1 |
| Если вы новичок в SEO, то вы должны хотя бы слышать о robots.txt, где из статьи узнаете какова цель robots.txt и как вы можете использовать его для улучшения вашего SEO. Вероятно кто-то не хочет использовать файл, потому что он слишком сложный или ненужным. Сказать, что в этом нет необходимости, может быть неправильно, потому что это защищает ваш сайт и помогает скрыть конфиденциальные файлы вашего сайта от пользователей, особенно от инструмента поиска.
Robots.txt - это простой текстовый файл, который вы создаете и размещаете на своем веб-сайте, чтобы дать веб-сканерам или ботам поисковых систем доступ к различным веб-страницам на вашем сайте.
Файл Robot.txt является важной частью REP - протокол исключения роботов. Этот протокол представляет собой группу веб-стандартов, которые регулируют процедуру сканирования роботов в интернете, доступа к контенту, индексирования его и предоставления пользователям.
Важность Robots.txt
Хотя это простой небольшой текстовый файл, он может привести к катастрофе вашего присутствия в интернете. Если каким-то образом вы получите неверный файл, то роботу поисковой системы будет дан красный сигнал о том, что им не разрешено сканировать ваш сайт.
Это означает, что ваши веб-страницы не будут отображаться в поисковой выдаче. Поэтому вам важно не только понять назначение файла robots.txt с точки зрения SEO, но вам также необходимо узнать, как вы можете проверить, правильно ли вы используете этот файл robots.txt или нет.
Если вы не хотите, чтобы поисковые роботы сканировали «определенные» страницы вашего сайта, ваш файл robots.txt будет нести ответственность за то, что дал им эту инструкцию.
Допустим, вы не хотите, чтобы какие-либо ваши изображения были перечислены в поисковой системе, вы можете заблокировать поисковых роботов, просто используя директиву disallow в вашем файле robots.txt.
Как работает Robots.txt?
Когда роботы поисковых систем пытаются проиндексировать ваш сайт, они сначала ищут файл robots.txt в корневом каталоге. Этот файл содержит инструкции, на каких страницах они могут сканировать и индексировать их в поисковой выдаче, а какие нет.
Вы можете использовать файл robots.txt для:
— Пусть поисковые роботы игнорируют любые дубликаты веб-страниц на вашем сайте
— Внутренние страницы результатов поиска NoIndex вашего сайта
— Ограничьте ботов для индексации определенных частей вашего сайта или всего сайта
— Запретить поисковым роботам индексировать определенные файлы, присутствующие на вашем сайте, например изображения и PDF-файлы
Нужен ли вашему сайту файл Robots.txt?
Необязательно, чтобы на вашем веб-сайте был файл robots.txt, и это тоже вполне нормально, где во многих случаях вам не нужен файл robots.txt.
Причины: по которым вам может понадобиться файл Robots.txt:
Ниже приведены некоторые причины, по которым вашему веб-сайту может понадобиться файл robots.txt:
— На вашем сайте есть контент, который вы не хотите индексировать поисковыми системами.
— Ваш сайт содержит определенные платные ссылки или рекламу, в которой есть специальные инструкции для роботов
— Файлы Robots.txt могут помочь вам следовать определенным рекомендациям Google в определенных ситуациях
Причины, по которым вам может не понадобиться файл Robots.txt:
Некоторые причины, по которым вам может не понадобиться файл robots.txt:
— У вас простая структура сайта.
— На вашем сайте недостаточно контента, который вы хотите заблокировать в поисковых системах.
Если на вашем веб-сайте нет файла robots.txt, роботы поисковых систем получат простой и полный доступ к вашему веб-сайту. Эта практика очень распространена.
Не создавайте файл Robots.txt:
Когда робот поисковой системы посещает веб-сайт и не находит там файла robots.txt, он может свободно посещать все страницы веб-сайта
Создайте пустой файл с именем Robots.txt:
Если на вашем веб-сайте есть файл с именем robots.txt, но он не содержит никакого контента, роботы сканируют каждую веб-страницу.
Robots.txt может сыграть важную роль в определении позиции вашего сайта в поисковой выдаче. По этой причине вам нужно тщательно обращаться с этим простым, но важным файлом.
Указать главное зеркало сайта и ссылку на его карту в xml формате:
[info]Host: http://ваш_сайт.ru
Sitemap: http://ваш_сайт.ru/sitemap.xml
Запретить индексирование директорий:
Disallow: /signup/
Disallow: /login/
Запретить индексирование любых ссылок, которые заканчиваются запросом /?sort
Disallow: */?sort[/info]
| | Страна: (RU) |
| |
| Kosten | Суббота, 17 Августа 2019, 13:34 | Сообщение 2 |
|
| Также на сайте есть тема Файл Robots.txt для сайта uCoz и его настройка
| | Страна: (RU) |
| |
