• Страница 1 из 1
  • 1
Форум » Web-Раздел » Начинающему вебмастеру » Синтаксис не распознается Google Webmasters
Синтаксис не распознается Google Webmasters
workman
Среда, 20 Января 2016 | Сообщение 1
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Думаю многие обращали внимание на то что когда проверяем или хотим отправить robots.txt в Гугл, то выдает ошибку типа такую и после этого бот Гугла "хавает" буквально все страницы вашего сайта. Вроде бы вам кажется что недолжно,но а он как не нормальный все жрет и жрет,даже то что Вы даже запретили к индексации...



Проблему эту разрешить оказалось очень просто ...
Для этого вам необходимо на своем компе иметь программу Notepad ++/ Если же у вас нет такой програмки, то вы конечно же многое потеряли в этой жизни и лучше же конечно ее скачать

После установки запускаем и впихиваем наш файл robots.txt. На моем примере он у меня такой
Код
User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?  
Disallow: /*&*
Disallow: /JS/
Disallow: /css/
Disallow: /icon/
Disallow: /images/
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-  

Sitemap: http://rem-31.ru/sitemap.xml  
, ну а Вы ставите естественно свой какой решили создать. Тут в нем я сделал запрет на индексирование всех папок которые созданы в ФМ, чтобы ускорить индексацию сайта ПС. Ну на этом я не буду дальше развивать тему, а то тут не хватит и кол-ва знаков при добавлении сообщения ...

Вернемся снова о том о чем ведем речь ...
Далее переходим в меню кодировки и выбираем Кодировать в UTF-8 (без BOM)



Сохраняем файл под названием robots.txt и загружаем в корневую папку ФМ вашего сайта.

Далее рулим в Search Console Гугла, вставляем ваше хозяйство в форму, или если оно появилось автоматически уже новое, то должны нажать на кнопку - Отправить, чтобы сообщить Боту Гугла о новом вашем файле.



Если вашего ресурса нет в консоли Гугла то добавить можете его пройдя по данной ссылке

Ну вот на этом и все... А то меня на ночь глядя понесло на разглагольства biggrin ... Звенит звонок... Урок окончен ... biggrin
Прикрепления: 0564912.png (49.7 Kb) · 8929403.png (66.5 Kb) · 4861727.png (83.3 Kb)


Сообщение отредактировал
workman - Среда, 20 Января 2016, 03:59
Страна: (RU)
Maryges
Среда, 20 Января 2016 | Сообщение 2
Оффлайн
Пользователи
Сообщений:142
Награды: 0
workman, это стандартный robots, так бы закрыть ?page узнавал на блоге, то от него дубли идут, но сказали если закроешь, то перегородишь поисковым системам, зайдут на один материал и обратно выйдут а дальше не пойдут, как замок ты накинул.
Страна: (RU)
Kosten
Среда, 20 Января 2016 | Сообщение 3
Оффлайн
Администраторы
Сообщений:44241
Награды: 70
Но есть блогеры и админы, просто закрывают темы, так не для поиска, а для внутреннего пользование.
Страна: (RU)
workman
Среда, 20 Января 2016 | Сообщение 4
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Maryges, Да на мой роботс не смотрите. Я просто к примеру даю ... ну а вот если поставить это Allow: /*?page то не помешает конечно для тех у кого имеются блоги, файлы и другие страницы, по моему сайту так он вообще не нужен ... ))
Страна: (RU)
Форум » Web-Раздел » Начинающему вебмастеру » Синтаксис не распознается Google Webmasters
  • Страница 1 из 1
  • 1
Поиск: