Страница 1 из 11
Форум про uCoz » Всё для web-мастера » Web мастеру » Синтаксис не распознается Google Webmasters
Синтаксис не распознается Google Webmasters
workman
Дата: Среда, 20.01.2016, 03:45 | Сообщение # 1
Vip
Сообщений:1576
Награды: 7


Думаю многие обращали внимание на то что когда проверяем или хотим отправить robots.txt в Гугл, то выдает ошибку типа такую и после этого бот Гугла "хавает" буквально все страницы вашего сайта. Вроде бы вам кажется что недолжно,но а он как не нормальный все жрет и жрет,даже то что Вы даже запретили к индексации...



Проблему эту разрешить оказалось очень просто ...
Для этого вам необходимо на своем компе иметь программу Notepad ++/ Если же у вас нет такой програмки, то вы конечно же многое потеряли в этой жизни и лучше же конечно ее скачать

После установки запускаем и впихиваем наш файл robots.txt. На моем примере он у меня такой
Код
User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?  
Disallow: /*&*
Disallow: /JS/
Disallow: /css/
Disallow: /icon/
Disallow: /images/
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-  

Sitemap: http://rem-31.ru/sitemap.xml  
, ну а Вы ставите естественно свой какой решили создать. Тут в нем я сделал запрет на индексирование всех папок которые созданы в ФМ, чтобы ускорить индексацию сайта ПС. Ну на этом я не буду дальше развивать тему, а то тут не хватит и кол-ва знаков при добавлении сообщения ...

Вернемся снова о том о чем ведем речь ...
Далее переходим в меню кодировки и выбираем Кодировать в UTF-8 (без BOM)



Сохраняем файл под названием robots.txt и загружаем в корневую папку ФМ вашего сайта.

Далее рулим в Search Console Гугла, вставляем ваше хозяйство в форму, или если оно появилось автоматически уже новое, то должны нажать на кнопку - Отправить, чтобы сообщить Боту Гугла о новом вашем файле.



Если вашего ресурса нет в консоли Гугла то добавить можете его пройдя по данной ссылке

Ну вот на этом и все... А то меня на ночь глядя понесло на разглагольства biggrin ... Звенит звонок... Урок окончен ... biggrin
Прикрепления: 0564912.png(50Kb) · 8929403.png(66Kb) · 4861727.png(83Kb)


Каждый раз, когда ты можешь помочь кому-то, просто сделай это и радуйся тому, что Бог отвечает на чьи-то молитвы через тебя...

Сообщение отредактировал workman - Среда, 20.01.2016, 03:59
Maryges
Дата: Среда, 20.01.2016, 06:36 | Сообщение # 2
Пользователи
Сообщений:116
Награды: 0


workman, это стандартный robots, так бы закрыть ?page узнавал на блоге, то от него дубли идут, но сказали если закроешь, то перегородишь поисковым системам, зайдут на один материал и обратно выйдут а дальше не пойдут, как замок ты накинул.
Kosten
Дата: Среда, 20.01.2016, 06:41 | Сообщение # 3
Администраторы
Сообщений:12664
Награды: 39


Но есть блогеры и админы, просто закрывают темы, так не для поиска, а для внутреннего пользование.

workman
Дата: Среда, 20.01.2016, 11:30 | Сообщение # 4
Vip
Сообщений:1576
Награды: 7


Maryges, Да на мой роботс не смотрите. Я просто к примеру даю ... ну а вот если поставить это Allow: /*?page то не помешает конечно для тех у кого имеются блоги, файлы и другие страницы, по моему сайту так он вообще не нужен ... ))

Каждый раз, когда ты можешь помочь кому-то, просто сделай это и радуйся тому, что Бог отвечает на чьи-то молитвы через тебя...
Форум про uCoz » Всё для web-мастера » Web мастеру » Синтаксис не распознается Google Webmasters
Страница 1 из 11
Поиск: