Думаю многие обращали внимание на то что когда проверяем или хотим отправить robots.txt в Гугл, то выдает ошибку типа такую и после этого бот Гугла "хавает" буквально все страницы вашего сайта. Вроде бы вам кажется что недолжно,но а он как не нормальный все жрет и жрет,даже то что Вы даже запретили к индексации...
Проблему эту разрешить оказалось очень просто ...
Для этого вам необходимо на своем компе иметь программу Notepad ++/ Если же у вас нет такой програмки, то вы конечно же многое потеряли в этой жизни и лучше же конечно ее скачать
После установки запускаем и впихиваем наш файл robots.txt. На моем примере он у меня такойКод
User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /*&*
Disallow: /JS/
Disallow: /css/
Disallow: /icon/
Disallow: /images/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Sitemap: http://rem-31.ru/sitemap.xml
Вернемся снова о том о чем ведем речь ...
Далее переходим в меню кодировки и выбираем Кодировать в UTF-8 (без BOM)
Сохраняем файл под названием robots.txt и загружаем в корневую папку ФМ вашего сайта.
Далее рулим в Search Console Гугла, вставляем ваше хозяйство в форму, или если оно появилось автоматически уже новое, то должны нажать на кнопку - Отправить, чтобы сообщить Боту Гугла о новом вашем файле.
Если вашего ресурса нет в консоли Гугла то добавить можете его пройдя по данной ссылке
Ну вот на этом и все... А то меня на ночь глядя понесло на разглагольства 
... Звенит звонок... Урок окончен ...
