|
БЫСТРОРОБОТ ЯНДЕКСА НА ВАШЕМ САЙТЕ
|
|
| Kosten | Среда, 17 Июня 2015, 22:38 | Сообщение 1 |
| Думаю не найдется веб мастера, который бы не мечтал, чтоб на его сайте появился быстро робот от яндекс. Как его привлечь или заманить? Много на это написано в блогах, это вести сайт и писать только оригинальные посты и это правильно. Пару недель на zornet, не знаю по пьяне или в здравом уме зашел этот бот и 2 не дели не выходил, пока ап не обновился. Только успевал писать материал и он через 5 мин уже в поиске.
Есть много сервизов, которые привлекают на тот или иной пост, по ссылке которую вы укажите. Но мне кажется они все выдыхались, так как яша не дурак, дыхание быстро перекрывает и люди платят и не получают результат.
Так вы привлекаете бота на быструю индексацию:?
| | Страна: (RU) |
| |
| workman | Среда, 17 Июня 2015, 23:06 | Сообщение 2 |
| Kosten, Я например проплатил и активировал Seo-модуль. (Красота да и только)
Перешел в Премиум настройки и активировал форму редактирования файла robots.txt, где закрыл от индекса некоторые папки с файловика, а также активировал Мониторинг пингов... Не знаю как нп него реагирует Гугл, а вот Яков молотчага... Видит все что добавляешь новенькое.
| | Страна: (RU) |
| |
| Kosten | Среда, 17 Июня 2015, 23:33 | Сообщение 3 |
|
| workman, посоветуй что мне сделать в этом модуле, то только активировал, один пинг.
| | Страна: (RU) |
| |
| workman | Четверг, 18 Июня 2015, 00:16 | Сообщение 4 |
|
| Kosten, В разделе - ИНДЕКСАЦИЯ САЙТА, ставь галочку - Активировать форму редактирования файла robots.txt
Должен появиться файл... В него добавляй то чтохочешь запретитьот индексации.. Например: Disallow: /images/ /images/ - это начало папки с картинками. Мне тебе наверное рассказывать не нужно, что Яша когда видет картинок много на странице, то долговато ходит по ней ну и т.д.
В самый низ в этой форме поставь это:
Код User-agent: Yandex
Crawl-delay: 0.5
User-agent: googlebot
Crawl-delay: 0.5
Директива Crawl-delay
Если сервер сильно нагружен и не успевает отрабатывать запросы на загрузку, воспользуйтесь директивой Crawl-delay. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.
В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-Agent, непосредственно после директив Disallow и Allow).
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но позволяет ускорить обход сайта.
Пример:
User-agent: Yandex
Crawl-delay: 0.5 # задает таймаут в 0.5 секунды
Спускаешься ниже в раздел - ДОПОЛНИТЕЛЬНО и ставишь галочку - Использовать сервис Мониторинг пингов
Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 00:25 | | Страна: (RU) |
| |
| Kosten | Четверг, 18 Июня 2015, 00:59 | Сообщение 5 |
|
| workman, спасибо, как сделаю покажу, правильно ли все проставил. 
| | Страна: (RU) |
| |
| workman | Четверг, 18 Июня 2015, 01:05 | Сообщение 6 |
|
| Цитата Kosten (  ) спасибо, как сделаю покажу, правильно ли все проставил.
хорошо...
| | Страна: (RU) |
| |
| workman | Четверг, 18 Июня 2015, 01:17 | Сообщение 7 |
|
| Kosten, Вот смотри как у меня робот прописан. Я почти все ненужные папки с файловика запретил для индекса
Доступно только для пользователей
Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 01:27 | | Страна: (RU) |
| |
| Kosten | Четверг, 18 Июня 2015, 18:34 | Сообщение 8 |
|
| workman, вот так у меня получилось.
Код User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*0-0-
Sitemap: http://zornet.ru/sitemap.xml
Sitemap: http://zornet.ru/sitemap-forum.xml
User-agent: Yandex
Crawl-delay: 0.5
User-agent: googlebot
Crawl-delay: 0.5 | | Страна: (RU) |
| |
| workman | Четверг, 18 Июня 2015, 19:49 | Сообщение 9 |
|
| Kosten, Добавь еще других роботов
Код User-agent: StackRambler
Crawl-delay: 0.5
User-agent: Aport
Crawl-delay: 0.5
User-agent: MSNBot
Crawl-delay: 0.5
User-agent: ia_archiver
Crawl-delay: 0.5
И после Sitemap-ов поставь хост.
Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 19:52 | | Страна: (RU) |
| |
| STORM5711 | Четверг, 18 Июня 2015, 20:31 | Сообщение 10 |
| Цитата workman ( ) В разделе - ИНДЕКСАЦИЯ САЙТА
А это где подскажите я что то не могу найти(( желательно пошагово спс
| | Страна: (RU) |
| |
| kredit-oformi | Четверг, 18 Июня 2015, 21:49 | Сообщение 11 |
| STORM5711, ПУ - SEO-модуль-Премиум настройки там она и находится
| | Страна: (RU) |
| |
| Kosten | Четверг, 18 Июня 2015, 23:29 | Сообщение 12 |
|
| workman, спасибо воспользуюсь и посмотрим что выйдет.
| | Страна: (RU) |
| |
| workman | Четверг, 18 Июня 2015, 23:53 | Сообщение 13 |
|
| Цитата Kosten ( ) спасибо воспользуюсь и посмотрим что выйдет.
ну я смотрю по своему что яша стал более чаще забегать на мой сайт ... лишнее отбивает и смотрит то что разрешено...
а как индеец, так вообще как сумашедший бегает по страницам
Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 23:54 | | Страна: (RU) |
| |
| Kosten | Пятница, 19 Июня 2015, 00:02 | Сообщение 14 |
|
| Цитата workman ( ) а как индеец, так вообще как сумашедший бегает по страницам
Если ты говоришь про сегодня, просто время подошло к обновлению АП и он пашет как может. Возможно понравился ресурс и поселился быстро бот, он много жрет и прокормить его как 200 килограмм хряка надо. 
| | Страна: (RU) |
| |
| workman | Пятница, 19 Июня 2015, 00:13 | Сообщение 15 |
|
| Цитата Kosten ( ) Если ты говоришь про сегодня
НЕТ... НЕ ТОЛЬКО СЕГОДНЯ ... КАК АКТИВИРОВАЛ И ПРОПИСАЛ
Цитата Kosten ( ) он много жрет и прокормить его как 200 килограмм хряка надо
ЛУЧШЕ ПУСТЬ ЖРЕТ ЧЕМ ПРОСТО СТОИТ ...
| | Страна: (RU) |
| |
