• Страница 1 из 2
  • 1
  • 2
  • »
Форум » Web-Раздел » Начинающему вебмастеру » БЫСТРОРОБОТ ЯНДЕКСА НА ВАШЕМ САЙТЕ
БЫСТРОРОБОТ ЯНДЕКСА НА ВАШЕМ САЙТЕ
Kosten
Среда, 17 Июня 2015 | Сообщение 1
Оффлайн
Администраторы
Сообщений:44267
Награды: 70
Думаю не найдется веб мастера, который бы не мечтал, чтоб на его сайте появился быстро робот от яндекс. Как его привлечь или заманить? Много на это написано в блогах, это вести сайт и писать только оригинальные посты и это правильно. Пару недель на zornet, не знаю по пьяне или в здравом уме зашел этот бот и 2 не дели не выходил, пока ап не обновился. Только успевал писать материал и он через 5 мин уже в поиске.



Есть много сервизов, которые привлекают на тот или иной пост, по ссылке которую вы укажите. Но мне кажется они все выдыхались, так как яша не дурак, дыхание быстро перекрывает и люди платят и не получают результат.

Так вы привлекаете бота на быструю индексацию:?
Прикрепления: 3225591.jpg (17.1 Kb)
Страна: (RU)
workman
Среда, 17 Июня 2015 | Сообщение 2
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Kosten, Я например проплатил и активировал Seo-модуль. (Красота да и только)
Перешел в Премиум настройки и активировал форму редактирования файла robots.txt, где закрыл от индекса некоторые папки с файловика, а также активировал Мониторинг пингов... Не знаю как нп него реагирует Гугл, а вот Яков молотчага... Видит все что добавляешь новенькое.
Страна: (RU)
Kosten
Среда, 17 Июня 2015 | Сообщение 3
Оффлайн
Администраторы
Сообщений:44267
Награды: 70
workman, посоветуй что мне сделать в этом модуле, то только активировал, один пинг.
Страна: (RU)
workman
Четверг, 18 Июня 2015 | Сообщение 4
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Kosten, В разделе - ИНДЕКСАЦИЯ САЙТА, ставь галочку - Активировать форму редактирования файла robots.txt
Должен появиться файл... В него добавляй то чтохочешь запретитьот индексации.. Например: Disallow: /images/ /images/ - это начало папки с картинками. Мне тебе наверное рассказывать не нужно, что Яша когда видет картинок много на странице, то долговато ходит по ней ну и т.д.

В самый низ в этой форме поставь это:
Код
User-agent: Yandex
Crawl-delay: 0.5     
User-agent: googlebot
Crawl-delay: 0.5


Директива Crawl-delay

Если сервер сильно нагружен и не успевает отрабатывать запросы на загрузку, воспользуйтесь директивой Crawl-delay. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-Agent, непосредственно после директив Disallow и Allow).

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но позволяет ускорить обход сайта.

Пример:
User-agent: Yandex
Crawl-delay: 0.5 # задает таймаут в 0.5 секунды


Спускаешься ниже в раздел - ДОПОЛНИТЕЛЬНО и ставишь галочку - Использовать сервис Мониторинг пингов


Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 00:25
Страна: (RU)
Kosten
Четверг, 18 Июня 2015 | Сообщение 5
Оффлайн
Администраторы
Сообщений:44267
Награды: 70
workman, спасибо, как сделаю покажу, правильно ли все проставил. wink
Страна: (RU)
workman
Четверг, 18 Июня 2015 | Сообщение 6
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Цитата Kosten ()
спасибо, как сделаю покажу, правильно ли все проставил.

хорошо...
Страна: (RU)
workman
Четверг, 18 Июня 2015 | Сообщение 7
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Kosten, Вот смотри как у меня робот прописан. Я почти все ненужные папки с файловика запретил для индекса

Доступно только для пользователей


Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 01:27
Страна: (RU)
Kosten
Четверг, 18 Июня 2015 | Сообщение 8
Оффлайн
Администраторы
Сообщений:44267
Награды: 70
workman, вот так у меня получилось.

Код
User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*0-0-

Sitemap: http://zornet.ru/sitemap.xml  
Sitemap: http://zornet.ru/sitemap-forum.xml

User-agent: Yandex  
Crawl-delay: 0.5      
User-agent: googlebot  
Crawl-delay: 0.5
Страна: (RU)
workman
Четверг, 18 Июня 2015 | Сообщение 9
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Kosten, Добавь еще других роботов

Код
User-agent: StackRambler
Crawl-delay: 0.5
User-agent: Aport
Crawl-delay: 0.5
User-agent: MSNBot
Crawl-delay: 0.5
User-agent: ia_archiver
Crawl-delay: 0.5


И после Sitemap-ов поставь хост.
Код
Host: zornet.ru


Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 19:52
Страна: (RU)
STORM5711
Четверг, 18 Июня 2015 | Сообщение 10
Оффлайн
Проверенные
Сообщений:61
Награды: 1
Цитата workman ()
В разделе - ИНДЕКСАЦИЯ САЙТА

А это где подскажите я что то не могу найти(( желательно пошагово спс
Страна: (RU)
kredit-oformi
Четверг, 18 Июня 2015 | Сообщение 11
Оффлайн
Vip
Сообщений:1975
Награды: 5
STORM5711, ПУ - SEO-модуль-Премиум настройки там она и находится
Страна: (RU)
Kosten
Четверг, 18 Июня 2015 | Сообщение 12
Оффлайн
Администраторы
Сообщений:44267
Награды: 70
workman, спасибо воспользуюсь и посмотрим что выйдет.
Страна: (RU)
workman
Четверг, 18 Июня 2015 | Сообщение 13
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Цитата Kosten ()
спасибо воспользуюсь и посмотрим что выйдет.

ну я смотрю по своему что яша стал более чаще забегать на мой сайт ... лишнее отбивает и смотрит то что разрешено...

а как индеец, так вообще как сумашедший бегает по страницам


Сообщение отредактировал
workman - Четверг, 18 Июня 2015, 23:54
Страна: (RU)
Kosten
Пятница, 19 Июня 2015 | Сообщение 14
Оффлайн
Администраторы
Сообщений:44267
Награды: 70
Цитата workman ()
а как индеец, так вообще как сумашедший бегает по страницам


Если ты говоришь про сегодня, просто время подошло к обновлению АП и он пашет как может. Возможно понравился ресурс и поселился быстро бот, он много жрет и прокормить его как 200 килограмм хряка надо. biggrin
Страна: (RU)
workman
Пятница, 19 Июня 2015 | Сообщение 15
Оффлайн
Проверенные
Сообщений:1716
Награды: 9
Цитата Kosten ()
Если ты говоришь про сегодня

НЕТ... НЕ ТОЛЬКО СЕГОДНЯ ... КАК АКТИВИРОВАЛ И ПРОПИСАЛ
Цитата Kosten ()
он много жрет и прокормить его как 200 килограмм хряка надо

ЛУЧШЕ ПУСТЬ ЖРЕТ ЧЕМ ПРОСТО СТОИТ ... biggrin
Страна: (RU)
Форум » Web-Раздел » Начинающему вебмастеру » БЫСТРОРОБОТ ЯНДЕКСА НА ВАШЕМ САЙТЕ
  • Страница 1 из 2
  • 1
  • 2
  • »
Поиск: