| Kosten | Понедельник, 14 Марта 2016 | Сообщение 1 |
| Думаю интересно узнать для чего вообще нужен robots.txt, что хочется разобраться. Если вы только создали сайт, то вам месяц нечего волноваться, так как учитываться не чего не будет. Но а потом делаем текстовый файл и называем его robots и думаю для начало нм нужно вообще установить стандартный, который нам предлагает сама система, на сегодняшний день он такой.
Код User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*0-0-
Sitemap: http://ваш сайт/sitemap.xml
Но кто в курсе, сейчас тестируется яндекс веб мастер новый и у вас на нем будет выдавать ошибку, а точнее уточнить, по зеркалу сайта, так как здесь оно не прописано.
Нам нужно просто добавить:
Host: zornet.ru
И тогда только поисковые роботы будут знать конкретно, что сканировать и как выдавать.
Кто то спросит, а зачем нам вообще все закрывать, так как только по сути у нас работает User-agent: * - что означает, открыт сайт для всех поисковых систем.
Все очень просто, нам только нужен материал который вы заливаете на сайт, а если все открыть, то будут в поиске все профили, кто зарегистрировался, вообщем все, и вес сайта сразу упадет и его траст будет мизерным.
Кто то делает так robots.txt
Код User-agent: Yandex
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Host: ваш сайт
User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Sitemap: http://ваш сайт/sitemap.xml
Sitemap: http://ваш сайт/sitemap-forum.xml
Здесь как мы видим, что их у нас 2, это специально для поисковой системы яндекс и для всех, у меня такой стоит, раньше только написал и через 5 - 7 минут все было в поиске, не думаю что из за этого, но возможно. Это просто быстро робот на сайте как говорят поселился, и в любое время все может пройти, но основном как идет обновление ап. Здесь хочется добавить, что кто копирует, быстро робот не когда не будет на этом сайте.
Значение:
Но и безусловно sitemap.xml, это общий, если у вас есть форум, то его тоже ставим. И веб мастере гугл и яндекс их нужно обязательно прописать, так роботам намного легче находить новый материал.
| | Страна: (RU) |
| |
| tsakonter | Понедельник, 14 Марта 2016 | Сообщение 2 |
| Но тут стандартный, также такой стоит и не лезу, то еще поставишь от яндекс, по неделе будет индексировать. Так ведь проверяешь ссылку и тебе пишут, что робот проверил и знаем что есть такой материал и он возможно появиться когда ап будет. Это что такое, некоторые быстро загоняют, раньше пробовал платно, все это ерунда.
Не знаю сейчас как с твиттер, но через него бывало, что залетали, но теперь даже в блоге яндекс не отображается, да не чего там вообще нет, взяли дневник закрыли, но все для народа делают.
А по теме что некоторые могут что то закрывать, но закрывают то, чтоб в поиск не попадало, не знаю что там они такое пишут секретное, что б люди не знали. А профили или обратная связь, но она не нужна просто, кто то думает, чем больше в поиске запросов тем и хостов больше будет. Вы не угадали, можно написать 100 статей на одну тематику, и хостов будет, больше чем на сайте 10 тыс запросов. Просто они основном уходят за 100 а основном смотрят топ 30 и дальше не идут.
Так что Костен Америку не открыл.
| | Страна: (RU) |
| |
| Tergran | Понедельник, 14 Марта 2016 | Сообщение 3 |
| Но бета надо учитывать, но иногда не понимаю.
Возможные проблемы
Отсутствуют мета-теги <description>
На многих страницах отсутствуют или некорректно заполнены мета-теги <description>. Это может негативно повлиять на представление сайта в результатах поиска.
И что нужно сделать?Добавлено (14.03.2016, 02:06)
---------------------------------------------
Просто теги но они не нужны, кто то ставит кто то нет.
| | Страна: (RU) |
| |
| Kosten | Понедельник, 14 Марта 2016 | Сообщение 4 |
|
| Tergran, давно их убрал, хотя нужно поставить, если яндекс просит, то наверно сделать нужно. По началу с гугл шеш весь трафик, когда сайт создал, просто где то копировал и дописывал и текст не уникален был. Когда стал все сам писать, гугл реально сдувался и яндекс вышел в перед. Про майл вообще молчу, если в сутки 10 заходов будет, это нормально, рамблер, иногда было целых пять заходов. И точно знаю, что с этими поисковиками работают. У некоторых с майла основной траф идет. Но что там и как делать не известно, это если сайт изначально понравиться то нормально. Даже года 2 назад они веб мастер сделали.
| | Страна: (RU) |
| |
| Сафрон | Понедельник, 14 Марта 2016 | Сообщение 5 |
| Есть Лента RSS, что рекомендую ссылку на свою ленту поставить, найти не сложно, в поиске, их много. Также платные, не нужно платить, не чего этого не даст. Но считаю самым нормальным, это http://subscribe.ru/ что зарегистрируйтесь там и прописать точно не скажу RSS или Sitemap.
А потом можете просто создавать темы и писать читать далее и ссылку на эту тему, вот где то создал 20 тем и ровно 20 -25 хостов приходят. Но это явно не со всех, просто какой то запрос попал в топ, все на это и рассчитывают, можете в других раскрученных группах писать, но если они дадут на это добро, тогда больше заходов будет.
| | Страна: (RU) |
| |
| Kosten | Понедельник, 14 Марта 2016 | Сообщение 6 |
|
| У меня есть своя там группа. 
Открытая группа
109 участников
Постоянно принимаю в день по 2 - 3 запроса, чтоб разместил, и все правильно, делают затравку интересной статьей и потом Читать дальше и переходишь на сайт, где статья полностью.
| | Страна: (RU) |
| |
