Страница 1 из 11
Форум про uCoz » Всё для web-мастера » Web мастеру » Настройка файла robots.txt на сайте ucoz
Настройка файла robots.txt на сайте ucoz
Kosten
Дата: Понедельник, 14.03.2016, 01:50 | Сообщение # 1
Администраторы
Сообщений:12716
Награды: 39


Думаю интересно узнать для чего вообще нужен robots.txt, что хочется разобраться. Если вы только создали сайт, то вам месяц нечего волноваться, так как учитываться не чего не будет. Но а потом делаем текстовый файл и называем его robots и думаю для начало нм нужно вообще установить стандартный, который нам предлагает сама система, на сегодняшний день он такой.

Код
User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*0-0-

Sitemap: http://ваш сайт/sitemap.xml


Но кто в курсе, сейчас тестируется яндекс веб мастер новый и у вас на нем будет выдавать ошибку, а точнее уточнить, по зеркалу сайта, так как здесь оно не прописано.

Нам нужно просто добавить:

Host: zornet.ru

И тогда только поисковые роботы будут знать конкретно, что сканировать и как выдавать.

Кто то спросит, а зачем нам вообще все закрывать, так как только по сути у нас работает User-agent: * - что означает, открыт сайт для всех поисковых систем.
Все очень просто, нам только нужен материал который вы заливаете на сайт, а если все открыть, то будут в поиске все профили, кто зарегистрировался, вообщем все, и вес сайта сразу упадет и его траст будет мизерным.

Кто то делает так robots.txt

Код
User-agent: Yandex  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-  
Host: ваш сайт

User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*?
Disallow: /?ssid=
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-

Sitemap: http://ваш сайт/sitemap.xml
Sitemap: http://ваш сайт/sitemap-forum.xml


Здесь как мы видим, что их у нас 2, это специально для поисковой системы яндекс и для всех, у меня такой стоит, раньше только написал и через 5 - 7 минут все было в поиске, не думаю что из за этого, но возможно. Это просто быстро робот на сайте как говорят поселился, и в любое время все может пройти, но основном как идет обновление ап. Здесь хочется добавить, что кто копирует, быстро робот не когда не будет на этом сайте.

Значение:



Но и безусловно sitemap.xml, это общий, если у вас есть форум, то его тоже ставим. И веб мастере гугл и яндекс их нужно обязательно прописать, так роботам намного легче находить новый материал.


tsakonter
Дата: Понедельник, 14.03.2016, 02:01 | Сообщение # 2
Пользователи
Сообщений:153
Награды: 0


Но тут стандартный, также такой стоит и не лезу, то еще поставишь от яндекс, по неделе будет индексировать. Так ведь проверяешь ссылку и тебе пишут, что робот проверил и знаем что есть такой материал и он возможно появиться когда ап будет. Это что такое, некоторые быстро загоняют, раньше пробовал платно, все это ерунда.

Не знаю сейчас как с твиттер, но через него бывало, что залетали, но теперь даже в блоге яндекс не отображается, да не чего там вообще нет, взяли дневник закрыли, но все для народа делают.

А по теме что некоторые могут что то закрывать, но закрывают то, чтоб в поиск не попадало, не знаю что там они такое пишут секретное, что б люди не знали. А профили или обратная связь, но она не нужна просто, кто то думает, чем больше в поиске запросов тем и хостов больше будет. Вы не угадали, можно написать 100 статей на одну тематику, и хостов будет, больше чем на сайте 10 тыс запросов. Просто они основном уходят за 100 а основном смотрят топ 30 и дальше не идут.

Так что Костен Америку не открыл.
Tergran
Дата: Понедельник, 14.03.2016, 02:06 | Сообщение # 3
Пользователи
Сообщений:83
Награды: 0


Но бета надо учитывать, но иногда не понимаю.

Возможные проблемы
Отсутствуют мета-теги <description>
На многих страницах отсутствуют или некорректно заполнены мета-теги <description>. Это может негативно повлиять на представление сайта в результатах поиска.



И что нужно сделать?

Добавлено (14.03.2016, 02:06)
---------------------------------------------
Просто теги но они не нужны, кто то ставит кто то нет.

Прикрепления: 4815700.png(33Kb)
Kosten
Дата: Понедельник, 14.03.2016, 02:11 | Сообщение # 4
Администраторы
Сообщений:12716
Награды: 39


Tergran, давно их убрал, хотя нужно поставить, если яндекс просит, то наверно сделать нужно. По началу с гугл шеш весь трафик, когда сайт создал, просто где то копировал и дописывал и текст не уникален был. Когда стал все сам писать, гугл реально сдувался и яндекс вышел в перед. Про майл вообще молчу, если в сутки 10 заходов будет, это нормально, рамблер, иногда было целых пять заходов. И точно знаю, что с этими поисковиками работают. У некоторых с майла основной траф идет. Но что там и как делать не известно, это если сайт изначально понравиться то нормально. Даже года 2 назад они веб мастер сделали.

Сафрон
Дата: Понедельник, 14.03.2016, 02:18 | Сообщение # 5
Пользователи
Сообщений:162
Награды: 0


Есть Лента RSS, что рекомендую ссылку на свою ленту поставить, найти не сложно, в поиске, их много. Также платные, не нужно платить, не чего этого не даст. Но считаю самым нормальным, это http://subscribe.ru/ что зарегистрируйтесь там и прописать точно не скажу RSS или Sitemap.

А потом можете просто создавать темы и писать читать далее и ссылку на эту тему, вот где то создал 20 тем и ровно 20 -25 хостов приходят. Но это явно не со всех, просто какой то запрос попал в топ, все на это и рассчитывают, можете в других раскрученных группах писать, но если они дадут на это добро, тогда больше заходов будет.
Kosten
Дата: Понедельник, 14.03.2016, 02:22 | Сообщение # 6
Администраторы
Сообщений:12716
Награды: 39


У меня есть своя там группа. biggrin

Открытая группа
109 участников


Постоянно принимаю в день по 2 - 3 запроса, чтоб разместил, и все правильно, делают затравку интересной статьей и потом Читать дальше и переходишь на сайт, где статья полностью.


Форум про uCoz » Всё для web-мастера » Web мастеру » Настройка файла robots.txt на сайте ucoz
Страница 1 из 11
Поиск: