Главная » » Robots.txt для Блогспот

Robots.txt для Блогспот

Автор поста: Микола Питеков | 27.03.2012 | 18:30


  Будьте осторожны, не изменяйте файл, если не владеете информацией. Некорректный файл возможно приведет к тому, что блог перестанет индексироваться поисковиками.

  Изменив robots.txt для Блогспот, можно поставить запрет на сканирование страниц блога, поисковыми роботами. Сканирование - это процесс индексации контента страниц блога поисковыми роботами, для того что бы его смогли найти в поиске пользователи. Если в блоге Блогспот есть страницы, о которых вы не хотели бы распространятся (причины личного характера, не имеет отношения к блогу), то теперь можно поставить ограничение.

  Но, если информация об страницах, в виде ссылки, уже есть на других сайтах, поисковые роботы перейдут по ней. И могут все равно проиндексировать ее. Чтобы такого не возникало, можно поставить полный запрет для URL, с помощью мета тегов.

Как добавить robots.txt для Блогспот?


  Итак перейдите в Панель управления блогспот - Настройки - Настройки поиска - Поисковые роботы и индексация -  Пользовательский файл robots.txt.

Robots.txt

Как проверить Robots.txt?


Что бы проверить какой у вас файл robots.txt, добавьте к url вашего блога /robots.txt.

После добавления собственного Robots.txt нажмите "Сохранить изменения".

Стандартный файл выглядит так:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.avitra.ru/feeds/posts/default?orderby=updated
Лично меня не устроила вот эта строка 

User-аgent: Mediapartners-Google
Disаllow:

  Мне она без надобности, у меня нет на блоге медийной рекламы Google Adsense. А так как блоги Блогспот были созданы для ее продвижения, такая строка присутствует на всех без исключения блогов. Но, в Адсенс у меня БАН, поэтому строку убрал.

Вот что у меня получилось:

User-agent: *
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /

Sitemap: http://www.avitra.ru/feeds/posts/default?orderby=updated

User-agent: Yandex
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /

  Не знаю правильно или нет, но тавтология присутствует. Прописано в robots.txt два раза одно и то же. Для всех User-agеnt и для Яндекса, что в принципе не правильно. Хотя таким образом выделил бота Яндекс. Наверное ничего страшного в этом нет.

Кто что думает, пишите в комментариях. Ваше мнение важно для меня.

0 коммент.:

 
Все права защищены.
Copyright © 2011-
Seo Блогспот
При копировании материалов гиперссылка на БЛОГ обязательна.
All Rights Reserved
Вверх