robots.txt  и Sitemap

Файл robots.txt  - текстовый файл, содержащий в себе указания для поисковых роботов. В нем можно прописать запрет на индексацию той или иной страницы сайта. Причем, запрет этот будет ограничен  лишь выбранной вами поисковой системы.

Имя этого файла, robots.txt , обязательно должно быть прописано маленькими буквами. ROBOTS.txt или Robots.txt – это неправильное написание имени файла.

Сам файл должен находиться в корневой директории сервера.

Допускаются комментарии, которые всегда следуют после знака  ”#”. А заканчиваются комментарии окончанием строки. Комментарии пишутся по вашему желанию, можно составить robots.txt и без комментариев.

Например, для сайта http:// xxx.ru

User – agent: Yandex
Disallow: /contacts/
Disallow: /address.html
# Запрещает ботам Yandex посещать папку http:// xxx.ru/contacts/
# Запрещает запрашивать файл http:// xxx.ru/address.html

User – agent – это имя бота, для которого применяются правила исключения, описанные в файле robots.txt.  Вполне возможно, что строк User –agent будет несколько, прописывать их необходимо каждый с новой строки.

User – agent: Yandex
User – agent: Googlebot

Здесь мы задаем правила для поисковых роботов Yandex и Google.

Для описания правил индексации ботами, для которых в файле robots.txt не сделана отдельная запись, применяют параметр “*”. В файле robots.txt может быть лишь одна запись с этим параметром.

User – agent: *
Disallow:

Ботам всех поисковых систем разрешено индексировать все файлы, страницы и т.д.

Disallow – в данном поле прописывают частичный или полный путь к тому месту на сайте, посещение которого для ботов поисковой системы запрещено.
Если запретов и исключений несколько, то следует каждое описать с новой строки. В любом файле robots.txt, каким бы он ни был, всегда должно присутствовать хотя бы одна запись disallow.

Основные правила составления robots.txt

Некоторые  системы поддерживают дополнительное поле для robots.txt, такое как Host, в Yandex, для определения основного зеркала сайта.

User – agent: Yandex
Disallow: /image/
Host: http:// xxx.ru
# Запрет боту Yandex на индексирование папки http:// xxx.ru/image/
# основным зеркалом назначено http:// xxx.ru

Карта сайта (Sitemap)

Карта сайта – это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не использую навигацию сайта.

Карта (Sitemap) – всего лишь помощь “заблудившемуся” посетителю, модель структуры сайта, целиком размещенная на одной странице.

Как прописать sitemap в robots.txt

User – agent: *
Disallow:
Sitemap: http://www.xxx.ru/sitemap.xml

Здесь тоже разрешено ботам всех поисковых систем индексировать все файлы, папки и страницы. Кроме этого, указывается расположение карты сайта (Sitemap) в формате .xml.

Отношение web-мастеров к Sitemap самое разнообразное. Одни считают, что без неё поисковые системы плохо индексируют сайт, другие уверены, что наличие карты сайта негативно сказывается на индексации.

Создать её можно либо самостоятельно, либо воспользоваться бесплатным сервисом, который сам на основе существующего сайта, создаст вам Sitemap, в том числе - и в формате .xml.

Google - анализ деятельности. Часть 1

прочитать >>

Google - анализ деятельности. Часть 2

прочитать >>

Добавлены новые авторские статьи в соответствующий раздел.

Продвижение по низкочастотным запросам. НЧ, СЧ, ВЧ запросы.

прочитать >>

Поисковый спам.

прочитать >>

АГС 30. Алгоритм фильтрации сайтов от Яндекса.

прочитать >>

Вирусный маркетинг. Теория быстрой раскрутки.

прочитать >>

Снежинск. Работа с новым поисковым алгоритмом Яндекса.

прочитать >>

Советы по оптимизации картинок .

прочитать >>

‘Noindex’ и ‘nofollow’. Особенности использования <noindex> и  ’nofollow’

прочитать >>

09.12.2009

Работа с новым алгоритмом Яндекса (Yandex) - "Снежинск"

подробнее >>

30.11.2009

Запрет Google на использование полей для комментариев

подробнее >>

22.11.2009

Новые разработки компании Google

подробнее >>