RSS сайта | RSS форума | RSS каталога файлов | RSS блога | Карта форума | Карта сайта | Все теги сайта
Главная страница

Создание файла robots.txt

ГлавнаяФорумБлогФайлыОбратная связьО сайтеГостевая книгаПоиск
Настал ваш час, чтобы заработать реальные деньги на своем сайте
Категория
Познавательные статьи
Статьи для общего развития
SEO статьи
Раскрутка, продвижение

Доп. меню

Новинки на сайте

Добавь нас в Яндекс
добавить на Яндекс

Устанавливайте виджет о новых публикациях варез-портала ProSidr.ru на главной странице Яндекса. Будьте в курсе последних обновлений в мире софта.

добавить на Яндекс

Новое в блоге

Внутренняя оптимизация сайта

Составляем семантическое ядро для контент проекта.

Как сделать хороший сайт?

Настройка локальной сети.

Как проверить пинг?

Оптимизация сайта до его создания

Для чего нужны мета-теги?

Новинки форума
Приветик
Разное
Зарабатываем деньги на нашем сайте!
3 февраля 2017 Апдейт тИЦ
У нас нашли, переходы с ПС
Яндекс тИЦ 03.12.2016
Правильное питание
Вечный двигатель на 4 киловатта
Ищу курс по созданию сайтов.
Быстро дадим обстановка в долг без отказа
Вирус на сайте.
Брачное агентство в Киеве
Про спорт
Смешная история
качественное продвижение сайтов
"Вверх" и "Вниз" с плавным прокручиванием
Ветка ели на сайте
21 ноября Апдейт тИЦ
Бесплатная юридическая консультация онлайн и по телефону
Поисковая Оптимизация Для Новичков


Добавить материал


Администрация сайта не претендует на авторские права. Материалы предоставленные на сайте, принадлежат их владельцам и предоставляются исключительно в ознакомительных целях.


30.01.2011 08.46.45
Создание файла robots.txt


Вот столкнулся с такой задачей, мне нужно прописать зеркало индексируемого сайта. Так как там трудность заключается в указании поисковым роботам индексируемых страниц и отдельных тонкостей. Эти тонкости заключаются в отдельно прописываемых директивах. 
Что должно обязательно быть в файле robots.txt? Две директивы: «User-agent» и «Disallow». Существуют еще и дополнительные записи для различных поисковых систем. Например, Яндекс для определения главного зеркала веб-сайта использует директиву «Host». 

1, Обязательная директива «User-agent» 
Если обращение происходит абсолютно ко всем поисковикам, то пишем символ звездочку «*», выглядит это так: 
User-agent: * 
Если нужно обратиться к роботу Яндекса, то запись будет выглядеть так: 
User-agent: Yandex

2, Обязательная директива «Disallow» 
Директива «Disallow» укажет поисковому роботу, какие файлы, каталоги запрещается индексировать. 
Если сайт открыт для индексирования весь, то нужно писать так: 
Disallow: 
или 
Allow: / 
Наложим запрет на индексацию файла links.html из корневой папки. Тогда запись будет такой: 
Disallow: /links.html 
Теперь запретим индесирование файла my.html, находящегося в папке «noybot». Это будет выглядеть так: 
Disallow: /noybot/my.html 
Запретим индексацию определенных директорий, например, содержащих файлы форума - папка «forum» и папку со сценариями «cgi-bin». Это значит, что все, что находится в этих папках не будет доступно для поисковиков. Выглядеть запись будет так: 
Disallow: /cgi-bin/ 
Disallow: /forum/ 
Зная этот минимум, мы уже можем написать свой файл робот и запретить в нем индексировать какие-либо файлы или любые папки вместе с их содержимым. 
Впрочем, эта шпаргалка минимальна. И требует продолжения. Что мы и сделаем. 
Можно запретить индексировать страницы и директории, название которых начинается с одних и тех же символов. Запрет накладывается всего одной записью «Disallow»
Например, запретим к индексированию директории и файлы, начинающиеся с символов my. Это папки mymy1my2 и страницы my.htmlmylove.html и тому подобное. Для этого пропишем так: 
Disallow: /my 
В директиве «Disallow» разрешено пользоваться регулярными выражениями, но не во всех поисковых системах. Google поддерживает символы «*» (звездочка - любая последовательность символов) и «$» (доллар - окончание строки). 
Что это дает нам? Можно запретить индексацию файлов с определеным расширением, например, «htm», достаточно написать: 
Disallow: *.htm$ 
Еще пример запрета индексации файлов PDF для гугл 
User-agent: Googlebot 
Disallow: *.pdf$ 
Другой вариант решить эту задачу - это создать отдельный каталог pdf и размещать документы PDF в нем. Тогда пишем так: 
User-agent: * 
Disallow: /pdf/

3, Директива «Host» 
Директива «Host» используется для определения главного зеркала сайта. С ее помощью можно выбрать url, под которым будет проиндексирован веб-сайт. Эта директива поддерживается русскими поисковиками, такими как Яндекс, Рамблер, Апорт. 
Без этой директивы робот яндекса выберет основное зеркало самостоятельно, а все другие имена получат запрет к индексации. Т.к. директиву «Host» понимают не все поисковики, поэтому саму запись нужно вставлять обязательно после «Disallow», в конце блока. 
Записывается следующим образом: 
Host: www.site.ru 
На что еще обратить внимание? На поведение гугл при встрече с директивой хост. Google игнорирует всю секцию, где прописана директива «Host». Это решаемо, для гугл нужно создать свой блок с записями. 
Например: 
User-Agent: * # Все поисковый системы 
Disallow: /admin/ # Запрет директории админ и всех, файлов этой папки 
Host: www.mainsite.ru # Главное зеркало 
User-Agent: Googlebot # Личный блок для гугла 
Disallow: /admin/ # Запрет директории гуглом

Эта информация взята с просторов сети интернет. Мне лично помогла во всем этом разобраться информация по Использованию robots.txt находящаяся здесь 

Материалы по теме::

добавить на Яндекс


Оптимизация, статьи по SEO Создание файла robots.txt ознакомление.
Как мне скачатьPicбесплатно файлы с

Категория: SEO статьи | Просмотров: 5736 | Добавил: Jocker | Теги: создание файла, создание robots.txt, правильный robots.txt, robots.txt | Рейтинг: 0.0/0

Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Профиль

Привет, Гость
Вы в группе: Гости

Партнеры
Партнеры сайта ProSIdr

Купить лобовое стекло недорого, купить в магазине лобовое стекло. Продаем локальные очистные сооружения всех видов в Ростове

Реквизиты
Наши кошельки
WMU - U202985913646
WMR - R188616388079
WMZ - Z277596519981
WME - E201827653504

Наш баннер
Мы будем Вам признательны, если Вы разместите нашу кнопку у себя на сайте. Если Вы хотите обменяться с нами баннерами, пишите на форум в тему "Баннерообмен"

Наши баннеры

Переходы с ПС
Загрузка...

Новости

Календарь
«  Январь 2011  »
ПнВтСрЧтПтСбВс
     12
3456789
10111213141516
17181920212223
24252627282930
31

Опрос
Есть ли будущее у сайта?
Всего ответов: 44

Статистика
Зарегестрировано
Статистика материалов
Общая статистика
Онлайн:
Онлайн всего: 4
Гостей: 4
Пользователей: 0
За сегодня: 19Anton98, kilapoun, fiace, SamuilSake, Arturikmi, Armilteddy, Frankiesar, BOSS-13, CarlosTark, UQDouglasmof, LatinaPap, AnnushkaRake, nikteabsAbrastek, PrestonBag, SamuelRone, Anthonyeffok, [Полный список]


www.megastock.ru
Анализ сайта Яндекс.Метрика

Администрация сайта не претендует на авторские права. Материалы предоставленные на сайте, принадлежат их владельцам и предоставляются исключительно в ознакомительных целях.
Cайт оптимизирован для просмотра браузером Opera, Google Chrome, Mozilla Firefox, Safari.
           

Яндекс.Метрика
Яндекс.Метрика