Создаём файл robots.txt (указка для роботов)

Файл robots.txt
Открываем блокнот (Пуск - программы - стандартные - WordPad). Сохраняем файл с именем robots, расширение txt.
Я надеюсь, что это не такая уж сложная работа. Думаю справится каждый. Вопросы задавайте на Форуме.


Содержимое файла, если Вы ничего не запрещаете к индексированию:
User-agent: *
Allow: /

Запрещение индексации всего сайта:
User-Agent: *
Disallow:/
Host: Ваш сайт без http://

Засветив наш ресурс в Интернет, перейдем к следующему шагу. Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Поэтому для начала в корне ресурса (сайта, там где Ваш файл index) необходимо создать файл robots.txt и дать на него права доступа на чтение для всех. Затем нужно наполнить файл смысловым содержанием, понятным для поисковых роботов. Содержание файла должно быть следующего характера:

Файл robots.txt.


Назначение команд и переменных в данном файле несут поисковому роботу следующую информацию: User-agent: * – доступ и индексирование на данном ресурсе разрешается всем поисковым роботам; Disallow – запрещается посещать и индексировать поисковым роботам папки. Это нужно для ограничения доступа к какой-то части ресурса. В данной конфигурации ограничивается доступ к папкам ресурса: cgi-bin, admin, files, images, styles и subs.




Главная сайта || Образцовая характеристика в военкомат || Заработок - Бизнес, подработка || Профессии || Работа на дому || Cтатьи о работе и трудоустройстве || Sovet || Sovet1 || Sovet2 || Sovet3 || Sovet4 || Sovet5 || Sovet6 || Sovet7 || Работа, бизнес и предпринимательство. Часть 1 || Работа, бизнес и предпринимательство. Часть 2 || Работа, бизнес и предпринимательство. Часть 3 || Должностные инструкции и Статьи о работе. Часть 1 || Должностные инструкции и Статьи о работе. Часть 2 || Должностные инструкции и Статьи о работе. Часть 3 || Avto || Avto1 || Avto2 || Moto || Moto1 || Moto 3 ||

Домашний бизнес: Часть 1 || Часть 2 || Часть 3 || Часть 4 ||

Статьи для Мужчин и Женщин || Статьи о красоте, здоровье и сексе || Женская красота и здоровье || Статьи о работе, красоте, здоровье и домашних животных || Статьи о красоте, моде, здоровье || Статьи о сексе, сексуальности и красоте женщин || Знакомства и интимные отношения современных Мужчин и Женщин || Современный секс, красота и здоровье ||

Яндекс.Метрика facebook    twitter    vk

2