|
|
| Реклама на сайте |  |
ДЛЯ ЧЕГО НУЖЕН ROBOTS.TXT?
Robots.txt находится в корневой части вашего сайта. Служит данный файл подсказкой для поисковых роботов к разрешению или запрету индексации отдельных частей вашего ресурса. Набор команд в robots.txt не такой большой и вполне понятный. Как правило, используется следующие варианты написания предпочтений для поисковых ботов:
User-agent: «здесь пишется имя поискового робота для которого ниже будут распространяться заданные правила», в случае если одно и то же правило необходимо указать для всех роботов, то ставится знак «*».
Disallow: «в данном пункте перечисляются адреса страниц (URL частично или полностью), которые поисковым ботом посещаться не должны», присутствие данного пункта – обязательно, если поле оставить пустым, то робот будет понимать такую команду как разрешение на посещение всех страниц сайта.
Как правило, файл robots.txt посещают и пользуются его «рекомендациями» только известные поисковые системы, для остальных ботов данный файл не является каким бы то ни было правилом для индексации, либо вообще не берётся в расчёт поиска.
В связи с тем, что к robots.txt может получить доступ практически любой человек, не стоит указывать в этом файле запрещённые к индексированию «секретные данные» представляющие для вас интерес и ценность, так как мошенники в первую очередь обращают внимание на такого рода «подсказки».
Источник: http://scripts-for-ucoz.ru/ |
| Категория: Статьи для ucoz | Добавил: (24.01.2016)
|
| Просмотров: 364
| Рейтинг: 0.0/0 |
Добавлять комментарии могут только зарегистрированные пользователи. [ Регистрация | Вход ]
|
|
|
