Как создать Robots.txt
Как создать Robots.txt и зачем он нужен.
Robots.txt - текстовой файл который создается для поисковых роботов для ограничения их доступа к содержимому на http сервере. Для создания Robots.txt вам понадобиться блокнот.
Как правильно создать Robots.txt для Яндекс подробно описано .
После того как вы создали robots.txt его необходимо загрузить в корень вашего сайта.
