Необходимым условием для правильной индексации сайта является наличие в вашей корневой папке файла robots.txt. Robots.txt – это текстовый файл, содержащий параметры индексирования вашего сайта. Подробнее о robots.txt можно почитать на Яндекс – Вебмастер – Как Яндекс индексирует сайты – Использование robots.txt. Если полностью разобравшись, вы решите самостоятельно сделать файл robots.txt, то написать его можно в Блокноте вашего компьютера и сохранить с расширением .txt (robots.txt).

Работа с текстовым файлом robots.txt

Я же предлагаю вам воспользоваться готовым вариантом файла robots.txt, который мне достался из очередного тренинга. Ну и в принципе по запросу в Интернете можно найти готовые файлы robots.txt и применить именно их. Бывают, что они отличаются: тут уж выбирайте сами.

Скачайте архив по этой ссылке и откройте его. Полностью скопируйте текстовый файл из  robots.txt и вставьте его в блокнот. Теперь, внимание! Чтобы данный файл работал, необходимо заменить название моего тестового сайта (test131.ru) на название вашего сайта в следующих строках: Host, Sitemap и Sitemap. Будьте аккуратнее, меняйте только название сайта, не удаляйте лишних символов и не ставьте ненужных пробелов. Далее Файл – Сохранить как – наименование robots.txt (запомните папку на компьютере, куда сохраняете) – Сохранить.

Последним этапом мы загрузим данный текстовый файл robots.txt в корневую папку сайта public_html.

Идем в Консоль нашего хостинга TimeWeb  в папку Файловый менеджер.

В ней находим свой сайт, в который мы хотим установить текстовый файл robots.txt. Двойным щелчком мы попадаем в папку public_html. Так же откройте ее.

Вверху нажмите Файл – Закачать и выберите текстовый файл robots.txt из папки – Закачать.

Все: robots.txt установлен и лежит в нашей папочке public_html.

Чтобы проверить, правильно ли установлен данный файл, посмотрите мой короткий видеоролик:

Денежные ручейки