Все для создания и продвижения сайтов

Верстка, программирование, SEO

Генератор robots.txt

Генератор robots.txt

Данный инструмент поможет вам создать файл robots.txt, который содержит в себе правила для индексации для поисковых машин.


Разрешить этим роботам индексировать сайт


Пример пути: /catalog/


Ваш Robots.txt

Robots.txt - этот файл, который содерижит в себе правила индексации для поисковых машин. Он может избавить вас и других людей от мусора в поисковых системах. Чаще всего его используют, чтобы закрыть от индексации неуникальный контент или же системные папки. А также с помощью него можно легко включать или выключать сайт для видимости поисковых систем.

Выделите опечатку и нажмите Ctrl + Enter, чтобы отправить сообщение об ошибке.