Соберите User-agent, Allow, Disallow и Sitemap и скопируйте готовый robots.txt.
Все инструменты
Сайт использует cookie для улучшения работы. Принимая, вы соглашаетесь с Политикой конфиденциальности.