Генератор Robots.txt

Создайте корректный robots.txt с помощью чекбоксов, с правилами для каждого бота и уже включённой директивой sitemap.

robots.txt

Ничего, что вы вводите, не загружается, не сохраняется и не отправляется куда-либо. Всё работает в вашем браузере.

Что делает и чего не делает robots.txt

Это не средство безопасности. Файл публичный. Список /admin сообщает всем, где находится ваш админ.
Disallow не является noindex. Заблокированная страница всё равно может быть проиндексирована внешними ссылками — она будет проиндексирована без описания. Чтобы полностью исключить её из индекса, разрешите сканирование и отдавайте noindex.
Никогда не блокируйте CSS или JS. Google рендерит страницы; блокировка ресурсов делает ваш сайт выглядящим сломанным для него.
Он существует только в корне. /robots.txt, нигде больше, по одному на поддомен.

В какой‑то момент недостающий фактор — авторитет, а не правила сканирования.