Посетите Дворцовую площадь

Разный robots.txt на разных поддоменах


Есть два варианта: первый - если просто нужно избежать склейки поддоменов, второй - если нужны разные правила для разных регионов.

Внимание

Если у вас не работает php в txt, то просто создавайте не .txt, а .php файл, для этого просто отметьте нужную галочку. Это и есть обходной путь.

Robots.txt с одинаковыми правилами на разных поддоменах

Идём в Сервисы -> Регионы продаж, на вкладку "Robots.txt (простой путь)". Выглядит она так:

Robots.txt (простой путь)

Теперь, допустим, изначально robots.txt выглядит так (это, кстати, стандартный набор правил для Битрикса):

User-Agent: *
Disallow: */index.php
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*PAGEN
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Host: av-promo.ru

Видим, что адрес сайта - "av-promo.ru", значит в форму подставляем "av-promo.ru". Нажимаем кнопку "Сделать динамическим", проверяем результат на поддоменах. Всё, кроме адреса сайта в "Host" будет одинаковым для всех регионов, но мы уберегаем себя от склейки за счёт того, что адрес сайта получается разный.

Robots.txt с разными правилами на разных поддоменах

Смысл этого способа в том, что можно прописывать абсолютно разные robots.txt, с разными правилами для отдельных поддоменов. Например, запретить на определённом регионе индексацию страницы доставки.

Для этого в инфоблоке регионов создаём свойство региона "robots.txt" типа HTML/текст (код, например, "ROBOTS_TXT") и заполняем его у разных регионов тем содержимым, которое вам нужно.

Свойство для robots.txt

Затем идём на вкладку - "Robots.txt (сложный путь)". Указываем там созданное свойство.

Robots.txt (сложный путь)

Нажимаем на кнопку "Сделать динамическим" и проверяем работу файла /robots.txt на поддоменах.

Кстати, для быстрого старта всем регионам можно быстро заполнить это свойство с помощью формы на той же вкладке.

Пакетное задание значение robots.txt регионам

Важно! Редиректы

Если вы создали php-файл, то его расширение будет .php, а значит адрес - /robots.php. А адрес robots.txt всегда должен быть robots.txt. Следовательно, нужно прописать редирект. Ниже правило для такого редиректа в .htaccess:

RewriteRule ^robots\.txt$ /robots.php [L]


Аристов Василий
Разработчик всех модулей на проекте

Теги



Что-то осталось непонятным или вы нашли неточность? Напишите, пожалуйста об этом в комментариях.

Написать комментарий

Чтобы писать комментарии, вам нужно войти на сайт

Авторизоваться через соцсеть

Авторизоваться через vk.com Авторизоваться через facebook.com

Хотите такие же комментарии себе на сайт? Купите готовый к установке модуль