Метатег Robots и X-Robots-Tag

Избавьтесь от технических страниц в поисковой выдаче без помощи разработчика

Сложная структура каталога, фильтры и обилие GET-параметров — частая причина появления дублей и технических страниц в индексе поисковых систем. Они конкурируют с важными разделами, размывают релевантность и мешают продвижению. Модуль «Метатег Robots и X-Robots-Tag» решает эту задачу на уровне административной панели: вы создаёте правило, указываете URL или маску — и модуль сам выводит нужные директивы. Никаких правок шаблонов, компонентов или серверных конфигов. SEO-специалист или администратор сайта может управлять индексацией без участия разработчика, экономя бюджет на мелких технических доработках.

Система работает через события 1С-Битрикс, поэтому не требует изменения стандартных шаблонов или кастомизации. После установки модуля вы сразу можете задавать правила для конкретных страниц, разделов, масок URL или регулярных выражений. Например, легко закрыть от индексации все страницы фильтрации (#^/catalog/.*/filter/#) или служебные разделы. Это особенно полезно для интернет-магазинов с большим каталогом, где каждый день появляются новые комбинации фильтров и сортировок.

Два способа передачи директив и гибкая настройка для разных поисковых систем

Модуль поддерживает как HTML-метатег robots, так и HTTP-заголовок X-Robots-Tag. Вы можете выбрать подходящий способ для каждого правила или использовать оба одновременно. Это позволяет передавать команды поисковым роботам на уровне страницы и на уровне HTTP-ответа, что особенно важно для страниц, которые сложно перехватить через метатег (например, для изображений или файлов).

Отдельная возможность — разделение директив по поисковым системам. Вы можете задать общее правило для всех роботов (robots), а затем уточнить поведение для Яндекса (yandex), Google (googlebot) и Bing (bingbot). Например, запретить индексацию страницы для всех роботов, но разрешить её для Googlebot, или наоборот. Это удобно, когда требуется разное поведение в разных поисковиках.

Полный набор SEO-директив и работа с GET-параметрами

В модуле реализованы все популярные директивы, которые используются в техническом SEO. Вы можете запретить или разрешить индексацию страницы (noindex/index), управлять переходом по ссылкам (nofollow/follow), скрывать сохранённые копии (noarchive), текстовые сниппеты (nosnippet), изображения (noimageindex) и даже отключать предложение перевода страницы (notranslate). Также доступна директива unavailable_after — она позволяет указать дату, после которой страница исчезнет из поиска. Это удобно для акций, временных предложений или новостей с ограниченным сроком актуальности.

Особое внимание уделено работе с GET-параметрами. Вы можете настроить правила так, чтобы одни URL с параметрами (например, /catalog/?sort=price) оставались открытыми для индексации, а другие (например, /catalog/?filter=color) закрывались. Это помогает точечно управлять страницами фильтрации, сортировки, поиска и пагинации, которые часто создают дубли в выдаче. Модуль позволяет учитывать или игнорировать конкретные параметры, что даёт гибкость без необходимости писать сложные регулярные выражения.

Импорт и экспорт правил — работа с большими объёмами без рутины

Для крупных проектов или SEO-аудитов модуль поддерживает импорт и экспорт правил в форматах CSV и XLSX. Вы можете подготовить таблицу с правилами в Excel, загрузить её в модуль и сразу применить — не нужно создавать каждое правило вручную. Это ускоряет настройку, если у вас десятки или сотни страниц, которые нужно закрыть от индексации. Кроме того, экспорт позволяет сделать резервную копию настроек, перенести правила между сайтами (например, с тестового на боевой) или проанализировать текущие настройки вне административной панели.

Импорт особенно полезен после SEO-аудита: вы получаете список URL, которые нужно закрыть, формируете таблицу с масками и директивами — и загружаете её в модуль. Это экономит часы ручной работы и снижает риск ошибок при массовом внесении изменений.

Многосайтовость и совместимость с современными версиями Битрикс

Модуль поддерживает многосайтовость 1С-Битрикс, что удобно для проектов с несколькими доменами, региональными версиями или разными сайтами на одной установке. Вы можете использовать общие настройки для всех сайтов, отдельные правила для каждого или привязывать правила к конкретному домену. Это даёт гибкость в управлении индексацией для сложных мультисайтовых структур.

Важно: модуль корректно работает на актуальных версиях 1С-Битрикс, поддерживает PHP 8.x и совместим с композитным режимом. Он одинаково хорошо работает как с готовыми шаблонами, так и с индивидуальным дизайном. При этом не стоит путать его с файлом robots.txt — модуль управляет именно метатегом robots и HTTP-заголовком X-Robots-Tag, которые действуют на уровне уже просканированной страницы. Если страница запрещена в robots.txt, поисковик может не увидеть директивы модуля, поэтому для корректной работы страница должна быть доступна для сканирования.