Странно, но поисковики, особенно Яндекс, придумывает кучу разных стрниц с гет-параметрами, которых действительно нет и небыло на сайте.
Например раздел "Вопросы и ответы" реально содержит страницы:
/voprosy-i-otvety/
/voprosy-i-otvety/?PAGEN_1=2 [1=3,1=4,1=5 и т.д.]
И тут вдруг в индекс начинают лезить их дубли типа:
/voprosy-i-otvety/?
7=&PAGEN_1=1
/voprosy-i-otvety/?
2=&PAGEN_1=1
Как убрать из индексации ненужные дубли? Код файла
component_epilog.php компонента
Элементы раздела (catalog.section):
<?if(!defined("B_PROLOG_INCLUDED") || B_PROLOG_INCLUDED!==true)die();?>
<?if(strpos($APPLICATION->GetCurPageParam(),"?") )
{?>
<?if(!strpos($APPLICATION->GetCurPageParam(),"?PAGEN") )
{?>
<?
$APPLICATION->SetPageProperty("robots", 'noindex, nofollow');
?>
<?}?>
<?}?>
<?if(strpos($APPLICATION->GetCurPageParam(),"PAGEN"))
{?>
<?
$APPLICATION->SetPageProperty("title", $APPLICATION->GetPageProperty("title").' — cтраница '.$_GET["PAGEN_1"]);
$APPLICATION->SetPageProperty("description", $APPLICATION->GetPageProperty("description").' — cтраница '.$_GET["PAGEN_1"]);
?>
<?}?>
В нем мы говорим: если урл содержит знаки ?, то идет следующая проверка: если урл не содержит ?PAGEN то говорим ему noindex.
Второй блок кода уникализирует title и description постраничек, без него тоже — никуда.