Сегодня, бегло просматривая показатели блога, я в очередной раз зацепился глазом за количество проиндексированных страниц — в Яндексе 330, в Google 1020. Практически разница 3 к 1! Это не так уж и плохо, но нежелательно и лучше приводить всё к единому виду.

Я начал анализ. Посмотрел выдачу в Google по моему сайту (вбиваем в строке запроса site:deadblog.ru и смотрим) и заметил, что очень много страниц — это обычные страницы с добавленным параметром ?replytocom. Данный параметр добавляет WordPress при включенных древовидных комментариях.

Далее я расскажу, как решил проблему.

robots.txt

Но есть одна проблема. В robots.txt у меня добавлено правило Disallow: *?*, которое должно закрывать все адреса с любыми параметрами от индексации. Но как видно в выдаче, хоть в robots и закрыто, Google игнорирует это правило. Хотя даже «Инструменты для веб-мастеров» от Google говорят о том, что страница закрыта:

Но всё равно рекомендую закрывать технические страницы с помощью правила Disallow: *?*.

Инструменты для веб-мастеров

Следующим моим шагом был анализ происходящего с блогом, с помощью www.google.com/webmasters. Инструменты для веб-мастеров от Google — это что-то типа вебмастера от Яндекс, очень полезная и незаменимая вещь, особенно при проблемах с сайтом. Если ты ещё не пользуешься, обязательно начинай, нельзя предугадать когда пригодится, но то, что пригодится — это однозначно.

Не буду углубляться в описание сервиса, потыкай по кнопкам, поброди по меню, много интересного и всё понятно без описания. Перейду сразу к самой важной части.

Параметры URL

Заходим в «Сканирование — Параметры URL». Данный раздел это очень крутая вещь для того, чтобы указать роботу Google как ему обрабатывать параметры сайта и для чего эти параметры на сайте используются.

Немного отвлечёмся. Параметры — это часть адреса, добавленная после вопросительного знака. Пример: «site.ru/article-name?replytocom=11», в данном случае тут «site.ru/article-name» адрес статьи, а «replytocom» параметр, который содержит значение 11. Если ещё глубже вдаться в подробности, то replytocom — это параметр, который говорит о том, что сейчас мы отвечаем на комментарий с id указанным в качестве значения параметра(в примере выше это 11).

И вот таких параметров может быть куча. И все они либо уже указаны в вебмастере от Google, либо можно туда их добавить самому.

Настройка параметров

У меня уже все параметры были указаны (на скриншоте уже настроенные параметры, поэтому у меня и у тебя могут не совпадать описания):

Мы видим параметр, количество страниц с данным параметром, настроенные действия и возможность изменить действия с параметром.

Нажимаем «Изменить» и выбираем «Да, параметр изменяет, реорганизует или ограничивает содержание страницы». Выбрав данный пункт мы берём на себя всю ответственность по настройке параметра. Если же мы выберем «Нет, параметр не влияет на содержание страницы», то настраивать параметр будет Google за нас.

Далее делаем как на скриншоте:

Самая главная настройка — в пункте «Какие URL, содержащие этот параметр, должен сканировать робот Googlebot?» устанавливаем «Никакие URL». Этим самым мы запрещаем боту индексировать данные страницы и избавляемся от лишних страниц в выдаче.

Что означают параметры?

Если ты видишь неизвестные параметры, то при настройке параметров(скриншот выше) есть ссылочка «Показать примеры URL», благодаря которой можно узнать что это за параметр и для каких страниц он выводится:

Вот несколько параметров, которые мешаются у меня на блоге:
— replytocom: параметр WordPress при включенных древовидных комментариях;
— srp: параметр от плагина Comment Subscriptions;
— sra: параметр от плагина Comment Subscriptions.