Dubrowsky
Хроники одного дупла
Блогово  →  SEO  → 

Письмо в Яндекс про дубли страниц и клоакинг

10 Апреля 2013 года

Продолжаем разговор про дубли, начатый в предыдущем посте. Написал по-быстрому письмо Платонам по поводу своего гипотетического решения проблемы дублей, и вот оно перед вами.

Напомню, в случае, когда CMS определила страницу как не-каноническую, я предлагаю отдавать поисковикам 301 редирект на канонический адрес, ориентируясь на метод HEAD (вполне законно) либо на User-Agent (не вполне законно), а всем остальным клиентам (включая поисковики, которые не удалось определить как поисковики) - отдавать 200 заголовок, но с добавлениемв секцию head.

Поскольку Платоны не всегда отвечают на письма (почти всегда отвечают, но мало ли), а возможности посмотреть историю обращений в фидбэк нету, сохраняю письмо на память.

Здравствуйте, Платон!

Я работаю в компании NetCat, мы делаем одну из самых популярных коробочных CMS в рунете.

Некоторые пользователи указывают нам на проблему с возможным возникновением дублей страниц в индексе из-за того, что при добавлении произвольных параметров к URL отдаются одинаковые страницы с 200 заголовком.

Буду благодарен, если ответите на некоторые вопросы.

1. Существует ли в принципе такая проблема и надо ли специально ее решать на уровне CMS?

2. Делает ли робот Яндекса HEAD-запрос перед скачиванием документа, или сразу запрашивает документ методом GET?

3. Если HEAD-запрос не делается, допустимо ли следующее поведение системы для не-канонических страниц:
- роботу отдавать 301 заголовок и перенаправление на каноническую страницу
- пользователю показывать страницу с 200 заголовком и добавление

Использование клоакинга в этом случае позволит экономить трафик и не заставлять робота скачивать и разбирать заведомые дубли. С другой стороны не пострадают счетчики статистики, использующие get-параметры в качестве меток (utm_source и т.д.).

Заранее благодарен.

И напоследок - о хипстерах, давненько мы их не вспоминали. Как известно, хипстеры - не только думающая молодежь, но и слушающая. То есть все прямо меломаны, меломан на меломане. И очень часто они слушают музыку в личном авто. В связи с этим я хочу провести исследование, чтобы узнать, какова средняя стоимость сабвуфера, установленного в среднестатистическом Mini Cooper среднестатистического пользователя lookatme. Если вы попадаете в это множество, отпишитесь в камментах, плиз.

Камменты

Вячеслав04.08.2014, 11:04#
Спасибо за информацию!

Написать коммент: памятка постеру

 

Крутые посты wtf??? →

08.02.2008 · 25 камментов · рейтинг 5.81
02.10.2012 · 94 каммента · рейтинг 5.46
05.02.2008 · 18 камментов · рейтинг 4.93
02.03.2012 · 12 камментов · рейтинг 4.74
19.07.2012 · 9 камментов · рейтинг 4.18

Последне камменты

23.06.2022  Артур Кадыров РоссияЯндекс - калькулятор онлайн, в поиске, встречайте!: Почему ты люди вас хватит говорит? А если ремни бо...
09.06.2022  Танк Жопа жопа жопатам же: 222235555522221242424242
09.06.2022  Танк Живыетам же: Покажи ЖОПА покажи придурак порно
29.05.2022  мой шумный домтам же: А у меня 5 "А" сл. 1 сентября 6 "А"
29.05.2022  Артуртам же: У меня 3"Б" класс а следушие 1 сентября 4"Б" класс

Статсы