Всегда используйте директиву Host!

robots.txt гугла на ХеллоуинЗдрассьте.

Этот пост будет довольно коротким. Познавательным для многих, слегка поучительным для меня.

У меня есть один СДЛ, возраст которого чуть более полутора лет. Все тексты на нем уникальные, писал с любовью к теме, так сказать, дизайн рисовал сам — в общем, СДЛ чистой воды.

С каждым апом увеличивалось количество страниц в выдаче, росла посещаемость — и так полтора года. Зарабатывал на нем стабильно. Немного, но стабильно — расходы покрывались и еще оставалось много.

В конце декабря, в очередной ап выдачи у сайта вылетело из индекса ~400 страниц (всего было 560 вроде, ну плюс/минус 20 пусть). Ну, подумал, паниковать не стоит, может в следующий ап вернутся, слышал уже такие истории.

Следующий ап 7 января — вылетают еще 100 страниц (за это время, надо сказать, контент все также добавлялся, все такой же уникальный и для людей).

Решил-таки написать в техподдержку Яндекса, мол, посмотрите, что там с моим сайтом. Привел в пример пяток страниц, вылетевших из индекса. Ответили, что «в данный момент сайт www.домен.ru не индексируется в связи с тем, что он отдаёт редирект 301 на сайт домен.ru«.

Посоветовали указать главное зеркало в robots.txt при помощи директивы Host, что я сразу и сделал. А заодно и остальным своим сайтам, а то мало ли — через пару лет вылетят из индекса, и ищи потом проблему. В общем, ожидаю возвращения сайта в индекс в течение месяца. Как вернется — сообщу, пожалуй.

Всегда ваш, Александр.

Всегда используйте директиву Host!: 8 комментариев

  1. terobait48

    вротмненоги, у меня на всех варезниках не прописана директива хост, ибо роботс.тхт генерится движком, а не я его добавляю.
    p.s: а как же он твой СДЛ до этого в индексе-то был? если хост не был прописан, то он по идее должен был сразу вылететь из индекса.

    1. FRUTALITY Автор записи

      в том и дело! Жил себе абсолютно спокойно, я даже подумать не мог, что может что-то произойти из-за отсутствия Host.

  2. chemax

    бред, поддержка яндекса бессмыслена и беспощадна)
    какого фига они приняли 301 домен за основной?

    P.S. тоже вылетело более 50к страниц с одного, и с других по 15-30к )

    1. FRUTALITY Автор записи

      На блогспоте и подобных платформах о вашем robots.txt позаботились (или, по крайней мере, должны были это сделать) владельцы платформы.

  3. Игорь

    у меня такая же проблема пропало 2000 с небольшим страниц потом вообще сайт выпал из индекса в вебмастере стоит зеркало с 250 страницами и всё так уже месяц написал в поддержку ответили пропишите директиву host без трёх www просто домен.рф не знаю поможет это или нет может кто сталкивался посоветуйте правильно сделал или нет

    1. FRUTALITY Автор записи

      Вроде все правильно прописали. Ждите теперь, Яндекс тормоз.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>