Как роботы поисковых систем сканируют сайты

Как Яндекс и Google «смотрят» на сайты

Владельцы сайтов нередко задаются вопросом, почему результаты продвижения в Яндексе и Google значительно разнятся. Дело в том, что в алгоритмической формуле этих поисковых систем существует ряд отличий, знать о которых в практике оптимизации крайне полезно. Сегодня мы поговорим о характерных особенностях обоих поисковиков при оценке релевантности ресурсов и подходе к формированию выдачи, а также о тех подводных камнях, к которым нужно быть готовым грамотному оптимизатору.

Индексация документов

В поисковой системе Google существует два типа индекса: основной и дополнительный (Supplemental Index), в который попадают менее полезные, по мнению поисковика, документы (как правило – дубли или страницы с малым объемом контента). Эти страницы не участвуют в результатах поиска, о чем многие владельцы ресурсов даже не догадываются. Определить попавшие под фильтр документы можно следующим способом: в строке поискаGoogle необходимо набрать запрос вида site:www.somesite.ru/& и получить перечень страниц в основном индексе. Страницы, которые были проиндексированы, но в списке не отражаются, занесены в дополнительный индекс. Их следует отредактировать и заполнить информацией либо (если это не имеет смысла) удалить или закрыть от индексации.

Приведем несколько рекомендаций касательно того, как поступать с разными типами страниц, попавшими в дополнительный индекс Google:

  • служебные разделы и малозначимые для поискового продвижения страницы (например профили пользователей) стоит закрыть от индексации, а для избавления от дублей страниц можно использовать канонические URL;

  • разделы каталога, подкаталога, категорий (и им подобные) необходимо наполнить сопроводительным описанием и проставить на них несколько «жирных» внешних ссылок;

  • страницы товаров, содержащие неуникальную информацию, можно вывести в основной индекс путем покупки пары-тройки дешевых обратных ссылок.

Обновление выдачи (апдейт)

И в Google, и в Яндексе существуют быстроботы, которые постоянно сканируют поисковую базу на предмет появления новых документов или изменения старых. Однако обновление баз данных, называемое «апдейт», происходит в каждой из поисковых машин с разной периодичностью. Апдейты в Google случаются ежедневно, за счет чего обновленные документы на сайте практически сразу попадают в индекс и начинают участвовать в поиске. Проходят они достаточно спокойно и не вызывают таких потрясений, как апдейты Яндекса. Последний томит оптимизаторов длительным ожиданием и «выкатывает» обновления раз в 1-2 недели. При этом нередко преподносит сюрпризы в виде сильного «шторма» поисковой выдачи, влекущего серьезное изменение позиций страниц (роста или пессимизации). Поэтому вебмастера и SEO-специалисты внимательно следят за апдейтами Яндекса и отводят на форумах отдельные ветки для их обсуждения.

Внешние ссылки

Ссылочный фактор по-прежнему играет значимую роль в формуле ранжирования обеих поисковых систем. Но, что касается продвижения в Яндексе, здесь необходимо подбирать ссылки гораздо более тщательно – без естественных ссылок (как с анкорами, так и без них), обеспечивающих переходы на продвигаемые страницы, добиться положительных результатов внешней оптимизации будет едва ли возможно.

Google также предъявляет высокие требования к качеству внешних ссылок, однако не слишком строг в отношении их тематичности и разнообразия источников ссылочной массы. Зарубежный поисковик очень хорошо воспринимает сквозные ссылки, наделяя их больши́м весом, а вот лидер поиска рунета предпочитает ссылки как с главной страницы, так и с внутренних и учитывает их суммарный вес. Что касается анкоров, то для Google важны прямые вхождения ключевых слов, а для Яндекса – словоформы. Таким образом, чтобы ссылочное продвижение было эффективным повсеместно, необходимо повышать качество ссылочной массы и делать ее более разнообразной.

Внутренняя оптимизация

Качество сайта – важнейший фактор для обеих поисковых систем. И все же Google более внимательно смотрит на оптимизацию каждой отдельно взятой страницы и на ее релевантность поисковому запросу. Большое значение в процессе оценивания придается внутренней перелинковке, мета-тегам Title и Description (последний используется для формирования сниппета), микроразметке страниц, размещению кнопок и виджетов социальных сетей. Кроме того, в последнее время специалисты Google все больше акцентируют внимание вебмастеров на важности адаптации сайта под мобильные устройства, что является одним из факторов ранжирования страниц в мобильном поиске. Яндекс, безусловно, тоже смотрит на оптимизацию ресурса, но при этом первостепенное значение придает уникальности контента (об этом ниже) и заголовкам страниц Title.

Контент

Роль контента при продвижении в Яндексе значительно выше. Если Google достаточно лоялен к рерайтам и индексирует даже неуникальные тексты и картинки, предоставляя по ним трафик, то Яндекс строго учитывает фактор уникальности и тематичности содержимого сайта, понижая в выдаче страницы с заимствованным контентом или совсем не включая их в индекс. Что касается распределения ключевых слов в контенте страницы, то рекомендуется употреблять наиболее важные запросы выше остальных (в начале текста), а также «разбавлять» контент их синонимами. Текст должен быть естественным, не переспамленным ключами и легко восприниматься пользователем.

Показатели сайта

При создании и оптимизации сайта стоит учитывать, что Google негативно воспринимает низкую скорость загрузки страниц и может наказать за это снижением позиций. Это настолько важно, что специалисты поисковой системы создали специальный инструмент проверки скорости загрузки, чтобы помочь вебмастерам выявить проблему заранее. Оптимальный результат – не менее 90 баллов из 100 возможных. Что касается возраста сайта, то Google дружелюбно относится к молодым ресурсам и, при условии их грамотной оптимизации, пропускает в ТОП гораздо быстрее, нежели это делает Яндекс.

Региональность

При продвижении только в Google можно вообще не думать о таком понятии, как региональность. Обратная ситуация с Яндексом, где необходимость выбора региона продвижения обусловлена геозависимостью запросов. В большей степени этот фактор касается коммерческих сайтов, продающих товары или услуги на локальных рынках. Яндекс отображает и ранжирует такие ресурсы в каждом регионе по-разному (хотя погрешности не исключены и, например, в московской выдаче по геозависимому запросу можно обнаружить новгородский интернет-магазин). Присвоить регион сайту можно через сервис Яндекс.Вебмастер.

Скорость выхода в ТОП

С учетом сроков индексации документов и систем апдейтов, средний срок вывода сайта в ТОП Яндекса занимает более 4 месяцев (в конкурентных коммерческих тематиках – от полугода и более), в ТОП Google возможно выйти и за 1-2 месяца.

Выводы 

Из практики SEO-специалистов следует, что Яндекс «любит» уникальный тематический контент, уделяет особое внимание коммерческим показателям проекта, пристально следит за поведением пользователей на сайте и приветствует участие ресурса в его собственных сервисах (карты, каталог). Google, в свою очередь, высоко ценит хорошую оптимизацию страниц (структуру, перелинковку, верстку, технические параметры) и лоялен к качественным SEO-ссылкам. Поэтому, применяя комплексный подход к продвижению сайта, вполне реально получать качественный трафик как из ТОПа Яндекса, так и из ТОПа Google.

 

Очередная рассылка promopult-а