Ускорение индексации ссылок

 Я не первый день в сети, поэтому знаю, что многие ломают голову над вопросом: как ускорить индексацию ссылок? Да, что проблема, то проблема.

Просто тут недавно так получилось, что заказывал прогон хрумером нескольких страниц одного сайта, и возникла необходимость в короткие сроки проиндексировать более 3 тысяч урлов. Поэтому очень кстати получилось, что на меня вышли ребята из LetUsIndex – сервиса по ускорению индексации ссылок. Пообщавшись, понял, что люди адекватные, и в теме. Но фиг бы с ним, людей в теме и адекватных хватает, да только не все они способны генерировать классные идеи  Правда, не в данном случае

Мне сервис сразу понравился. Не то чтобы функционал сразу цеплял. Нет, проблем очень даже хватает. Например, пока нашел, как зайти в форму, где оформляется задание на индексацию урлов, то заколебался тыкать в ссылки. Но вообще идея турбо ускорителя индексации ссылок понравилась. В какой-то степени можно управлять скоростью влета ссылочного в индекс.

Например, если сайт старый, трастовый, то, как правило, ссылочный взрыв ему не страшен. Санкций здесь со стороны поисковых систем не будет, особенно если это новостной сайт. Но если это еще не окрепший молодняк, то что делать в этом случае?

Я вообще и для молодых сайтов прогон хрумером заказывал, и ничего, не дохли. Здесь главное – правильно рассчитать время появления в поле видимости поисковых систем этих ссылок. Если на мой молодой сайт сегодня в один миг появилось несколько тысяч внешних ссылок, то это еще не означает, что он будет подвергнут пессимизации в честь ссылочного взрыва. Ведь все зависит от того, как быстро попадут эти ссылки в индекс, и как много их будет попадать в индекс за один раз.

То есть, задачи у вебмастера в плане индексации ссылок могут быть следующими:

Во-первых, урлы нужно загнать в индекс

Во-вторых, если этих урлов очень много, как в моем случае после прогона хрумером, то загнать их все быстро в индекс представляется весьма нелегкой задачей. Но все-таки это нужно как-то сделать

В-третьих, если урлов с нашими ссылками слишком много, то желательно загонять их в индекс постепенно, небольшими порциями. Так спокойней

Все это умные разработчики сервиса letusindex.com учли, поэтому теперь у всех пользователей сервиса есть возможность загонять урлы в индекс с филигранной точностью, буквально по расписанию

Принцип работы сервиса

В основе работы letusindex.com положено две технологии – ping-сервисы и RSS. В сервисе эти две технологии переплетены, то есть, они взаимосвязаны и работают синхронно. Ping-сервисы необходимы для того, чтобы сообщить поисковикам, что у нас есть измененные страницы, а с помощью технологии RSS можно растягивать данный процесс по времени. Это нужно, чтобы поисковики не посчитали нас спамерами. То есть то, о чем я уже говорил выше.

Здесь сразу может возникнуть вопрос такого плана. В WordPress есть возможность указать свой список ping-сервисов. И когда у нас будет выходить новый пост, то механика движка позволяет на автомате пинговать наш урл. То есть, если смотреть с этой колокольни, то можно подумать, что нафига нам в этом случае ускорение индексации ссылок и страниц?

Поэтому здесь учитывайте вот что. Первое: что, если перед вами стоит задача проиндексировать не страницы вашего блога или сайта, а тысячи урлов, расположенных на сторонних сервисах? Второе: что, если у вас движок не WordPress? Как тогда решать эти задачи?

То есть, понятно, что в данном случае, вообще сама идея сервиса, и реализованные в ней функции достаточно актуальны на данный момент. В общем, с этим разобрались. Если нет, то попробуйте разобраться при помощи схемы.

А теперь я покажу на деле, как работает сервис

Заходим, нажимаем «Добавить фид»

Что означает фид? Говоря простым языком, это означает список урлов, которые необходимо проиндексировать. Изначально подготавливаю txt файл со списком урлов для индексации. Потом с помощью формы загружаю этот список в систему, после чего нажимаю «Далее». Попадают сюда

Название канала: здесь мне необходимо заполнить название канала. Сюда желательно написать какое-то ключевое слово, которое будет характеризовать все наши урлы. Вернее, те ссылки, которые размещены по этим адресам.

Описание канала: здесь мы делаем краткое описание канала

Ссылка канала: сюда просто указываем адрес сайта, который мы продвигаем.

Обратите внимание на чек-бокс под названием «Парсить тайтлы ссылок». Раньше как было? Для всех ссылок нужно было придумывать и пасить ключевики. Теперь это в прошлом. Достаточно поставить галочку и выбрать приемлемый способ обработки данных.

После этого скрипт приведет наши урлы к красивому виду. Он самостоятельно пройдется по ним, и спарсит их тайтлы, дескрипшены, и теги H1-H2, в результате чего наши ссылки в RSS-фиде примут красивый вид. Смотрите пример. Вот это было ДО, а вот это ПОСЛЕ. То есть, разница существенная. Да и выглядит более по-человечески, а не по-спамерски.

Разница между «Автоматически отправлять на пинг» и «Ждать подтверждения» заключается в том, что в первом случае сервис спарсит тайтлы, дескрипшены и всю другую необходимую информацию, и все это добро автоматически отправится на пинг. Во втором случае все это будет представлено вам на одобрение, и в случае необходимости вы сможете внести необходимые коррективы.

Теперь идем дальше. Количество ссылок на фид, и время между отправкой фидов. Что это такое?

Говоря простыми словами, с помощью этого инструмента мы сможем влиять на скорость индексации наших ссылок. То есть, даже в моем случае с прогоном хрумером. У меня более 3 тысяч урлов с моими бэками. Зачем мне, чтобы все они проиндексировались практически одновременно? Так можно и на подзатыльник от Google или Яндекса нарваться. Следовательно, все это нужно делать аккуратно, и отправлять урлы на индексацию небольшими порциями, чтобы все выглядело естественно.

Количество микрофидов зависит от того, сколько ссылок мы зададим на один фид. Например, у нас есть 1000 урлов, которые необходимо проиндексировать. Мы ставим 15 ссылок на один фид. Получаем 67 микрофидов. То есть, каждый такой микрофид будет пинговать по 15 наших урлов. Кстати, вот пример микрофида – http://letusindex.com/feed_fdd40d361b5f3c6c5ddaf915cdc2a879_52119.xml

Теперь что касается времени отправки фидов. Помните, я говорил, что с помощью Letusindex можно управлять временем индексации наших ссылок? Здесь главный принцип – не навреди! Поэтому варьировать можно по-разному. Лично я придерживаюсь такого принципа. При количестве ссылок – 500 шт. выставляю время отправки фидов от 30 до 60 минут. Считаю, это оптимальным.

Когда проект запущен, то мы можем в любой момент времени зайти, и посмотреть лог выполнения нашего задания

То есть мы всегда будем в курсе, на какой стадии выполнения находится наш проект.

Вот, в общем-то, и все нюансы работы, про которые я хотел рассказать. В принципе, можно было бы еще много чего здесь поведать, но тогда FAQ, который старательно писали разработчики данного сервиса, просто потеряет актуальность, и меня начнут читать больше, чем их, что, наверное, ребят из Letusindex не очень то порадует 

Автора автора