Подробный мануал по доменам и дропам

Любое знание в любой сфере имеет пирамидальную структуру. Есть такое выражение: если ты не можешь обьяснить пятилетнему ребенку, как работает ракета, то ты не знаешь, как она работает. Дело в том, что чтобы знать, как работает ракета, нужно понимать, что есть реактивная тяга, сопротивление воздуха, как работает гравитация, давление, радио, и еще множество вещей. Но недостаточно только это понимать, нужно понимать и элементы, на которые опираются эти сущности. 

То же самое и в сео. Да, вы можете выучить с ноля как оптимизировать страницы и покупать ссылки, но если ваши знания не опираются на жесткую базу, вы будете постоянно ошибаться, ваши результаты будут нестабильными и ваша эффективность никогда не достигнет эффективности тех, у кого такая база есть, вы будете верить в откровенно лживые, ошибочные сео-сказки, мифы, легенды, слухи и т.п. 

С другой стороны, если ваши знания имеют "пирамидальны", то вы можете расти в сео гораздо дальше, оптимизируя все ваши сео-процессы, зарабатывая больше при гораздо меньших затратах времени и сил. Это то место, когда вы ненапрягаясь сеошите, круглогодично попивая коктейль на берегах курортов. Правда, до этого не доходит. Так себя ведут те, кому повезло, а не те, кто заработал это своими знаниями. 

Те же, кто заработали, идут дальше. Они строят больше, больше и еще больше вещей, доводя сео чуть ли не до идеального состояния, не ограничиваясь топ1, но забирая весь топ5, а потом и топ10 под свои сайты. Не ограничиваясь сливом трафа на тривиальные партнерки, но заключая реальные контракты с реальными владельцами бизнесов с доступом к бухгалтерским отчетам.

90% своего времени я трачу на базис, изучая вещи, которые прямого отношения к сео и продвижению сайтов не имеют. Лично я для себя выделяю следующие зоны, которые могут быть частями основания (и здесь я, конечно, упускаю школьное и общеуниверситетское образование как само собой разумеющееся):

• Маркетинг
• Продажи
• Интернет-маркетинг
• Бизнес (MBA, в идеале. Только не то, что в странах третьего мира преподают)
• Менеджмент
• Бухгалтерия
• Системное администрирование
• Программирование (как низкоуровневое, так и высокоуровневое)
• Алгоритмостроение
• Анонимизация
• Теория нейронных сетей
• Администрирование веб-серверов
• Английский язык (вне зависимости от того, где и что вы двигаете)

Я бы еще добавил философию, психологию, здоровое питание, физкультуру, отношения и другие штуки, но это приносит помощь в сео лишь потому, что оно приносит помощь во всем.

Но это все лирика, а эта статья о доменах. Для тех, преимущественно, кто желает основательно углублять свои знания, а не нахвататься по вершкам и идти сеошить. Сразу скажу: если вы не ловите кайф от айти и самообразования, то задача для вас будет очень сложной.

Начнемс:

Давайте я быстренько расскажу, что такое домен и пару слов об этой системе, просто чтобы было. я возьму это в спойлер, чтобы не морочить голову тем, кто уже знает. Тем же, кто не знает, или неуверен, очень советую прочесть и попытаться спойлеры.

В общем о доменах:

Домены были созданы для удобства, чтобы не запоминать айпи. С тех пор они сильно развились и стали выполнять больше функций.

При регистрации домена во многих базах данных разных регистраторов и глобальных днс-серверов появляется запись о свежем домене. Эта запись обязательно включает в себя больше сотни полей, таких как:

• Айди (PK)
• Айди владельца (FK)
• Зона домена
• Имя домена
• Дата регистрации
• Срок (или дата окончания регистрации)
• Регистратор
• mx
• a
• spf
• txt
• ptr
• cname
• soa
• NS1
• NS2
• NS3
• NS4
• NS5
• NS6
  ...

Последние поля вам знакомы. Мы прописываем NS-адреса когда привязываем домены к хостингам, верно? При этом, мы рассчитываем, что на хостинге стоит система, которая является оным NS (NS = Name Server). При любом коннекте к домену (ну или почти любом), начинается процесс резолвинга доменного имени.

Я не собираюсь разбирать все поля, вот здесь можете посмотреть обьяснения по самым популярным:
Доменные имена. Изучаем записи типа A, CNAME, NS, MX.

по остальным же - википедия прекрасно все обьясняет здесь: http://en.wikipedia.org/wiki/List_of_DNS_record_types

Процесс резолвинга я подробно раpберу в следующем спойлере, можете пропустить, если знаете (это интересно знать):

Резолвинг:

Во первых, давайте поделим процесс резолвинга на локальный и глобальный. Для начала поговорим о локальном:

Локальный Резолвинг может варьироваться в зависимости от операционки и настроек операционки. Вы можете поменять эту процедуру и приоритеты как хотите.

Но даже перед операционкой у нас идет приложение, которому этот резолвинг вдруг понадобился. Как правило, это браузер. Нынче все браузеры стали хитрыми, они запоминают отрезолвенные домены и не спрашивают у операционки адрес домена, если им один раз за сессию уже ответили на этот вопрос. Сессия заканчивается с перезагрузкой браузера и, я уверен, есть простые методы очистки этого кеша из девелоперской консоли.

Теперь, если браузер (или другая софта, что имеет подобный кеш) не имеет в кеше адреса, он стучит уровнем выше. Уровень выше любого приложения - это операционка, как правило. Операционка тоже имеет свой кеш прямо в оперативной памяти. Чтобы его сбросить, можно перезагрузить ось, либо в CMD прописать 

>ipconfig /flushdns

для Линукса можно делать вот так:

$ sudo /etc/init.d/nscd restart

так:

# service nscd restart

или так:

# service nscd reload

Если ось у себя в кеше не нашла адрес, она идет за ним в файл хостов, который находится по адресу:

C:\Windows\System32\drivers\etc\hosts

для винды и 

/etc/hosts

для православных осей.

Мы назвали этот раздел локальным резолвингом, помните? Ну так вот, начнем переходить к глобальному:

если ось у себя в локальном кармане не смогла найти айпишник, она зовет на помощь внаружу. Она смотрит у себя в активном сетевом соединении в настройках адрес днс сервера и альтернативного днс сервера (если первый, вдруг, ляжет) и отправляет по этому адресу домен, ожидая получить айпи в ответ. Протокол, по которому она этот вопрос задает является, очевидно, DNS-протоколом, капсулированным в TCP/IP.

Теперь самое интересное. Глобальный Резолвинг:

Наш ДНС-сервер, что получает от нас запрос на резолвинг называется рекурсивным. Вы поймете причину названия чуть позже. Рекурсивный днс, получив запрос на резолвинг от операционки, начинает шуршать в поисках этого домена по своим базам данных. Как правило, это какой-то маленький, локальный днс-сервер. Очень часто люди не задают нормальные днс-сервера своим соединениям в локальной операционной системе, так что все запросы по дефолту сыпятся на шлюз, которым часто бывает роутер.

Шлюз, или роутер, не найдя в своем кеше адреса, шлет запрос на уровень выше, рекурсивному днс-серверу, который указан у них в настройках. Если вы оставили ваш роутер в дефолтном состоянии а не прописали православные днсы ему (8.8.8.8, 8.8.4.4 (гугл днс)), он пошлет запрос вашему провайдеру, или вообще не будет работать. Провайдер, при этом, будет рекурсивным днс-сервером. Фактически, рекурсивный днс - это тот, у кого спросили из локальной сети, а он ищет ответ уже в Интернете. И уж когда рекурсивный днс не сумеет найти ответ на вопрос о резолвинге в своем кеше, ваш запрос уйдет в интернеты.

В интернетах это происходит интереснее... Дело в том, что в каждом днс-сервере, как в 8.8.8.8, или как на сервере вашего провайдера, записано определенное количество корневых днс-серверов. 

Это очень интересный феномен. С точки зрения философии. Чтобы дать возможность людям пользоваться благами днс-серверов вместо айпишек, тем самым атлантам, что поддерживают эту систему, пришлось отказаться от доменов. Это, как кто-то очень точно выразился, является самым стабильным, постоянным, незыблемым местом в Интернете. Адреса этих серверов меняются гораздо реже, чем адреса любых других серверов в Интернете. Честно говоря, я не думаю, что адреса тринадцати рутовых серверов вообще когда-то менялись.

Так вот, на данный момент количество днс-серверов - 13. Я помню, когда я моложе был, их было шесть. 

Кстати, вот список этих серверов, если вам интересно:
https://www.iana.org/domains/root/servers

Между прочим, это очень не простой сайт. Иана (или Яна, если вам так приятней) играет очень важную роль в этом всем процессе. Честно говоря, она играет очень важную роль в Интернете в общем. 

Когда ваш рекурсивный днс-сервер не имеет у себя в кеше адреса для резолвинга, он открывает свой файл с адресами этих тринадцати серверов (вот почему они должны быть постоянными всегда) и коннектится к ним, чтобы узнать адрес домена. Вам может показаться, что нагрузка на эти тринадцать серверов просто ужасная, но это не так. Во первых, на стороне вашего рекурсивного днса стоит функция рендома, что рендомно выбирает один из тринадцати серверов и шлет запрос именно ему. Это позволяет распределить глобальную нагрузку равномерно, но и это не все. 

Когда корневой сервер получает такой запрос, он никогда не отвечает на него отрезолвленным айпишником. Вместо этого, он очень быстро делает элементарную операцию по определению зоны первого уровня вашего домена. К примеру, если это какой-то там domain.gov.us, то он выделит зону us. Дальше он открывает свою малюсенькую базу данных с всего парой сотней записей и ищет в ней какой-то сервер, который отвечает за TLD (домены верхнего уровня). После этого, он отсылает рекурсивному днсу адрес рендомно выбранного сервера этой зоны, которые отвечают за домены второго уровня. Дальше ваш рекурсивный днс опять повторяет то же самое, только теперь шлет запросу другому днс. не корневому, снова отправляя ему адрес для резолвинга.

ДНС для TLD теперь, получив адрес, парсит его в поисках зон второго уровня. Если он определит, что домен ему прислали с зоной не первого уровня, но с зоной, за которую он ответственен, он сделает выборку по своей табличке с серверами, ответственными за его "подзоны", рендомно там выбрав один из серверов, что ответственны за конкретную подзону и опять отошлет адрес сервера нашему рекурсивному днсу. Ну или вышлет сразу данные по домену, если рекурсивный днс запрашивал инфу о домене с зоной первого уровня.

Дальше ваш днс повторяет операцию, если необходимо. Потому он и называется рекурсивным. Рекурсия - это функция, что вызывает саму себя.

Естественно, эта информация полезна не только сисадминам и инженерам, что работают со всякими страшно дорогими маршрутизаторами. Она полезна и, к примеру, тем, кто сайтики клепает. Чем полезна? да хотя бы тем, что вам не нужно ждать обновления днсов, чтобы на сайт зайти, или чтобы начать с ним работать. Вы прописываете себе правильную запись в файл хостов и операционка возьмет данные с него, вместо того, чтобы идти в интернеты. Записывать туда нужно айпи сервера, на котором вы создали запись в файле веб-сервера для этого домена (врядли вы в файл апача руками лезть будете, это за вас панель делает, когда вы www-домен добавляете) и сам домен, конечно.

Дело в том, что когда вы коннектитесь к какому-то сайту, вы не только к айпишнику коннектитесь по определенному порту, который на той стороне внимательно слушает веб-сервер (далее апач), вы не только в теле http-запроса передаете апачу свои данные (о которых вы знаете), вы ему, естественно, передаете имя домена, к которому коннектитесь как часть URL. апач не дурак, он парсит ваш урл, вытаскивает домен, потом идет в свой файл настроек, копается там, пока не найдет виртуальный хост для этого домена. Я вам здесь продемонстрирую пример виртуального хоста: 

<VirtualHost 10.1.2.3:80>  ServerAdmin webmaster@host.example.com  DocumentRoot /www/docs/host.example.com  ServerName host.example.com  ErrorLog logs/host.example.com-error_log  TransferLog logs/host.example.com-access_log  </VirtualHost>

там может быть еще пару директив, ну да пофиг. Собственно, основной смысл виртуальных хостов - возможность хостить очень много сайтов на одной паре айпи:порт. Вы же можете поставить несколько веб-серверов на один сервер, только порты им другие назначить. можете им даже домены одинаковые подцепить. вот только в браузере будет открываться тот, кто на 80м порте сидит. если порт другой у веб-сервера и вы хотите к нему приконнектиться, вам нужно добавлять двоеточие и номер порта в адресную строку.

попробуйте зайти на google.com:80 или 443, если у вас https (443 - это дефолтный порт для защищенного протокола https) и попробуйте зайти на какой-то 123 порт того же домена. Браузеры за нас подставляют дефолтные порты в запросы.

Что-то я далеко забрел... Ну вы теперь хотя бы видите как тесно связаны разные сферы IT. не замечаешь, когда переходишь с одной на другую.

Так вот. Как мы видим, у доменов может быть много записей, не только банально айпи, с которым его надо ассоциировать.

Давайте поговорим об ICANN и IANA.

IANA - американская некоммерческая компания, которая, на самом деле никакая не компания, а всего лишь отдел компании ICANN. Мы ее будем Яной называть для простоты. Яна:

• Распределяет айпи-адресов региональным регистраторам (RIR, или рир на сленге). Оные риры потом лирам распределяют. Лиры - локальные регистраторы (LIR). Стать RIR'ом очень сложно. Лиром - за небольшой бабосик можно.
• Заведует всеми серверами, с которыми контактирует рекурсивный ДНС.
• Заведует протоколами днс-резолвинга, что может использоваться так же как и часть других протоколов.
• Заведует временными зонами, имеет их базы и инструкции для разных пиров с правильными алгоритмами синхронизации.

ICANN - американская некоммерческая компания, которая как раз и занимается через Яну всем вышесказанным. Ну и надо заметить, что позиционирует себя ICANN как международная организация, а не штатовская и, хотя всем понятно, что ICANN подчинится штатам по первому запросу, таких запросов не видно и близко. Все еще существуют пиратские сайты, сайты террористов, нацистов и т.п. Никто через ICANN не работает.

Собственно, слово ICANN в Интернете - закон. И правила, которые ICANN устанавливает - законы физики.

Как дропается домен? 

обственно, он не дропается так, как многие считают: вот он был зарегистрирован и вот он дропнулся. Нет. Домены дропаются постепенно, переходя из стадии в стадию, что важно знать, дабы понимать почему и как.

Итак дроп имеет пять фаз:

1. Если владелец не платит, домен становится "Expired" (истекшим)
2. При этом, домен остается у регистратора и владелец может обновить его в течении 40-45 дней. В российских реалиях регистраторы (типа рег.ру) часто тупо заставляют владельца платить (меня заставляли платить $110, обманывая, что это платеж Икану). Эти платежи идут прямиком в карманы регистратора и являются ничем не обоснованными.
3. После этого, домен входит в специальную стадию на тридцать дней, во время которой удаляются данные из хуиза. Renewal Grace Period. Я это могу перевести как период льготного обновления, но я не мне переводить. Вот на этой стадии - да, владелец должен платить денежку Икану. Понятно, да? Вроди никто и не заметит, если вороватые регистраторы будут просить денежку и за предыдущий период.
4. После RGP домен будет удаляться на протяжении еще пяти дней. Теперь домен уже удаляется полностью из базы данных Икана.
5. После удаления домена из базы Икана он опять доступен для обычной регистрации по обычной цене для всех желающих, как и все нормальные незарегистрированные домены.

Если вы не поняли, или хотите почитать еще немного, вот: Жизненный цикл доменного имени

Зачем вам это знать? Очевидно, за тем, что на разных этапах домены можно перехватывать разными методами. Я не стану вам разливать красивую водичку с тривиальной инфой, но скажу вкратце:

1. Как только проходит срок оплаты домена, регистраторы в развитых странах сразу запускают публичный аукцион (в развивающихся странах валом регистраторов, что так не делают. Не знаю почему.)

Очевидно, такие домены получаются самыми дорогими. Самые крупные агрегаторы я перечислю:

• SnapNames
• GoDaddy TDNAM
• NameJet
• DynaDot
• Sedo
• Afternic

2. Если никто ставку на домен не сделал в период, пока владелец может забрать домен, он попадает в другую группу. В группу, где домен можно купить за денежку сразу. Конечно, это гораздо дороже, чем брать домен обычным образом. Это регистратор пытается монетизировать домен, пока тот проходит через стадию, когда владелец должен штраф платить, RGP стадия.

На этой стадии домен можно выкупить только у GoDaddy TDNAM.

3. Следующая стадия, как мы знаем - пятидневное удаление из базы ICANN. Здесь вы можете заказать покупку этого домена, чтобы он автоматически зарегился, как только дропнется. Это стоит дополнительных денюх, естественно. Можно сделать через следующие сервисы:

• GoDaddy Auctions
• NameJet
• Pool
• SnapNames

4. Последнюю фазу нечего расписывать. Домен дропнут. Берете и регаете его, как всегда.

Теперь что можно делать с доменами:

1. Продать.

Чего тут говорить? вы можете продать его, используя те же аукционы, на которых домены продавались. Можете поднять сайт на нем и продать сайт. Это не имеет значения в контексте этой статьи.

2. 301.

Редиректнуть через 301 на продвигаемый сайт. Метод работает, но очевидно, что он черно-серый. Да и редиректить надо с умом. Там валом своих подводных камней, о которых я не могу расказывать в паблике, увы.

3. Строить сателлиты.

Пожалуй, лучший метод. Лично я комбинирую его с 301 и подвидами 301. Подробней о сателлитах здесь
SWOT-анализ:
Strengths (сильные стороны):

• История.
• Ссылки.
• Тематичность.
• Вариативность методов.

Weaknesses (слабости):

• Сложность выборки.
• Стоимость.
• Иногда время на обновление.

Opportunities (Возможности):

• Восстановление былой репутации.
• Утилизация текущих характеристик непрямыми методами.
• Восстановление былого трафика.

Threats (Опасности):

• Падение характеристик.
• Бан в связи с несоответствием тематик (очень редко).

Я не стал включать то, что актуально для совсем новичков, ничего в теме не понимающих. Но вот оно так и выглядит, в общих чертах.

Описывать каждый пункт можно, конечно, но я не думаю, что кому-то это нужно. Даже сам SWOT весьма очевиден. Но я хочу немного подробней описать риски. А, точнее, один риск, что актуален для всех: падение характеристик дропа после его покупки.

Я не буду писать о склейке, закешированном 302 редиректе, нетематичных языках и т.п. очевидных вещах. Даже после того, как вы проверили склейки, проверили историю, в общем, сделали все очевидное, у вас все еще очень даже могут появиться проблемы с гуглом. Особенно поначалу. Очень советую изначально запланировать давать доменам отлежаться. 

Если вам кто-то скажет, что надо регистрировать домен на парковочку и пускай он там отлеживается - бейте в дыню. Бессовестно криворукое существо вам это посоветовало. Для реабилитации дропов лучше всего оставлять их на хостинге, привязывая к готовому сайту того же языка, тематики и желательно с той же версткой, но здесь уж на любителя. Лично я стараюсь не брать домены, кешированных версий которых не могу найти.

До каких пор домен должен отлеживаться? да пока вы не увидите стабилизацию ситуации. Лично я тут же подключаю аналитикс и вебмастер к сайту и ищу стабильности в трафике, в основном. Но хорошо работает и стабильность в переиндексации и просмотрах.

Какой срок стабильности? да какой хотите, по разному бывает. Иногда достаточно и недели, а порой домен месяц стабилизируется. Как проверить? да как хотите, здесь уж включайте ваши аналитические способности. 

Лучшим методом восстановления дропов является восстановление сайтов из вебархива. В Сети часто предлагают эту услугу, но в 95% случаев они используют какой-то нонейм движок, или вовсе html восстанавливают. Оба варианта подходят только для отстаивания. Для работы сайт должен быть на том движке, с которым вам удобно работать, или для которого у вас есть инструменты управления, так что после отстоя придется переносить сайт, что геморно. Вам решать, конечно, но я никогда такие услуги не покупаю. Хотя, если дропы с низкими показателями и делать из них что-то серьезное не хочется, то можно и так оставить.

А, хотя, давайте разберем какие-то примеры, чтобы убедиться, что у вас все ок:
Параметры поиска дропов:

• Ваш ключ входит в домен.
• PR>0
• Проверка на клей (info:)
• Беклинков >100
• TLD (зона верхнего уровня)
• Короткий домен без мусора.
• Проверьте релевантность: archive.org, screenshots.com
• Bonus Alexa < 10M
• Регистрируйте домены с Privacy Protected
• Не заливайте сайты на один хостинг с главными реципиентами.

Надо сказать, что вам очень повезет, если вы найдете дроп, что по всем параметрам подходит обычно чем-то жертвовать приходится.


Надо заметить, что в буржунете люди очень любят моз, маджестик, ахрефс, семраш и другие сервисы. Из этих сервисов мне нравится только ахрефс, так как он не скрывает алгоритмов и не вводит ничего мистического. Маджестик и моз вводят мистические метрики, не удосуживаясь описать четкий алгоритм, по которому они эти метрики считают. Одновременно с этим, они не говорят, как они получают данные для расчета этих метрик. Вот вам альтернативная картинка по определению веса:

• DA - Domain Authority (MOZ)
• PA - Page Authority (MOZ)
• TF - Trust Flow (MajesticSEO)
• CF - Citation Flow (MajesticSEO)
• TR - Trust Ratio (TR=TF/CF)

В общем, так работает запад. Там людей с критическим мышлением не особо много, вот они и не опускаются до обьяснений, вместо этого показывают результаты многочисленных экспериментов, что якобы подтверждают их доморощенные метрики. Можете юзать их для поиска дропов, я так не делаю, я пользуюсь лишь тем, что могу посчитать сам. Но опять же, если вы не считаете сами - пользуйтесь закрытыми метриками. Здесь вы или рассчитываете на свою голову, либо пользуетесь чужой, но не пользоваться головой вообще - верное поражение.

Эти закрытые метрики очень удобно использовать для углубленного оценивания дропов. Если вы видите пр5 дроп, а у него все по нолям, то там нету пиара 5 и врядли когда-то был. Проблема же в том, что сами сеошники часто покупают дропы, используют их, потом оказывается, что использовали они эти домены криво и они сбрасывают этот домен, как ненужный. К примеру, ссылки, что они проставили с домена оказались вредоносными, о чем им гугл сообщил, вот они и удалили ссылки, а потом не стали проплачивать домен. И теперь радостный школосеошник будет что? Покупать этот свиду красивый домен? Таких случаев много. А потом разочаровываются, мол, купил хороший домен, а он, гад такой, в бане оказался.

Не расстраивайтесь. Это только яндекс-сеошники вместо вывода из бана бросают домены. Гугл все понимает и глупых банов не раздает, следовательно, все можно решить. Быстро и легко.

Ресурсы:

Это список сервисов, что помогают с поиском дропов:

• http://www.expireddomains.net/
• http://www.freshdrop.com/
• https://www.domcop.com/
• http://moonsy.com/
• http://www.prdrop.info/expired-domains/
• http://justdropped.com/
• http://www.expired-domains.co/

Стоит заметить, что нету одного агрегатора, который имеет все эти данные. Тут кто что мониторит, тот то и имеет. Я привел лишь некоторые примеры. Если хотите больше - ищите. 

Аукционы и рынки:

• https://auctions.godaddy.com/
• https://www.snapnames.com/
• https://www.dynadot.com/market/auction/
• https://www.namecheap.com/domains/ma...y-domains.aspx

Автора автора