Мы составили оглавление для тех, кто читает статью уже не в первый раз для более быстрой навигации. Но если вы не из их числа, то рекомендуем вам ознакомиться с материалом от начала до конца, чтобы точно не опустить какой-нибудь "секрет" оптимизации рабочего процесса или информацию о том, как решать наиболее часто возникающие проблемы при сборе информации.
- Простые правила о том, как упростить себе жизнь
- Решение наиболее часто встречаемых проблем
- Медленно собирается статистика
- Сбор начинается и тут же заканчивается, не принеся результатов
- Добавляются не все фразы из заданного списка
- Возникла ошибка при загрузке новой версии [2]: Не удается найти указанный файл"
- Ошибки при работе с Yandex.Wordstat и Yandex.Direct
- Ошибки при работе с Google.Adwords
Любая система статистики, которую вы могли бы захотеть проанализовать, заинтересована либо в получении прибыли (платные доступы или API), либо в поддержании своей работы и производительности. Если система посчитает, что вы создаете для нее проблемы, то она может начать накладывать на вас санкции.
- Самый мягкий вариант — это периодически возникающая капча. Это является абсолютной нормой, и такое поведение можно встретить даже при обычной эксплуатации сервисов в ручном режиме через браузер.
- Следующий по серьезности вариант санкций — это капча на каждый запрос. В этом случае скорость сбора информации значительно замедляется, а также приходиться расходовать дополнительные средства на распознавания этой ненормированно часто появляющейся капчи.
- Наиболее страшным наказанием является бан — полная блокировка доступа к сервису. В этом случае продолжить сбор, не изменяя определенных условий, уже невозможно.
Конечно, санкции — не приговор. Некоторые из них временные, от каких-то можно спастись сменой аккаунта или IP-адреса (в том числе и за счет прокси-серверов). Но гораздо проще и удобнее просто их не получать. Разумеется, вы не можете гарантировать себе 100% свободу от них, но вы можете сделать так, чтобы у сервиса было меньше причин их накладывать.
Не используйте слишком "наглые" настройки при сборе статистики. Под "наглыми" здесь и в дальнейшем мы будем понимать тот вариант настроек, следуя которым, программа будет вынуждена делать запросы к сервисам существенно чаще естественного варианта, когда интерфейсом пользуется живой человек в браузере.
Придерживаться этого довольно просто.
- Не используйте больше рабочих потоков сбора, чем в данный момент в вашем распоряжении находится и задано в настройках IP-адресов (ваш основной + прокси-серверы, если они есть).
- Не выставляйте слишком малые задержки между запросами. Выставляйте задержки, похожие на те, которые делает обычный пользователь в браузере. Например, для Yandex.Wordstat это около 25-30 сек., для поисковой выдачи — около 10 сек. и т.п.
- Не делайте больше запросов, чем вам на самом деле требуется. Подробнее об этом будем рассказано ниже.
Пожалуй, это основное правило, которым часто пренебрегают новички. Не секрет, что источников данных в программе поддерживается довольно много. Некоторые из них снимаются довольно легко и беспроблемно, когда как другие требуют тонкой настройки и длительного ожидания для выполнения всех необходимых операций.
Если вы не будете сразу пытаться собрать все виды статистики, которые предложены на панели инструментов, вы сможете качественней сосредоточиться на сборе и обработке именно той информации, которая вам по-настоящему нужна.
Представьте себе план действий, которому вы будете следовать после сбора статистики, и соберите только необходимые для его выполнения элементы. При необходимости вы всегда сможете дособрать статистику. Сократить список входных фраз вы можете также и если будете использовать приемы из следующего пункта.
Ввиду того, что некоторые виды статистики собираются довольно долго (также возможны санкции в виде капчи и банов для некоторых видов статистики), старайтесь делать меньше запросов к таким системам. Добиться этого можно за счет предварительно анализа или фильтрации исходного массива данных и вычеркивания из него заведомо плохих элементов.
В качестве примера приведем наиболее часто используемую ошибку. Некоторые пользователи отправляют на пакетный сбор фраз из Yandex.Wordstat огромные массивы исходных фраз из сотен, тысяч или даже десятков тысяч фраз. Зачастую многие из этих фраз просто не имеют расширений в колонках выдачи Yandex.Wordstat. Вместо того, чтобы раз за разом заставлять программу выполнять попытку собрать расширяющие фразы из Yandex.Wordstat, вы можете убрать из списка заведомо "пустые" фразы: просто предварительно снимите базовую частотность Yandex.Wordstat через скоростной 4-й метод сбора Yandex.Direct, а затем отфильтруйте и уберите из списка те фразу, для которых она оказалась равна 0. Разумеется, если у Вас имеются какие-то другие критерии для фильтрации и обработки по стоп-словам — используйте их до начала пакетного сбора фраз.
Перечислим виды статистики, которую можно снять быстрее остальных в порядке важности:
- Все виды частотностей Yandex.Wordstat через скоростной 4-й метод сбора Yandex.Direct (используйте перед пакетным сбором НЧ фраз из Yandex.Wordstat, а также перед сбором других медленных видов статистики за счет предварительного анализа и вырезания "пустышек");
- Статистика Google.Adwords (используйте перед пакетным сбором НЧ фраз из Google.Adwords; позволяет быстрее других методов оценить популярность фраз в течение года (сезонность по Yandex.Wordstat снимается в десятки раз медленней), а также раскрывает начальные сведения о конкурентности запросов, стоимости клика CPC);
- Статистика Yandex.Direct (может быть получена одновременно с частотностями из п.1; позволяет оценить стоимость клика CPC);
- Статистика MegaIndex (статистика этого сервиса снимается гораздо быстрее других ссылочных WebEffector, SeoPult, Rookee, Sape.Wizard и пр., хоть и содержит несколько другие оценочные данные);
Что касаете тех видов статистики, которые собирать нужно с особой осторожностью, то:
- Пакетный сбора фраз из Yandex.Wordstat (при использовании рекомендуемых задержек между запросами сбор занимает много времени, а также возможны риски получения повышенной капчи или даже банов на аккаунты Yandex или IP-адрес при экстремально большом кол-ве исходящих запросов или слишком "наглых" настроек)
- Пакетный сбор фраз из Google.Adwords (медленный сбор);
- Пакетный сбор фраз из Rambler.Adstat (медленный сбор, малый лимит запросов на IP-адреса);
- Пакетный сбор поисковых подсказок в режиме использования переборов (см. настройки; из-за необходимости совершать большое кол-ве запросов из-за переборов операция может занимать много времени; такие системы как Google, Yandex.Direct к тому же имеют малый лимит запросов, поэтому в скором времени могут начать запрашивать капчу или временно блокировать);
- Сезонность Yandex.Worstat (те же проблемы и ограничения, что и для п.1);
- Статистика ссылочных агрегаторов: Rookee, WebEffector / SeoPult / Sape.Wizard (отсортированы в порядке убывания скорости сбора);
Сбор других видов статистики нельзя назвать слишком медленным или опасным, чтобы была необходимость включать их в вышеуказанные 2 списка. Но и применительно к ним не следует проводить "анализ для анализа", а также работать с опасными "наглыми" настройками.
Если в своей работе вы часто сталкиваетесь с какой-то рутиной, возможно, вы просто не используете встроенные возможности программы. Попробуем обозначить наиболее востребованные и часто используемые средства.
Все знают про пользу использования пользовательских групп, но не все знают, что их можно не только создавать автоматически, то автоматически наполнять их содержимым. Существует несколько способов выполнения этой операции.
- Создание групп из окна пакетного сбора фраз с автоматическим распределением собранных расширений по данным группам
Для этого в окне пакетного сбора необходимо переключиться в режим "Добавлять в текущую группу", а затем внизу справа нажать на кнопку автоматического распределения. В результате будут созданы одноименные группы и создано распределение исходных фраз по ним.
- Создание групп по собственному списку групп с поддержкой иерархии с добавлением в них заданного набора фраз
Для этого необходимо открыть инструмент "Добавить фразы" и в настройках этого окна включить опцию "Использовать режим импортирования в виде группа/ключ". С форматом ввода фраз ознакомьтесь в описании к данной опции непосредственно в интерфейсе программы.
- Автоматическая разгруппировка имеющихся фраз
Данная функцией обладает инструмент "Анализ групп" (на вкладке "Данные"). После построения групп по нужному алгоритму вы можете отметить нужные фразы и выделить те группы, которые вы хотели бы автоматически создать. Далее нужно просто вызвать контекстное меню к таблице и выбрать пункт "Создать новые одноименные с выделенными группами группы и скопировать/перенести в них входящие в них отмеченные фразы, сохраняя структуру". В результате в проекте будут созданы не только выделенные группы, но и скопированы/перенесены отмеченные фразы, которые эти группы содержали. Просто попробуйте, чтобы иметь ввиду.
- Импортирование групп из других проектов
При необходимости вы можете импортировать структуру проекта вместе со всеми данными из других ваших проектов. Для этого в главном меню программы выберите пункт "Импорт - Импортировать проект".
- Использование горячих клавиш, контекстных меню
Создавать группы вручную можно по-разному. Можно кнопкой, а можно через горячие клавишы: Ctrl+T создаст новую группу на текущем уровне, а Ctrl+Shift+T — внутри активной группы. Также можно вызвать контекстное меню в панели управления группами выбрать "Создать группу внутри".
Все операции в программе можно выполнять и заказывать сразу для нескольких групп. Например, вы можете применить или удалить фильтр, обработать стоп-слова, отметить или снять отметку со всех фраз, запустить сбора статистики, очистить данные в колонках, удалить фразы, выгрузить их в MS Excel всего в 1 клик сразу для набора групп. Предусмотрено 2 режима: выполнение операций для всех видимых или только для выделенных групп.
Для выполнения операции для всех видимых групп достаточно просто зажать Shift в момент заказа операции. Например, для выгрузки всех групп в MS Excel нужно зажать Shift перед нажатием на кнопку выгрузки.
Для выполнения операции только для некоторых групп сперва нужно их выделить. Вы можете использовать Ctrl для точечного выделения или Shift для выделения целых диапазонов всего в 2 клика. Далее, когда группы уже выделены, для выполнения операции во всех выделенных группах достаточно просто зажать Ctrl в момент заказа операции. Например, для выгрузки выделенных групп в MS Excel нужно зажать Ctrl перед нажатием на кнопку выгрузки.
Несмотря на возможность выполнения операций для нескольких групп одновременно (см. предыдущий пункт), иногда удобней видеть содержимое этих нескольких групп в едином списке.
Чтобы перейти в режим мульти-группы нужно, чтобы проект был открыт в альтернативном режиме "Активировать новый тестовый режим" (режим включается при закрытом проекте под блоком "Последние открытые проекты"). Далее выделите интересующие вас группы при помощи Ctrl или Shift, а затем нажмите кнопку включения режима мульти-группы в панели управления группами (последняя в списке).
Использование фильтров позволит вам выполнять простые и гибкие операции в составе сложных или же просто быстро фильтровать фразы, выявляя и устанавливая приоритеты. Все операции выполняются в пределах отфильтрованного набора фраз. Используйте этот момент в своей работе и не забывайте снимать фильтрацию оттуда, где она уже не нужна (положительно влияет на производительность, не скрывает и не путает вас в дальнейшем). В сочетании с предыдущим знанием о том, как работать с несколькими группами одновременно, данное приобретает особую ценность.
Расширяйте возможности фильтрации, совмещая систему фильтрации с другими инструментами. Например, инструмент "Стоп-слова", результатом работы которого является отметка фраз в таблице. При помощи него вы можете быстро найти и отметить вхождения сразу десятков или сотен отдельных слов или фраз, а затем использовать эту колонки отметки в условиях вашего фильтра.
Программа оснащена довольно удобным инструментом "Стоп-слова". Инструмент особенно хорош для поиска в имеющихся в таблице фразах большого набора других (например, забить в условия фильтров 100 фраз будет довольно трудно, а со стоп-словами это можно сделать буквально за 3 секунды). Другими преимуществом инструмента является возможность искать вхождения без учета словоформ, порядка слов и пр.
Чтобы работа с инструментом была приятней и эффективней не забывайте про возможность создавать несколько списков стоп-слов. Кстати, пополнять эти списки можно тоже по-разному: вручную поэлементно или сразу списком, загрузить из файла или непосредственно из таблицы фраз.
Вы могли заметить маленькие синие иконки слева от колонки "Фраза". Нажимая на эту кнопку, вы получаете доступ к возможности отправить фразы сразу из таблицы в окно стоп-слов. Сделать это можно сразу и для нескольких фраз: просто загляните к контектное меню таблицы и выберите нужный пункт.
В случае, если вам нужно отправить какое-то одно определенное слово из целой фразы в таблице, вы можете зажать кнопку S на клавиатуре и совершить двойной клик по нужному слову.
Совмещайте "Стоп-слова" с системой фильтрации, и вы получите еще более мощный и полезный инструмент.
В программе предусмотрены некоторые дополнительные удобства для того, чтобы восприятие информации было проще. Расскажем об основных из них.
Вы можете использовать горячие клавиши для создания новых групп: Ctrl+T создаст новую группу на текущем уровне, аCtrl+Shift+T — новую группу внутри текущей группы. А если зажать Alt в момент нажатия на кнопку создания новой группы, то автоматически включится режим редактирования ее заголовка. Также можно кликать на ячейки с фразами, ячейки с текущей позицией сайта по фразе, ячейки с URL с зажатым Ctrl, чтобы автоматически перейти в браузер и получить информацию по этим сущностям.
Много полезных функций доступно через контекстные меню: цветовые маркировки фраз и групп, быстрое копирование целых колонок в буфер обмена в различных форматах (в том числе и со стоп-словами), массовое применение комментариев и релевантных страниц к выделенным или отмеченным фразам, быстрый доступ к другим функциям.
Вы можете назначать группам цветные ярлыки (в контекстном меню в панели управления группами), записывать комментарии по работам (в панели "Комментарии" внизу), упорядочивать группы, создавать иерархию. Для этого нужно выделить нужные группы (их может быть несколько), а потом схватить одну из выделенных и начать операцию перетаскивания. При наведении курсора на другие будут появляться 4 иконки действий: создание новой узловой группы, перемещение групп внутрь, изменение позиции групп (выше или ниже). В зависимости от того, на какой из них вы завершите перетаскивание, будет выполена та или иная операция.
В программе предусмотрено 3 пользовательских колонки комментариев для каждой фразы в таблице (если они у вас скрыты, то включите их видимость). Вы можете использовать их для записи собственных пометок, а потом в том числе и сортировать или фильтровать по ним как по любой другой колонке. Для удобства в контекстном меню к ячейкам в колонках комментариев предусмотрены функции массового копирования значений для набора фраз. Именно система фильтрации делает эти колонки особенно ценными.
Кроме того, в программе есть целых 4 колонки для вычисляемых полей. Формулы вы задаете в "Настройках - KEI". Например, вы можете вычислить отношение трафика к бюджету и сортировать или фильтровать фразы именно по этому отношению как по совокупности сразу двух сущностей (бюджет и трафик).
Иногда приятней и проще воспринимать информацию по цветовым кодам, нежели по числам. Вы можете раскрашивать строки не только вручную (через контекстное меню к таблице), но и автоматически на основе тех или иных значений. Для этой цели служит инструмент "Градиент по значениям" на вкладке "Данные" (или же просто вызовите контекстное меню к заголовку колонки с числовыми данными и выберите там "Создать градиент по колонке").
Иногда удобно выгрузить сразу несколько групп в один файл. Выгрузка может выполняться как в разные файлы/листы, так и в одну кучу. В первом случае вспомните пункт "Работа сразу с несколькими группами в один клик", а во втором — "Работа с мульти-группами".
Помимо системы фильтрации и стоп-слов для анализа фраз могут применяться такие инструменты как "Анализ неявных дублей" и "Анализ групп" на вкладке "Данные". Оба инструмента довольно функциональные, поэтому лучше, если Вы прочитаете о каждом из них в инструкции.
Вы можете сформировать по своему усмотрению панель быстрого доступа к нужным вам кнопкам запуска процессов, выгрузкам, шаблонам вида и т.п.
Для того, чтобы добавить новые элементы, вызовите контекстное меню нажатием правой кнопки мыши на интересующей вас кнопке и выберите элемент "Добавить в панель быстрого доступа".
На скорость сбора статистики влияет много факторов, но в первую очередь она зависит от выставленных настроек программы: задержки между запросами и кол-во рабочих потоков.
Будьте внимательны и осторожны с этими настройками и не забывайте про правила "не надоедать" и "не собирать лишнего", о которых мы рассказывали ранее.
Конечно, на скорость влияют и другие факторы. Перечислим их, чтобы при любом замедлении вам не казалось, что что-то идет не так.
- Программа не добавляет полные дубликаты фраз в пределах одной группы. Также она пропускает их в пределах всего проекта, если была включена опция "Не добавлять фразы, если они есть в других группах" в окне запуска пакетного сбора расширений.
- Возможно, в настройках ранее вы указали значение параметра "Глубина парсинга" больше 0. В этом случае рекомендуем вам ознакомиться со справкой к функции и по возможности вернуть значение в состояние 0.
- Фразы отличаются своей популярностью: низкочастотные фразы могут содержать лишь несколько доп. расширений, а то и вообще их не иметь. Это означает, что анализ разных фраз может приносить разное кол-во результатов в единицу времени.
- Вы могли подрезать кол-во собираемых фраз выставленными ограничениями: регион сбора, ограничения по частотностям, если вы ставили их в настройках, и пр. Мы бы не рекомендовали ставить их без явной необходимости, иначе они могут однажды просто подрезать нужные вам фразы.
- Появление капчи довольно ощутимо влияет на скорость. Если это единичная или редко выдаваемая капча — ничего страшного. Но если капча начала вылезать на каждый запрос, то в определенных случаях имеет смысл попробовать сменить аккаунты, IP-адреса или прокси-сервера, если они используются.
- Реже, но иногда на скорость влияет скорость работы самого сервиса, с которого вы вытягиваете статистику, или же качестве соединения ПК с Интернетом.
Первое, что нужно сделать в этом случае — это посмотреть в "Журнал событий" снизу. В зависимости от того, что там отобразилось после запуска процесса, зависит и решение проблемы.
Часто виной всему блокировки аккаунтов или IP-адресов или же просто неправильно выбранный в "Настройках - Парсинг - Общие" режим сбора.
Если проблему не получается решить самостоятельно, то просто напишите в службу тех. поддержки для получения деталей. Сразу приложите выдержку из журнала событий, чтобы было проще диагностировать причину.
Существует несколько причин, по которым после добавления фраз вручную может добавляться меньшее их число.
- Программа пропускает полные дубликаты в пределах одной группы (отключить нельзя).
- Некоторые фразы могут превращаться в дубли и пропускаться после удаления спец. символов, указанных в "Настройках - Парсинг - Общие".
- Программа может пропускать фразы, содержащиеся в других группах, если перед добавлением была включена опция "Не добавлять фразы, если они есть в других группах" в окне добавления фраз или запуска пакетного сбора фраз.
- Может срабатывать ограничение по длине фразы (в "Настройках - Парсинг - Общие").
- Проверьте, не выставлен ли в данный момент в таблице какой-нибудь фильтр, скрывающий часть фраз.
- В "Настройках - Интерфейс - Прочее" может быть включена опция "Не добавлять ранее удаленные фразы...", которую мы крайне не рекомендуем использовать, т.к. она может легко вас потом запутать, когда вы о ней забудете (лучше для этих целей создать отдельную группу "Мусор" и в нее скидывать неугодные фразы).
- При парсингах: если речь идет о добавлении фраз при различных пакетных парсингах (Yandex.Wordstat, Google.Adwords, Rambler.Adstat и пр.), то влиять могут также и выставленные вами ограничения по частотностям в соответствующих этим системам вкладках настроек (в "Настройках - Парсинг - ХХХ", где ХХХ - система).
Эта ошибка может встречаться при обновлении программы, если возникли какие-то проблемы с правами доступа или вмешивается антивирус, ложно реагируя на загружаемый файл с обновлением и удаляя его.
Сперва вы можете попробуйте для теста (!) временно приостановить работу антивируса. Если это не поможет, то можно попробовать настроить права доступа. Проще всего будет этого не делать, а просто для теста перенести всю директорию с программой в менее защищенной место (например, на "Рабочий стол" или в "Мои документы").
В случае невозможности обновления автоматически вы всегда можете сделать это вручную: просто скачайте программу по ссылке в письме с лицензией и распакуйте поверх с заменой всех файлов содержимое архива через обычный архиватор вручную (если вы не можете найти письмо с лицензией, то скачайте программу по этой ссылке).
- "не удалось авторизоваться в сервисе Yandex.Direct..."
Если вы работаете без прокси-серверов, и выше этой ошибки нет ошибок сетевого доступа ("сервер недоступен", "превышено время ожидания ответа" и т.п.), то следует в "Настройках - Парсинг - Yandex.Direct" под формой ввода аккаунтов запустить проверку состояния аккаунтов. Нерабочие следует удалить из списка и при необходимости заменить их другими.
Если же этой ошибке предшествуют ошибки сетевого доступа, и вы не используете прокси-серверы, то проверьте, не блокирует ли программу антивирус или фаервол. В случае неудачи также можно попробовать переименовать директорию с программой - вдруг, отпустит.
Если же этой ошибке предшествуют ошибки сетевого доступа, и вы работали через прокси-серверы, то в первую очередь нужно попробовать деактивировать из использование, затем нажать кнопку "Принудительно очистить данные об авторизации" в "Настройках - Парсинг - Yandex.Direct", а затем выполнить проверку аккаунтов вновь.
Если данный метод не помог, то обратитесь в службу тех. поддержки через тикеты.
- - Ранее сбор работал, а потом перестал
- "на странице adwords.google.com обнаружено предложение присоединиться к участию в Adwords..."В этом случае нужно попробовать очистить кеш в Internet Explorer. Очистку нужно выполнять, когда все вкладки в Internet Explorer закрыты, а парсинг в Key Collector остановлен.
Для очистки в меню нужно выбрать "Свойства браузера". Затем на вкладке "Общие" нажать кнопку "Удалить", а в открывшемся окне установить пункты согласно скриншоту. После очистки кеша Internet Explorer следует закрыть.
Если данный метод не помог, то обратитесь в службу тех. поддержки через тикеты.
- "невозможность установить подключение для помощника при работе с Google.Adwords..."
Ошибка связана с тем, что у программы не получается установить межпроцессную связь между двумя процессами.
В этом случае следует попробовать для теста (!) временно деактивировать антивирус и фаервол. Если ошибка не пропадает, то попробуйте закрыть программу и переименовать директорию, в которой она содержится. Иногда это может помочь, если антивирусное ПО ограничивает процессы в чем-либо по их пути.