Что такое глубина парсинга в кей коллекторе
Что такое глубина парсинга в кей коллекторе
Панель содержит общие настройки парсинга и добавления фраз в таблицу.
Добавлять в таблицу фразы, содержащие не более X слов
Опция задает ограничение по максимальной длине фразы. Если фраза содержит больше слов, чем указано в данной настройке, фраза игнорируется программой и не добавляется в группу ни при каких условиях.
Режим сбора
Здесь выбирается режим обработки фраз в процессе сбора статистики для фраз в таблице.
При запуске нового парсинга (не возобновлении ранее начатого и приостановленного процесса, а запуска нового процесса) программа формирует очередь заданий в соответствии с выбранным режимом. Далее элементы этой очереди будут сохранены в проект, и дальнейшее выполнение задания будет производиться именно по этой очереди.
Такой механизм позволяет сохранять актуальный статус выполнения задачи даже в случае аварийного завершения работы программы. Также проект может быть скопирован на другой ПК, и процесс сбора может быть продолжен с места приостановки — по элементам ранее сформированной очереди.
Если вы нажимаете кнопку сбора той или иной статистики, и программа загружает окно с возможностью возобновления процесса, то это означает, что в проекте обнаружена незавершенная до конца очередь для этого вида задачи.
В этом случае вы можете либо завершить обработку такой очереди — продолжить сбор, либо обнулить ее сформировать новую с актуальными параметрами сбора — начать с начала.
В очередь обработки будут добавлены все отмеченные фразы под фильтром вне зависимости от того, снята ли статистика для этих фраз или нет.
Режим может быть полезен при регулярном обновлении статистики поверх имеющихся данных: вы просто отмечаете запросы и запускаете сбор повторно, а программа перезаписывает старые результаты на новые.
Строки с неполученными данными
В очередь обработки будут добавлены фразы с отсутствующими данными по исследуемой статистике под фильтром. Если фраза уже имеет заполненные ячейки по той или иной статистике, то она будет пропущена.
Это режим по умолчанию. Он наиболее удобен в работе, т.к. позволяет запускать сбор только для тех фраз, которые еще не имеют исследуемой статистики. При этом результаты обработки абсолютно наглядны: где пустая ячейка — там алгоритм еще не собрал данные, где заполненная — уже собрал.
Опционально для данного режима можно включить режим игнорирования существующих очередей заданий. Т.е. если по запускаемому виду задачи в проекте уже имеется ранее сформированная и незавершенная очередь заданий, то программа может опционально проигнорировать ее и предложить сформировать новую очередь.
Строки с неполученными данными и отмеченные, если есть
В этом режиме в очередь заданий попадают фразы с незаполненной исследуемой статистикой или же отмеченные фразы.
Режим является гибридным для двух предыдущих и используется в редкий случаях.
Деактивация потоков
Под потоками понимаются отдельные параллельно выполняющиеся подпроцессы, выполняющие основную задачу.
В процессе работы с сервисами могут возникать различные ошибки взаимодействия, сетевые ошибки или достигаться пользовательские ограничения.
Например, может временно может пропасть связь с сетью, прокси-сервер может перестать отвечать или будет достигнут установленный лимит капчи для аккаунта.
Здесь вы можете выбрать режим обработки таких критических ситуаций, указав, требуется ли сокращать кол-во активных потоков, и если да, то по каким правилам.
При возникновении критической ситуации (исключение прокси-сервера или аккаунта из-за ошибок или пользовательских ограничений), количество рабочих потоков будет сокращено на 1 единицу.
Например, задача выполнялась в 10 потоков, и в процессе выполнения прокси-сервер исключается из обработки из-за сетевых ошибок. В этом случае кол-во потоков сократится до 9.
При возникновении критической ситуации (исключение прокси-сервера или аккаунта из-за ошибок или пользовательских ограничений), количество рабочих потоков будет сокращено на 1 единицу, если оставшееся кол-во ресурсов (прокси-серверов или аккаунтов) меньше кол-ва текущих рабочих потоков.
Например, задача выполнялась в 10 потоков через 20 прокси-серверов.
Это режим по умолчанию, и мы рекомендуем его использовать совместно с гарантированно достаточными задержками между запросами в расчете на 1 прокси-сервер.
При возникновении критической ситуации (исключение прокси-сервера или аккаунта из-за ошибок или пользовательских ограничений), количество рабочих потоков не будет сокращаться.
Этот режим опасен тем, что на оставшиеся ресурсы (прокси-серверы или аккаунты) перекладывается нагрузка от потоков, которые могли бы быть остановлены.
Например, вы запускали задачу в 5 потоков через 10 прокси-серверов и использовали задержки между запросами 30 секунд (т.е. каждый прокси-сервер участвовал в работе около 1 раза в 60 секунд).
Если 9 из 10 исходных прокси-серверов будут исключены в процессе выполнения задачи, то оставшийся прокси-сервер ляжет нагрузка от всех 10 потоков, и запросы будут выполняться каждые 3 секунды, что в 10 раз меньше тех задержек, которые вы использовали в момент начала обработки.
Фильтрация символов
В процессе добавления фраз в проект они неизбежно проходят проверку на максимальную длину, из них вычищаются двойные пробелы между словами, а также выполняется фильтрация спец. символов.
Здесь вы можете определить список символов, которые будут удаляться из фраз или заменяться на символ пробела. Также можно включить принудительное приведение символов к нижнему регистру и автозамену буквы Ё.
Инструкция по настройке и работе с Key Collector — обзор программы для сбора семантического ядра
Key Collector — что это и как с ним работать, а именно: как происходит настройка программы в 2020 году и сбор семантического ядра, как собрать частотность и увеличить семантику, что такое прокси и антикапча для кей коллектора, как его перенести на другой компьютер и какие бывают аналоги у сервиса? Ответы на все эти вопросы мы разберем в данной статье и попробуем понять: действительно ли это один из самых лучших инструментов для сбора семантики.
Key Collector — что это и какие функции выполняет
Кей Коллектор — это многофункциональная программа, применяемая для сбора семантического ядра, то есть получения информации, которая поможет в дальнейшей SEO-оптимизации сайта. Как правило, её используют SEO-шники, маркетологи, digital-стратеги или копирайтеры.
Ключевой опцией в Key Collector (KC) является возможность сбора точной частотности фраз. Вы сможете убирать ненужные запросы в различных словоформах с маленькой частотностью и оставлять слова или словосочетания, которые действительно запрашивают пользователи.
Благодаря данному сервису, работа по сбору семантики становится автоматическим процессом. Другими словами, в отличие от Вордстата, вам не придется вводить вручную символы операторов для SEO-детализации слов. С его помощью можно провести массовый парсинг запросов по выбранной тематике, отчистить дубли и создать собственный перечень «стоп-слов».
Стоп-слова — это перечень лишних фраз или слов, которые не схожи с темой продвигаемого материала или раздражают большинство целевых пользователей при прочтении текста по искомому запросу, следовательно, факт их присутствия в тексте является негативным аспектом для модераторов поисковых систем. Также их называют «мусорные» слова или «минус-слова».
К тому же программа интегрирована с такими сервисами как:
Мы перечислили основные сервисы, помимо них существует еще множество ресурсов с которыми взаимодействует данный парсер. Следовательно, особенность Кей Коллектора в том, что он является неким объединяющим звеном всех вышеперечисленных ресурсов, поскольку связывает весь их функционал в одну слаженную концепцию.
Возможности Кей Коллектора
Давайте разберем потенциал этого малыша на примере его базовых возможностей, чтобы вы смогли понять, что же входит в его основной функционал и определиться в том, насколько он вам будет полезен. С помощью данной утилиты вы сможете проводить:
Мы отобразили перечень основных функций Key Collector, для более детального ознакомления со всеми инструментами, рекомендуем вам попробовать воспользоваться данной программой самостоятельно. Если вы заинтересовались, давайте же теперь разберемся: где можно его прибрести и за какую стоимость.
Сколько стоит Key Collector и где купить программу
Во время сбора семантического ядра по данной статье, нам встретился такой запрос, как: «скачать бесплатно крякнутый Кей Коллектор». Однако всем пользователям, которые хотят сэкономить, мы рекомендуем этого не делать, по двум причинам:
Приобрести KC вы сможете на данном сайте. Если вы все же не хотите тратить средства на данный парсер — можете рассмотреть его бесплатный аналог: Slovoeb, как один из вариантов. Более подробная информация об этой программе написана в разделе: Аналоги.
Настройка Key Collector
Одним из важнейших процессов в работе с KC является его настройка, поскольку в дальнейшем от этого зависит достоверность сведений, которые вы будете получать.
Поисковая выдача
Программа поддерживает сбор данных поисковой выдачи, похожих поисковых запросов, поисковых подсказок, рекламных объявлений, встроенных помощников и другой информации из популярных поисковых систем (некоторые поисковые системы поддерживают ограниченный функционал).
Сбор данных поисковой выдачи
В терминологии Key Collector под данными поисковой выдачи (данные SERP) подразумеваются именно заголовки и адреса страниц, сниппеты, а также вычисляемые метрики: кол-во найденных документов по запросу, кол-во главных страниц, кол-во заголовков, содержащий запрос.
Нажмите на кнопку меню «Поисковая выдача» и выберите нужную поисковую систему.
В зависимости от поисковой системы внешний вид окна запуска сбора может немного отличаться, но их объединяют некоторые общие настройки и принципы работы.
Настройки
Глубина исследования поисковой выдачи
Программа может просматривать одну или несколько страниц поисковой выдачи по запросу. Изменить глубину можно на панели настроек.
Чем глубже исследуется выдача — тем больше необходимо выполнить запросов к поисковой системе. Каждый запрос занимает время на обработку, на технологическое ожидание между запросами, а также увеличивает риски применения санкций (капчи и банов).
Старайтесь снимать данные поисковой выдачи ровно той глубины, которая требуется для решения ваших задач. Не устанавливайте заведомо большие значения, чтобы не тратить лишнее время и ресурсы на сбор статистики.
Если вы настроили сбор данных через какой-нибудь сервис (Yandex.XML, XMLRiver, XMLProxy и др.), то в некоторых случаях можно увеличить глубину сбора без увеличения временных издержек и дополнительных затрат. Подробные условия обязательно следует уточнять в самих сервисах.
Зачастую сервисы, имитирующие работу Yandex.XML, выдают до 100 результатов за 1 запрос. Поэтому получение ТОП 10 или ТОП 100 результатов занимает равное время и может стоить одинаково. Подробные условия обязательно следует уточнять в самих сервисах. Мы не отвечаем за работу и условия сторонних сервисов, а лишь делимся некоторыми нюансами.
Маска запроса
При формировании запроса к поисковой системе программа может модифицировать запрос согласно указанной маске. Например, к запросам можно добавить оператор поиска по какому-нибудь сайту, минус-слова или другие операторы поиска.
На примере различных масок покажем преобразование фразы «цветная капуста» (без кавычек) в новые запросы.
Текст запроса подставляется вместо макроса , который в обязательном порядке должен использоваться в маске.
Для получения «фразовой выдачи» по запросу в кавычках можно задать маску «
Вы можете составлять любые другие маски, комбинируя предложенные подходы.
Обновление данных из кэша (по ранее полученным данным)
Если вы изменили параметры, и хотите пересчитать метрики, вы можете воспользоваться опцией «Запустить сбор в режиме обновления данных из кэша» на панели настроек и запустить сбор: программа выполнит расчеты, не совершая запросы к поисковой системе, на основании уже записанных в проект данных поисковой выдачи.
Панель дополнительной статистики SERP
Для просмотра расширенной статистики активируйте вкладку данных SERP (1) и выберите фразу в таблице (2).
Если панель скрыта, нажмите кнопку «Доп. статистика поисковой выдачи» в меню «Дополнительные панели» на вкладке «Вид».
В левой части панели отображаются общие сведения по выделенной фразе.
В правой части отображается таблица поисковой выдачи с адресами и заголовками страниц, а также их выдачей. Вы можете настроить более компактный вид таблицы, выключив в левой части отображение заголовков или сниппетов.
При нажатии на кнопку слева от URL страницы программа выполнит поиск фраз в проекте, выдача по которым тоже содержит этот URL.
Сравнение поисковой выдачи
Для сравнения поисковой выдачи по нескольким запросам нажмите кнопку «Сравнить выдачу» и выделите несколько фраз в таблице.
Программа сравнит выдачу по запросам (она должна быть собрана до выполнения анализа) на уровне адресов страниц или доменов, найдет пересечения и отобразит их в компактном или полном представлении.
Совпадения будут иметь одинаковый фон, при этом можно нажать на свободное место в ячейке и увидеть подсветку найденных элементов.
В процессе анализа подсчитываются метрики похожести выделенных фраз на уровне URL и доменов. Также отображаются наиболее популярные URL и домены с указанием кол-ва найденных совпадений.
Просмотр истории изменений поисковой выдачи
При помощи этого инструмента вы можете увидеть изменения в поисковой выдаче относительно предыдущих сборов.
Для работы инструмента требуется, чтобы для фразы несколько раз были получены данные поисковой выдачи, и в панели настроек была включена опция записи истории в проект.
Выделите запрос в таблице и нажмите кнопку «Показать изменения». В открывшейся панели «История SERP» при наличии истории в проекте программа отобразит структуру изменений выдачи: какие страницы пропали из выдачи, какие — вошли, какие изменили позицию или остались без изменений.
При наведении на URL программа проверит и отобразит изменения в заголовке и сниппете, если они будут обнаружены.
Выгрузка данных поисковой выдачи
Выгрузка данных SERP выполняется через пункт в главном меню программы.
Выгружаются фразы со статистикой из основной таблицы и данные SERP. Если не нужны колонки основной статистики, вы можете временно скрыть их или внести в исключения в настройках.
Настройка Key Collector для Яндекс Директ (Google Adwords)
Чем полезен Кей Коллектор и почему без него никак?
Кей Коллектор это программа комбайн, она может много чего, но в первую очередь необходимо для специалистов по контекстной рекламе и сеошников. Если вы постоянно настраиваете яндекс директ или гугл адвордс, то кей коллектор жизненно необходим.
Данная программа выполняет следующие задачи:
Другими словами, программа реально полезная, стоит всего 1800 рублей (единоразово), постоянно обновляется и есть поддержка пользователей. Главная фишка данной программы, это удобность создания максимально качественного семантического ядра, очень удобно работать с ключевыми словами, даже с большим объемом и безумная экономия ваше времени. Вы можете собрать 1000 масок и программа их спарсит максимально быстро, пока вы будите заниматься другими вещами.
Общая настройка Кей Коллектора
Для работы с вордстатом понадобиться: здесь все просто, нужно отдельно зарегистрировать яндекс почту и создать там тестовую рекламную кампанию, можно с одним объявлением, можно просто черновую (без прохождения модерации и пополнения бюджета). В программе просто прописываем логин и пароль от почты и все работает.
Переходим непосредственно к настройкам:
Заходим в настройки программы во вкладку Яндекс Вордстат», где выставляем следующие параметры:
— добавлять в таблицу фразы с частотами от 1 до 99999999999. Здесь вы указываете какую частотность вы хотите видеть с парсенных ключевых слов. Есть директологи, которые не парсят все доскональна, а работают с ключевыми словами, которые имеют частотность от 10 и выше. Я же советую вам парсить все и начинать с 1. При таком подходе у вас будет самое полное семантическое ядро, а если вы решите, что такие ключевые слова вам не нужно, то уже после парсинга, можно при помощи фильтра выделить такие ключи и удалить.
— не снимать частоты для фраз меньше или равной 0. Логика проста, нам не нужно пустые ключевые слова, которые не будут приносить трафик, поэтому такие не ищем.
— количество потоков. Если вы используете одну почту от яндекс директа, то можете смело выставлять сразу 2 потока, и таким образом программа будет работать в два раза быстрее. И если вы не используете прокси сервера, то не убираем галочку «Использовать основной IP адрес».
Далее заходим во вкладку «Яндекс Директ», где указываем адреса свои электронных почт от яндекса и пароли от них. Достаточно указать 1-2 почты.
Во вкладке «Гугл Адвордс» указываем доступы от гугл адвордс (что логично).
Собственно, это все стандартные настройки, после которых заработает кей коллектор.
Настройка прокси для Кей Коллектора
Для настройки прокси нужно: а) купить прокси; б) настроить кей коллектор под прокси.
Далее заходим во вкладку «Яндекс Вордстат» и убираем галочку «Использовать основной IP-адрес». Здесь же можно задать количество потоков. Если вы используете один прокси сервер, то выставляете 2 потока, если два прокси сервера, то указываете 4 потока, т.е. на один прокси сервер выставляем по два потока.
Далее заходим в «Яндекс Вордстат», где прописываем новые аккаунты. Как правило, при покупке прокси, вам дается новая почта в яндексе, она регистрируется для вас бесплатно, либо вы сами можете ее зарегистрировать, главное, чтобы на одну прокси была своя отдельная почта в яндексе, т.е. сколько прокси, столько и почтовых ящиков.
Далее заходим на вкладку «Сеть», где активируем галочку «использовать прокси-серверы SOCKS 5» и добавляем непосредственна информацию о купленных прокси-серверах. после этого прокси должно работать. Если что-то не работает стучимся в поддержку кей коллектора.
Процесс парсинга в Кей Коллекторе
Сам процесс достаточно прост и не является чем-то сложным и выполняется в автоматическом режиме.
Первоначально нужно сразу же выставить нужное гео для парсинга, это делается в самом низу программы:
Кроме этого, если масок не много, то можно каждую папку назвать маской и тогда программа сделает парсинг по названию папки, что является очень удобным функционалом.
Другие функции Кей Коллектора полезные для директолога:
Удаление неявных дублей.
Если перейти во вкладку «Данные», то там будет полезная функция «Анализ неявных дублей», с помощью данной функции вы можете очистить собранное семантическое ядро не только от дублей, но и то неявных дублей. Например: как убрать комнату и как комнату убрать, будут считаться дублями. Программа покажет какие есть дубли, в каких группах, там же есть кнопка «Умная отметка», она автоматом выделяет один из дублей и вы его (или их удаляете), т.е. самостоятельно выделять и удалять дубли не надо, это делается в два клика.
Фильтры.
Каждый столбец в программе имеет самые различные фильтра. Например в столбце «Фразы» по фильтрам можно отыскать нужные ключевые слова, можно найти ключевые слова, которые состоят из определенного числа слов, это удобно при группировки ключей при обходе статуса «мало показов», когда в одну группу помещаются ключи с малой частотностью, но схожие по смыслу и написанию; в столбце «Базовая чистота», можно отфильтровать частотность по любому направлению (все ключи больше или равны 10, или меньше 5 и т.д.).
Быстрое составление списка минус слов.
Для того, чтобы максимально комфортно собрать полный список минус слов, достаточно выделить все ключевые слова, кликнуть правой кнопкой мыши на них и выбрать «Отправить выделенные фразы в окно стоп-слов». После этого откроется список со всеми выделенными ключами, где отмечая нужные слова далее их помещаем в список минус-слов.
Режим мульти-группы.
Для того, чтобы выгрузить полученное семантическое ядро в единый эксель файл, или применить на все группы (папки) ключей минус слов и т.д. и т.п. необходимо сначала выделить все папки, и нажать на мульти-группы, и только тогда все папки как-бы объединяться в одну. Например: у вас много папок, и вы хотите выгрузить полное семантическое ядро в один единый файл в формате эксель. Если просто выделить все папки, то в эксель отправиться лишь одна папка, а для выбора и работы со всеми папками, как раз и нужен режим мульти-группа:
Сбор частотности ключевых слов.
С помощью Кей Коллектора можно не только парсить ключевые слова, но и собирать статистику с нужных ключевых слов. Это пригодиться тогда, когда вы делаете искусственную семантику и нужно ключи не спарсить, а просто узнать их частотность.
Для этого выбираем значок «Д», как указано на картинке, выбираем нужное гео именно в открывшейся вкладке и жмем «Получить данные»: