Веб-дизайнер хочет, чтобы каждый дантист в Лидсе, у которого нет веб-сайта. Торговому представителю нужны сантехники в трех районах Манчестера перед выставкой. Владелец кафе хочет посмотреть, как кофейни в шаговой доступности. Все три работы начинаются в одном и том же месте, поиск по карте, и все три останавливаются в одной и той же точке: результаты - это карты, которые вы пролистываете по одной, а не таблица, которую вы можете сортировать, фильтровать и делиться.
В этом руководстве рассказывается о том, как превратить & quot;что, где& quot; поиск в полезный список: какие данные содержит список карт, сколько результатов вы можете реально получить, как дедупликация должна работать для цепочек, как читать сводные номера, как построен CSV, чтобы он открывался чисто, и где находятся юридические и практические ограничения. В обработанных примерах используется Карты Toolz скребок, йо-
TL;DR: Скребок карт превращает поиск, как & quot; стоматологи в Leeds& quot; в таблицу предприятий с семью полями: имя, адрес, категория, звездный рейтинг, количество отзывов, телефон и сайт.The Скребок карт Toolz читает API поиска мест вместо автоматизации браузера, объединяет пять страниц по десять в до 50 объявлений, удаляет дубликаты по имени плюс адрес, чтобы цепочки филиалов оставаться отдельными, показывает, сколько объявлений публикует веб-сайт или телефон, и экспортирует RFC 4180 CSV, который следует за вашим фильтром, Он не возвращает электронные письма, часы работы или текст обзора Поиски выполняются на сервере, бесплатны, без регистрации и ограничены тремя на посетителя в день.
Что такое скребок карт?
Скребок карт - это инструмент, который собирает бизнес-списки из поиска по карте и возвращает их в виде структурированных данных вместо контактов и карт карты. Вы описываете тип бизнеса и место, и он возвращает строку для каждого бизнеса, которую вы можете сортировать, фильтровать и экспортировать в электронную таблицу.
Данные такого же рода карта поиск показывает человека Разница в форме: таблица позволяет считать, сравнивать и передавать список кому-то другому, чего не делает прокрутка панели карт.
Есть два широких способа построить один, автоматизация браузера приводит реальный браузер через веб-сайт карты, прокручивает, и копирует текст со страницы, Он ломается всякий раз, когда макет страницы меняется, и он работает против условий большинства служб карты, Другой путь читает API поиска мест, сервис, который возвращает списки как данные Инструмент Toolz использует второй подход, через API поиска сторонних мест, поэтому его результаты стабильны и его пределы предсказуемы.
Какие данные вы получаете по каждому бизнесу?
Каждый список имеет семь полей Любой из них может быть пустым, если в списке не публикуется эта информация.
| поле | пример | банкноты |
|---|---|---|
| имя | Джо и #39;s "Best" Кофе, Инк. | Как указано |
| Адрес | 123 SE Main St, Портленд, Орегон 97214 | Одно текстовое поле, не разделенное на части |
| Категория | Кофейня | Основная категория списка и №39;s |
| Рейтинг | 4.6 | Средний звездный рейтинг; пустой, если не имеет рейтинга |
| Отзывы | 212 | Количество отзывов; пустой, если не оценен |
| Телефон | (503) 555-0142 | Как опубликовано |
| Сайт | https://example.com | Только когда компания перечисляет один |
То, что не включено, имеет такое большое значение, поскольку решает, является ли это подходящим инструментом для вашей работы:
- Никаких адресов электронной почты. Данные мест не несут их Поле веб-сайта обычно является местом, где можно найти контактный адрес.
- Нет текста обзора, имена рецензентов или даты рецензий. Только среднее значение и количество.
- Никаких часов работы, координат и фотографий.
- Нет объемного режима. Каждый & quot;what, where& quot; запрос - это один поиск.
Сколько результатов вернет поиск по карте?
До 50 различных списков на поиск Инструмент запрашивает пять страниц по десять результатов параллельно и объединяет их. за пределами пяти страниц индекс мест имеет тенденцию повторять списки, которые он уже вернул, поэтому больше страниц добавят дубликаты, а не предприятия.
Пятьдесят - это выборка плотной категории, а не переписи. "Рестораны в Лондоне" имеет тысячи объявлений, и один поиск возвращает 50 наиболее релевантных Когда вам нужен охват, а не выборка, разделите территорию на более мелкие места и запустите по одному поиску для каждого.
| мишень | Слабый запрос | Лучше запросы |
|---|---|---|
| Сантехники по всему городу | plumbers |
plumbers in Salford, plumbers in Stockport, plumbers in Didsbury |
| Стоматологи в городе среднего размера | dentist |
dentists in Leeds |
| Рестораны в большом городе | restaurants London |
restaurants in Shoreditch, restaurants in Camden, restaurants in Brixton |
| Ниша | shops in Portland |
bike repair shops in Portland |
Запрос должен быть между 3 и 120 символами. Помещение как типа бизнеса, так и места в запросе - это то, что делает результаты полезными; только тип бизнеса не имеет места, где его можно закрепить.
Ограничив три поиска в день, спланируйте районы перед началом и распределите большую проверку на несколько дней.
Как работает дедупликация для цепей и ветвей?
Дубликаты удаляются путем сравнения имени и адреса вместе, игнорируя заглавные буквы. две строки - это одно и то же дело, только когда оба совпадают.
Это правило преднамеренное. Если вы будете дублировать только имя, каждая ветвь цепочки будет свернута в одну строку, удаляя именно те списки, которые ищет локальный поиск. Вот как разрешаются три необработанных результата:
| Сырой результат | Имя + адресный ключ | Хранится? |
|---|---|---|
| Старбакс, 100 Main St | starbucks|100 main st |
да |
| СТАРБАКС, 100 Main St | starbucks|100 main st |
Нет, дубликат первого |
| Старбакс, Оук-авеню, 200 | starbucks|200 oak ave |
Да, отдельная ветка |
Первое вхождение выигрывает, поэтому сохраненная строка использует заглавную букву с той страницы, которая вернула ее первой. Списки без имени пропускаются полностью.
Как читать сводку перед строками
Над таблицей суммируются четыре цифры поиска: общее количество объявлений, сколько сайтов, сколько телефонов и средний рейтинг.
Средний рейтинг вычисляется только над списками, которые имеют рейтинг, затем округляется до одного десятичного знака. списки без рейтинга не учитываются, а не считаются нулевыми, что несправедливо приведет к снижению среднего значения. Небольшой иллюстративный пример:
| Листинг | Рейтинг | Сайт | Телефон |
|---|---|---|---|
| равняется | 4.6 | да | да |
| рожденный | 4.2 | нет | да |
| килограмм | нет | нет | да |
| демократ | 3.9 | да | нет |
Listings 4
With a website 2 (A, D)
With a phone 3 (A, B, C)
Average rating (4.6 + 4.2 + 3.9) / 3 = 12.7 / 3 = 4.233 -> 4.2
Количество веб-сайтов часто является наиболее коммерчески полезной цифрой. Скажем, поиск стоматологов возвращает 50 объявлений, и 18 из них не имеют веб-сайта. Это 18 /50 = 36% категории без сайта, видимый до того, как вы прочитаете одну строку. Для веб-дизайнера эти 18 - список охвата. Нажмите Имеет сайт или Имеет телефон чтобы отфильтровать таблицу в списки, которые ее публикуют; нет & quot; отсутствует веб-сайт& quot; отфильтровать, поэтому экспортируйте все строки и отфильтруйте пустые ячейки Веб-сайта в электронной таблице.
Как строится CSV и почему он открывается чисто?
Экспорт следует RFC 4180, общий формат для CSV файлов: каждое поле обернуто двойными кавычками, и любая двойная кавычка внутри поля удваивается Это имеет значение, потому что названия компаний содержат запятые и кавычки все время, а нецитированный CSV будет разделять их по столбцам и повреждать каждую строку после.
Список назван Joe's "Best" Coffee, Inc. рейтинг 4,6 из 212 обзоров и список без рейтинга выглядят следующим образом:
"Name","Address","Category","Rating","Reviews","Phone","Website"
"Joe's ""Best"" Coffee, Inc.","123 SE Main St, Portland, OR 97214","Coffee shop","4.6","212","(503) 555-0142","https://example.com"
"Corner Cart","45 NW 5th Ave, Portland, OR 97209","Coffee stand","","","",""
Три подробности об экспорте:
- Он следует за активным фильтром. Кнопка читает & quot;CSV (n) & quot; с количеством строк, которые она будет содержать. с выбранным веб-сайтом Has экспортируются только эти строки.
- Пустые значения - пустые строки, а не нули, поэтому бизнес без рейтинга не выглядит как бизнес с нулевой звездой.
- Имя файла происходит из вашего запросанижний корпус с пробелами, превращенными в дефисы:
coffee shops in Portlandзагрузки какcoffee-shops-in-portland.csv, йо-
Загрузка повторно или с другим фильтром не использует другой поиск.
Если электронная таблица искажает символы с акцентом при открытии файла, импортируйте его через электронную таблицу & #39;s текст или CSV вариант импорта и выберите кодировку UTF-8. Установка столбца "Телефон" на "Текст" во время импорта сохраняет ведущие знаки плюс и нули нетронутыми. Чтобы проверить или преобразовать файл перед его импортом куда угодно, Просмотрщик CSV открывает его в браузере, и CSV в руководство JSON охватывает преобразование его для CRM или сценария.
Насколько актуальны данные о листинге карт?
Такой же актуальный, как индекс, который всегда отстает от реальности, Бизнес, который закрылся в прошлом месяце, все еще может быть перечислен, новый может еще не появиться, а номера телефонов устаревают быстрее, чем адреса. проверьте все, что вы планируете действовать, особенно перед звонком.
Практический способ отслеживать изменения - запускать один и тот же поиск по расписанию, сохранять каждый экспорт и сравнивать их. The Дифференцировочный проводник CSV объясняет, как обнаружить добавленные, удаленные и измененные строки между двумя экспортными товарами.
Разрешен ли соскабливание бизнес-данных с карт?
Этот вопрос состоит из двух частей, и стоит их разделить.
Сбор данных. Инструмент Toolz считывает API поиска лицензированных мест, а не автоматизирует браузер на веб-сайте карт, что является отличительной чертой большинства картографических сервисов & #39; термины включаются. если вы создаете собственный коллектор, сначала прочтите условия источника данных.Официальным маршрутом для данных Google's, например, является Места API, который имеет свои условия и цены Открытые данные - это другой путь: OpenStreetMap данные можно повторно использовать по лицензии Open Database License с указанием авторства.
Использование данных. То, что вы делаете со списком, регулируется законодательством о маркетинге и конфиденциальности, где находятся предприятия, и эта ответственность лежит на вас. В Соединенных Штатах коммерческая электронная почта подпадает под действие Закона о CAN-SPAM, кратко изложенного в Руководство по соблюдению требований FTC и #39;s. В Великобритании электронный маркетинг регулируется PECR наряду с законом о защите данных ICO's руководство по прямому маркетингу объясняет правила. единоличные трейдеры' детали могут считаться персональными данными в некоторых юрисдикциях. ничего из этого не является юридической консультацией; если информационно-пропагандистская деятельность занимает центральное место в вашем бизнесе, проверьте правила, которые применяются к вам.
Что происходит с моими поисками и каковы пределы?
В отличие от большинства инструментов Toolz, этот не может запускать клиентскую сторону: он должен вызывать платный поисковый API с сервера. вводимый вами текст поиска отправляется на сервер Toolz, который запрашивает поставщика поиска и возвращает списки, и ничего не сохраняется. На странице так написано под окном поиска (& quot;Runs на нашем сервере, а не в вашем браузере& quot;) и в уведомлении под результатами.
Каждый поиск получает пять страниц из этого платного API, поэтому на одного посетителя приходится ежедневная ограничение, в настоящее время три поиска, сброс в полночь UTC. После поиска счетчик, такой как & quot;2 из 3 поисковых запросов, остался сегодня & quot; показывает, что осталось Экспорт CSV происходит в вашем браузере и не считается.
| сообщение | Причина | Что делать |
|---|---|---|
| "Введите, что искать и где..." | Пустой запрос | Введите тип бизнеса и место |
| "Этот поиск слишком короткий." | Меньше 3 символов | Добавить место |
| "Продолжайте поиск по адресу 120 символов." | Запрос слишком длинный | Сократите его |
| "Достигнут дневной лимит (3 поиска). Попробуйте еще раз завтра." | Используется крышка | Дождитесь сброса в полночь по всемирному координированному времени |
| "Нет списков, соответствующих..." | Поместите слишком расплывчато или неправильно написано, или фильтр все исключает | Назовите город или район или переключите фильтр на "Все" |
| "Поиск не удался. Попробуйте еще раз через мгновение." | В восходящем API произошла ошибка | Повторите попытку |
| "Не смог добраться до сервера..." | Ваша связь упала | Проверьте соединение и повторите попытку |
Скребок карт против других способов создания списка потенциальных клиентов
| метод | Данные, которые вы получаете | Усилия | Пределы |
|---|---|---|---|
| Копирование с сайта карт вручную | Что бы вы ни копировали | Высокий | Медленный, подверженный ошибкам, за 20 строк |
| Сценарии автоматизации браузера | Что бы ни показывала страница | Высокий для строительства и обслуживания | Нарушения при изменении макета, условия риска |
| Размещает API напрямую | Богатые поля, включая координаты и часы | Средний, нужен ключ API и код | Оплачивается по запросу |
| Размещенные скребковые платформы | Различается, иногда электронная почта | Низкий и средний | Оплачиваемые, разные сроки |
| Запросы OpenStreetMap | Открытые данные с указанием авторства | Средний | Охват варьируется в зависимости от региона |
| Скребок карт Toolz | Семь полей, до 50 на поиск, CSV | Низкий | 3 поиска в день, никаких писем и часов |
Рабочий рабочий процесс списка потенциальных клиентов
Предположим, веб-дизайнер хочет, чтобы стоматологи в Лидсе не имели веб-сайта.
- откройте инструмент местных бизнес-данных и поиск
dentists in Leeds, йо- - Читайте сводку: например, 50 объявлений, 32 с сайтом, 47 с телефоном, средняя оценка 4,4.
- Это означает, что 18 объявлений, 36%, не публикуют веб-сайтов. Это список.
- Оставьте фильтр включенным "Все" и нажмите CSV (50).
- Откройте файл с кодировкой UTF-8, столбец "Телефон" в качестве текста и отфильтруйте столбец "Веб-сайт"
- Перед звонком убедитесь, что каждый бизнес по-прежнему открыт.
- На следующий день повторите с
dentists in Headingleyаdentists in Roundhayчтобы расширить покрытие и объединить файлы.
Если вы планируете писать контент, ориентированный на предприятия из вашего списка, Инструмент "Задавать вопросы" находит вопросы, которые люди задают по теме на Reddit, и центр маркетинговых инструментов перечисляет остальную часть набора.
