Web设计师想要利兹每一个没有网站的牙医,一个销售代表在贸易展之前需要曼彻斯特三个街区的水管工,一个咖啡馆老板想看看步行距离内的咖啡店如何评价所有三个工作都从同一个地方开始,一个地图搜索,三个摊位都放在同一个点:结果是你一次滚动一张的卡片,而不是你可以排序,过滤和共享的桌子。
本指南涵盖了如何将 " 什么、在哪里" 搜索到可用列表:地图列表包含哪些数据、您可以实际获得多少结果、重复数据删除应如何适用于链条、如何读取汇总编号、如何构建 CSV 以便干净地打开以及在哪里设置法律和实际限制。工作示例使用 Toolz 地图刮刀。
TL;博士: 地图刮刀将像 " 利兹牙医" 这样的搜索变成了一个包含七个字段的企业表:名称、地址、类别、星级、评论数、电话和网站 Toolz 地图刮刀 reads 一个地方搜索 API 而不是自动化浏览器,将五页十合并到多达 50 个列表中,按名称加地址删除重复项,以便连锁分支保持分开,显示有多少列表发布网站或电话,并导出一个 RFC 4180 CSV,它不会返回电子邮件,开放时间或审查文本搜索运行在服务器上,免费,没有注册,并且每个访问者每天上限为三个。
什么是地图刮刀?
Maps scraper是一种工具,它从地图搜索中收集企业列表,并将其作为结构化数据返回,而不是地图引脚和卡片。您描述企业类型和地点,并且它会给出每个企业的一行,您可以对它们进行排序、过滤并导出到电子表格。
数据与地图搜索显示的人相同。不同之处在于形状:一张表格可以让您数数、比较并将列表交给其他人,而卡片滚动面板则不然。
2种广义的方式来构建一种,浏览器自动化通过地图网站驱动真正的浏览器,滚动,复制页面外的文本,每当页面布局发生变化时它就会破裂,它会违背大多数地图服务的条款,另一种方式读取一个地方搜索API,一个将列表作为数据返回的服务,Toolz工具使用第二种方法,通过第三方地方搜索API,这就是为什么它的结果是稳定的,它的极限是可预测的。
您为每个企业获得哪些数据?
每个列表有七个字段。如果列表没有发布该信息,则其中任何一个都可以为空。
| 场 | 例子 | 注释 |
|---|---|---|
| 名称 | Joe's"最佳"咖啡公司。 | 如所列出 |
| 地址 | 123 SE Main St, 波特兰, OR 97214 | 一个文本字段,不分成多个部分 |
| 类别 | 咖啡店 | 列表's 主要类别 |
| 评级 | 4.6 | 平均星级;如果未评级,则为空 |
| 评论 | 212绔 涔诲芥澶澧 | 评论数量;如果未评级,则为空 |
| 电话 | (503) 555-0142 | 正如已发布的那样 |
| 网站 | https://example.com | 仅当企业列出一个时 |
未包含的内容同样重要,因为它决定这是否适合您的工作工具:
- 没有电子邮件地址。 Place数据不携带,网站字段通常是可以找到联系地址的地方。
- 没有评论文本、审稿人姓名或审稿日期。只有平均数和计数。
- 没有开放时间、坐标或照片。
- 无批量模式。 每条"什么、哪里"查询是一次搜索。
地图搜索将返回多少结果?
50个不同的列表,每次搜索。该工具请求五页十个结果并行并合并它们。超过五页,地方索引倾向于重复它已经返回的列表,因此更多的页面会添加重复而不是业务。
Fifty是一个密集类别的样本,而不是人口普查。"伦敦的餐厅"有数千个列表,单个搜索返回最相关的50个。当您需要覆盖范围而不是样本时,将区域分成更小的地方,并为每个区域运行一个搜索。
| 目标 | 弱查询 | 更好的查询 |
|---|---|---|
| 水管工穿过一座城市 | plumbers |
plumbers in Salford、 plumbers in Stockport、 plumbers in Didsbury |
| 中型城市的牙医 | dentist |
dentists in Leeds |
| 大城市的餐馆 | restaurants London |
restaurants in Shoreditch、 restaurants in Camden、 restaurants in Brixton |
| 一个利基市场 | shops in Portland |
bike repair shops in Portland |
3到120个字符之间查询,把业务类型和地方都放在查询中,才是结果有用的原因;仅业务类型就没有位置锚定。
每天的搜索次数限制为 3 次,在开始之前规划社区,并在几天内进行更大规模的扫描。
重复数据删除对链条和分支机构如何运作?
Duplicates一起比较名称和地址来去除,忽略大写,只有当两者匹配时,两行才是同一业务。
That rule is deliberate。deduplicating on name only would classed each branch of a chain into one row, deleting exclude a local search is for。Here is three raw results resolution:
| 原始结果 | 名 + 地址键 | 保留? |
|---|---|---|
| 星巴克,100 Main St | starbucks|100 main st |
是的 |
| 星巴克,100 MAIN St | starbucks|100 main st |
不,第一个的重复 |
| 星巴克,橡树大道 200 号 | starbucks|200 oak ave |
是的,一个单独的分支 |
1 次出现获胜,因此保留的行使用从哪个页面首先返回的大写。没有名称的列表将被完全跳过。
如何阅读行前的摘要
表格上方有四个数字总结搜索:总列表、有多少网站、有多少手机以及平均评分。
平均评级仅针对具有评级的列表进行计算,然后四舍五入到小数点后一位。未评级的列表被排除在外而不是算为零,这将不公平地拖累平均值。一个小说明性示例:
| 列出 | 评级 | 网站 | 电话 |
|---|---|---|---|
| 甲 | 4.6 | 是的 | 是的 |
| B | 4.2 | 否 | 是的 |
| C. | 没有 | 否 | 是的 |
| D. | 3.9 | 是的 | 否 |
Listings 4
With a website 2 (A, D)
With a phone 3 (A, B, C)
Average rating (4.6 + 4.2 + 3.9) / 3 = 12.7 / 3 = 4.233 -> 4.2
网站数量往往是最具商业用途的数字,说搜索牙医返回50个列表,其中18个没有网站,即没有网站的类别的18/50 = 36%,在您阅读单行之前可见,对于网页设计师来说,那18个是外展列表,点击 有网站 或 有电话 将表过滤到发布列表的列表;没有"缺少网站"过滤器,因此导出所有行并过滤电子表格中的空网站单元格。
CSV是如何构建的,为什么它可以干净地打开?
出口如下 RFC 4180中, CSV文件的常用格式:每个字段都用双引号包裹,一个字段内的任何双引号都加倍,这很重要,因为企业名称一直包含逗号和引号,而未引号的CSV会将它们分隔成列,并在之后损坏每一行。
名为的列表 Joe's "Best" Coffee, Inc. 212 条评论中评分为 4.6,且列表未评级,结果如下:
"Name","Address","Category","Rating","Reviews","Phone","Website"
"Joe's ""Best"" Coffee, Inc.","123 SE Main St, Portland, OR 97214","Coffee shop","4.6","212","(503) 555-0142","https://example.com"
"Corner Cart","45 NW 5th Ave, Portland, OR 97209","Coffee stand","","","",""
有关出口的三个详细信息:
- 它遵循有源过滤器。 按钮读取 "CSV (n)"及其将包含的行数。选择了 Has 网站,仅导出这些行。
- 空值是空字符串的,而不是零,所以一个未评级的企业看起来不像一个零星企业。
- 文件名来自您的查询,小写带有空格变成连字符:
coffee shops in Portland下载为coffee-shops-in-portland.csv。
再次下载或使用不同的过滤器,不会使用其他搜索。
如果电子表格在打开文件时弄坏了重音字符,请通过电子表格导入's文本或CSV导入选项并选择UTF-8编码。将导入时的电话列设置为文本可以保持前导加号和零的完整。要在将文件导入到任何地方之前检查或转换该文件, CSV 查看器 在浏览器中打开它,然后 CSV 到 JSON 指南 涵盖将其转换为 CRM 或脚本。
地图列表数据当前情况如何?
数(index)一样当前,总是滞后于现实,上个月关闭的业务仍然可以上市,可能还不会出现新的业务,而且电话号码比地址更快地失效,验证任何你打算采取行动的事情,尤其是在打电话之前。
跟踪更改的一种实用方法是在时间表上运行相同的搜索,保留每个导出并进行比较。 CSV 差异指南 解释如何发现两个导出之间添加、删除和更改行。
是否允许从地图上抓取业务数据?
这个问题有两个部分,值得将它们分开。
收集数据。 Toolz工具读取一个许可的地方搜索API而不是自动浏览器对地图网站,这是大多数地图服务的区别'条款开启如果你构建自己的收集器,首先阅读数据源的条款谷歌's数据的官方路线,例如,是 放置 API的, 有自己的条款和定价, 开放数据是另一条路线: 开放街道地图 数据可以在开放数据库许可证下重复使用并注明出处。
使用数据。 您对列表所做的事情受企业所在地的营销和隐私法的管辖,而责任由您承担。在美国,商业电子邮件属于 CAN-SPAM 法案,总结于 FTC's合规指南在英国,电子营销与数据保护法一起受到 PECR 的保护,并且 ICO's直销指导 释规则。唯一交易者'细节在一些司法管辖区可以算作个人数据。这些都不是法律建议;如果外展对您的业务至关重要,请检查适用于您的规则。
我的搜索发生了什么?限制是什么?
Toolz 的工具,这款工具与大多数不同,它不能运行客户端:它必须调用来自服务器的付费搜索 API,你输入的搜索文本发送到 Toolz 服务器,Toolz 服务器查询搜索提供商并返回列表,并且没有任何存储页面在搜索框下("运行在我们的服务器上,而不是在你的浏览器"中)和结果下方的通知中如此说明。
每个搜索从该付费 API 中获取五个页面,因此每个访问者每天有上限,目前搜索三次,在 UTC 午夜重置。搜索后,今天剩下的 3 次搜索中,有一个计数器(例如 "2)显示剩余的 CSV 导出发生在您的浏览器中,不计数。
| 带信息 | 原因 | 做什么 |
|---|---|---|
| "输入要搜索的内容和位置..." | 空查询 | 输入商业类型和地点 |
| "那个搜索太短了。" | 3个字符以下 | 加地方 |
| "将搜索保留在120个字符以下。" | 查询太长 | 缩短它 |
| "日限达到(3次搜索) 明天再试一次。" | 使用盖子 | UTC午夜等待重置 |
| "没有匹配的列表..." | 放置过于模糊或拼写错误,或者过滤器排除所有内容 | 命名城市或社区,或将过滤器切换为"全部" |
| "搜索失败,片刻再试一次。" | 上游 API 出了错误 | 很快重试 |
| "无法到达服务器..." | 你的联系下降了 | 检查连接并重试 |
地图抓取程序与构建潜在客户列表的其他方法
| 方法 | 您获得的数据 | 努力 | 限制 |
|---|---|---|---|
| 手动从地图网站复制 | 无论你复制什么 | 高 | 过去 20 行缓慢、容易出错 |
| 浏览器自动化脚本 | 无论页面显示什么 | 高以构建和维护 | 布局变更中断,术语风险 |
| 直接放置 API | 丰富的字段,包括坐标和小时 | 中,需要一个API密钥和代码 | 按请求付费 |
| 托管刮擦平台 | 情况各不相同,有时甚至是电子邮件 | 低至中 | 付费、条款不同 |
| OpenStreetMap 查询 | 打开带有归因的数据 | 中等 | 覆盖范围因地区而异 |
| Toolz 地图刮刀 | 七个字段,每次搜索最多 50 个,CSV | 低 | 3搜索一天, 没有电子邮件或小时 |
工作前导列表工作流程
假设网页设计师希望利兹没有网站的牙医。
- 打开 本地业务数据工具 和搜索
dentists in Leeds。 - 阅读摘要:例如,50 个列表、32 个网站列表、47 个手机列表、平均评分为 4.4。
- 这意味着 18 个列表,36%,没有发布任何网站。就是列表。
- 将过滤器保留在"全部"上,然后单击 CSV (50)。
- UTF-8编码打开文件,电话列为文本,过滤网站列为空白。
- 呼叫前验证每个业务仍然开放。
- 第二天,重复
dentists in Headingley並dentists in Roundhay扩大覆盖范围,并组合文件。
如果您计划针对列表中的企业编写内容,则 提问工具 找到人们在 Reddit 上询问的有关某个主题的问题 营销工具中心 列出该集的其余部分。
