웹 디자이너는 리즈에 웹 사이트가없는 모든 치과 의사를 원합니다. 영업 담당자는 무역 박람회 전에 맨체스터 3 개 지역의 배관공을 필요로합니다. 카페 주인은 도보 거리 내의 커피 숍이 어떻게 평가되는지보고 싶어합니다. 세 가지 직업은 모두 같은 장소에서 시작되며지도 검색,같은 지점에서 세 개의 가판대: 결과는 한 번에 하나씩 스크롤하는 카드이며 정렬,필터링 및 공유 할 수있는 테이블이 아닙니다.
이 가이드는 "what,where"를 어떻게 돌릴지 쓸만한 리스트를 검색합니다: 지도 목록이 어떤 데이터를 가지고 있는지,얼마나 많은 결과를 현실적으로 얻을 수 있는지,체인에 대해 중복 제거가 어떻게 작동해야 하는지,요약 번호를 읽는 방법,CSV 가 깔끔하게 열리도록 어떻게 구축되었는지,그리고 법적,실제적 한계가 어디에 있는지 작업한 예제에서는 을 사용합니다 Toolz는 스크레이퍼를 매핑합니다.
TL;DR: 지도 스크레이퍼는 "leeds" 의 치과의사;와 같은 검색을 7 개의 필드가 있는 비즈니스 테이블로 바꿉니다: 이름,주소, 카테고리,별점, 리뷰 수,전화 및 웹 사이트. The Toolz 지도 스크레이퍼 브라우저를 자동화하는 대신 장소 검색 API 를 읽고,10 개씩 5 페이지를 최대 50 개의 목록으로 병합하고,이름과 주소로 중복을 제거하여 체인 분기가 분리되어 있는지 보여주고,얼마나 많은 목록이 웹 사이트 또는 전화를 게시하는지 보여주고,필터를 따르는 RFC 4180 CSV 전자 메일,개방 시간 또는 검토 텍스트를 반환하지 않습니다. 검색은 서버에서 실행되며,무료이며, 가입이 없으며,방문자당 하루 3 개로 제한됩니다.
지도 스크레이퍼란 무엇입니까?
지도 스크레이퍼는 지도 검색에서 비즈니스 목록을 수집하여 지도 핀과 카드 대신 구조화된 데이터로 반환하는 도구입니다. 비즈니스 유형과 장소를 설명하고 스프레드시트로 정렬,필터링 및 내보낼 수 있는 비즈니스당 행을 다시 제공합니다.
데이터는 같은 종류 지도 검색은 사람을 보여줍니다. 차이점은 모양: 테이블을 사용하면 계산,비교 및 다른 사람에게 목록을 건네,카드의 스크롤 패널은하지 않습니다.
하나를 구축하는 두 가지 광범위한 방법이 있습니다. 브라우저 자동화는 지도 웹 사이트를 통해 실제 브라우저를 구동하고,스크롤하고, 페이지의 텍스트를 복사합니다. 페이지 레이아웃이 변경 될 때마다 중단되며,대부분의 지도 서비스의 조건에 반하여 실행됩니다. 다른 방법은 장소 검색 API 를 읽습니다. 목록 목록을 데이터로 반환하는 서비스입니다. Toolz 도구는 타사 장소 검색 API 를 통해 두 번째 접근 방식을 사용하므로 결과가 안정적이고 한계가 예측 가능합니다.
각 비즈니스에 대해 어떤 데이터를 얻나요?
각 목록에는 7 개의 필드가 있습니다. 목록이 해당 정보를 게시하지 않으면 그 중 하나가 비어 있을 수 있습니다.
| 필드 | 예 | 노트 |
|---|---|---|
| 명명하다 | 조's "베스트" 커피,Inc. | 열거된 대로 |
| 주소 | 123 SE 메인 스트리트, 포틀랜드, OR 97214 | 부분으로 분할되지 않은 하나의 텍스트 필드입니다 |
| 카테고리 | 커피숍 | 목록's 기본 카테고리 |
| 평가 | 4.6 | 평균 별 등급; 등급이 없으면 비어 있습니다 |
| 리뷰 | 212 | 리뷰 수; 등급이 없으면 비어 있습니다 |
| 전화 | (503) 555-0142 | 출판되면서 |
| 웹사이트 | https://example.com | 비즈니스가 하나를 나열하는 경우에만 |
포함되지 않은 것은 이것이 귀하의 업무에 적합한 도구인지 여부를 결정하기 때문에 그만큼 중요합니다:
- 이메일 주소 없음. 장소 데이터는 이를 전달하지 않습니다. 웹사이트 필드는 일반적으로 연락처 주소를 찾을 수 있는 곳입니다.
- 리뷰 텍스트가 없습니다, 리뷰어 이름 또는 리뷰 날짜. 평균과 개수만 해당됩니다.
- 영업 시간, 좌표 또는 사진이 없습니다.
- 대량 모드 없음. 각 "what, where" 쿼리는 하나의 검색입니다.
지도 검색은 몇 개의 결과를 반환합니까?
검색 당 최대 50 개의 개별 목록. 이 도구는 10 개의 결과로 구성된 5 페이지를 병렬로 요청하고 병합합니다. 5 페이지를 넘어서면 장소 색인은 이미 반환 한 목록을 반복하는 경향이 있으므로 더 많은 페이지가 비즈니스보다는 중복을 추가합니다.
Fifty 는 인구 조사가 아닌 밀집된 범주의 표본입니다. "런던의 레스토랑"에는 수천 개의 목록이 있으며 단일 검색으로 가장 관련성이 높은 50 개를 반환합니다. 표본이 아닌 적용 범위가 필요한 경우 영역을 더 작은 장소로 나누고 각각에 대해 하나의 검색을 실행합니다.
| 목표 | 약한 쿼리 | 더 나은 쿼리 |
|---|---|---|
| 도시 전역의 배관공 | plumbers |
plumbers in Salford, plumbers in Stockport, plumbers in Didsbury |
| 중규모 도시의 치과의사 | dentist |
dentists in Leeds |
| 대도시의 레스토랑 | restaurants London |
restaurants in Shoreditch, restaurants in Camden, restaurants in Brixton |
| 틈새 시장 | shops in Portland |
bike repair shops in Portland |
쿼리는 3 자에서 120 자 사이여야 합니다. 비즈니스 유형과 쿼리에 장소를 모두 넣는 것이 결과를 유용하게 만드는 것입니다; 비즈니스 유형만으로는 앵커할 위치가 없습니다.
하루에 세 번의 검색으로 제한하고 시작하기 전에 동네를 계획하고 며칠에 걸쳐 더 큰 검색을 펼치세요.
체인과 분기에 대한 중복 제거는 어떻게 작동합니까?
중복은 대문자를 무시하고 이름과 주소를 함께 비교하여 제거됩니다. 두 행은 둘 다 일치할 때만 동일한 비즈니스입니다.
그 규칙은 고의적입니다. 이름만 중복 제거하면 체인의 모든 분기가 한 행으로 붕괴되어 로컬 검색이 정확히 찾는 목록이 삭제됩니다. 다음은 세 가지 원시 결과가 해결되는 방법입니다:
| 원시 결과 | 이름 + 주소 키 | 보관? |
|---|---|---|
| 스타벅스, 100 메인 스트리트 | starbucks|100 main st |
예 |
| 스타벅스, 100 메인 스트리트 | starbucks|100 main st |
아니요, 첫 번째 사본입니다 |
| 스타벅스, 200 오크 애비뉴 | starbucks|200 oak ave |
네, 별도의 지점입니다 |
첫 번째 발생이 승리하므로,유지된 행은 먼저 반환한 페이지의 대문자를 사용합니다. 이름이 없는 목록은 완전히 건너뜁니다.
행 앞에 있는 요약을 읽는 방법
표 위에는 4 개의 숫자가 검색을 요약합니다: 전체 목록, 웹 사이트가있는 수, 전화가있는 수 및 평균 등급.
평균 등급은 등급이 있는 리스팅에 대해서만 계산된 다음 소수점 하나로 반올림됩니다. 등급이 지정되지 않은 리스팅은 0 으로 계산되지 않고 제외되므로 평균이 부당하게 아래로 드래그됩니다. 작은 예시:
| 리스팅 | 평가 | 웹사이트 | 전화 |
|---|---|---|---|
| A | 4.6 | 예 | 예 |
| 비 | 4.2 | 아니요 | 예 |
| 씨 | 없음 | 아니요 | 예 |
| 디 | 3.9 | 예 | 아니요 |
Listings 4
With a website 2 (A, D)
With a phone 3 (A, B, C)
Average rating (4.6 + 4.2 + 3.9) / 3 = 12.7 / 3 = 4.233 -> 4.2
웹사이트 수는 종종 상업적으로 가장 유용한 수치입니다. 치과의사를 검색하면 50 개의 목록이 반환되고 그 중 18 개는 웹사이트가 없다고 가정해 보겠습니다. 즉,사이트가 없는 카테고리의 18 / 50 = 36%이며,단일 행을 읽기 전에 표시됩니다. 웹 디자이너의 경우 해당 18 개가 봉사 활동 목록을 클릭합니다 웹사이트가 있습니다 또는 전화가 있습니다 테이블을 게시하는 목록으로 필터링하려면; "missing website" 필터가 없으므로 모든 행을 내보내고 스프레드시트의 빈 웹사이트 셀을 필터링합니다.
CSV는 어떻게 구축되며, 왜 깨끗하게 개방되는가?
수출은 다음과 같습니다 RFC 4180CSV 파일의 일반적인 형식: 모든 필드는 큰따옴표로 묶여 있고 필드 내부의 큰따옴표는 두 배로 늘어납니다. 비즈니스 이름에는 항상 쉼표와 따옴표가 포함되어 있고 인용되지 않은 CSV는 이를 열로 나누고 이후의 모든 행을 손상시키기 때문에 중요합니다.
라는 이름의 리스팅 Joe's "Best" Coffee, Inc. 212개의 리뷰에서 4.6점을 받았고, 등급이 없는 목록은 다음과 같습니다:
"Name","Address","Category","Rating","Reviews","Phone","Website"
"Joe's ""Best"" Coffee, Inc.","123 SE Main St, Portland, OR 97214","Coffee shop","4.6","212","(503) 555-0142","https://example.com"
"Corner Cart","45 NW 5th Ave, Portland, OR 97209","Coffee stand","","","",""
수출에 대한 세 가지 세부 사항:
- 활성 필터를 따릅니다. 버튼은 "CSV (n)"를 읽을 것이며,포함할 행의 개수와 함께.Has 웹사이트가 선택되어 있으면,그 행들만 내보내집니다.
- 빈 값은 빈 문자열입니다0이 아니므로 등급이 지정되지 않은 비즈니스는 별 0개처럼 보이지 않습니다.
- 파일 이름은 쿼리에서 유래합니다, 하이픈으로 바뀐 공백으로 소문자:
coffee shops in Portland로 다운로드coffee-shops-in-portland.csv.
다시 다운로드하거나 다른 필터를 사용하면 다른 검색을 사용하지 않습니다.
파일을 열 때 스프레드시트가 악센트 문자를 엉망으로 만들면 스프레드시트's 텍스트 또는 CSV 가져오기 옵션을 통해 가져오고 UTF-8 인코딩을 선택합니다. 가져오기 중에 전화 열을 텍스트로 설정하면 더하기 기호와 0 이 그대로 계속 표시됩니다. 파일을 가져오기 전에 파일을 검사하거나 변환하려면 어디서나 CSV 뷰어 브라우저에서 엽니다 CSV-JSON 가이드 CRM 또는 스크립트로 변환하는 내용을 다룹니다.
지도 목록 데이터는 얼마나 최신입니까?
항상 현실보다 뒤떨어지는 지수만큼 최신입니다. 지난 달에 문을 닫은 비즈니스는 여전히 나열 될 수 있으며,새로운 비즈니스는 아직 나타나지 않을 수 있으며,전화 번호는 주소보다 더 빨리 오래됩니다. 특히 전화하기 전에 행동 할 계획 인 모든 것을 확인하십시오.
변화를 추적하는 실용적인 방법은 일정에 따라 동일한 검색을 실행하고 각 내보내기를 유지하며 비교하는 것입니다. The CSV 차이 가이드 두 내보내기 사이에 행을 추가, 제거 및 변경하는 방법을 설명합니다.
지도에서 비즈니스 데이터를 스크래핑하는 것이 허용됩니까?
이 질문은 두 부분으로 구성되어 있으며, 두 부분을 분리해 둘 가치가 있습니다.
데이터를 수집합니다. Toolz 도구는 대부분의 지도 서비스'에 대한 구별인 지도 웹사이트에 대해 브라우저를 자동화하는 대신 라이선스가 부여된 장소 검색 API를 읽습니다. 용어가 켜집니다. 자신만의 컬렉터를 구축하면 먼저 데이터 소스의 용어를 읽습니다. 예를 들어 Google's 데이터의 공식 경로는 다음과 같습니다 장소 API는 자체 조건과 가격이 있습니다. 오픈 데이터는 또 다른 경로입니다: 오픈스트리트맵 데이터는 저작자 표시가 있는 Open Database License에 따라 재사용할 수 있습니다.
데이터를 사용하여. 귀하가 목록을 가지고 하는 일은 기업이 있는 곳의 마케팅 및 개인정보 보호법의 적용을 받으며,그 책임은 귀하에게 있습니다. 미국에서 상업용 이메일은 CAN-SPAM 법에 해당하며,요약된 내용은 다음과 같습니다 FTC's 준수 가이드. 영국에서는 전자 마케팅이 데이터 보호법과 함께 PECR의 적용을 받습니다 ICO's 직접 마케팅 안내 규칙을 설명합니다. 단독 거래자' 세부 사항은 일부 관할권에서 개인 데이터로 간주될 수 있습니다. 이 중 어느 것도 법적 조언이 아닙니다; 봉사 활동이 비즈니스의 핵심이라면 귀하에게 적용되는 규칙을 확인하십시오.
내 검색은 어떻게 되며, 한계는 무엇입니까?
대부분의 툴즈 툴과는 달리,이 하나는 클라이언트 측을 실행할 수 없습니다: 서버에서 유료 검색 API 를 호출해야 합니다. 입력한 검색 텍스트는 검색 공급자를 쿼리하고 목록을 반환하는 툴즈 서버로 전송되며,아무것도 저장되지 않습니다. 페이지가 검색 상자 ("Runs on our server,not in your browser") 와 결과 아래의 공지에 그렇게 나와 있습니다.
각 검색은 해당 유료 API 에서 5 페이지를 가져 오므로 방문자 당 일일 상한선이 있으며 현재 3 개의 검색이 있으며 UTC 자정에 재설정됩니다. 검색 후 "2 of 3 검색이 today" 남아있는 것을 보여줍니다. CSV 내보내기는 브라우저에서 발생하며 계산되지 않습니다.
| 전언 | 원인 | 무엇을 할 |
|---|---|---|
| "검색할 항목과 위치를 입력하세요..." | 빈 쿼리 | 사업 유형과 장소를 입력하세요 |
| "그 검색이 너무 짧습니다." | 3 자 이하 | 장소를 추가하십시오 |
| "120 자 이하로 검색을 유지하십시오." | 쿼리가 너무 길다 | 단축시키고 |
| "일일 한도에 도달했습니다 (3 검색). 내일 다시 시도하십시오." | 캡 사용 | UTC 자정에 재설정을 기다리십시오 |
| "일치된 목록이 없습니다..." | 너무 모호하거나 철자가 틀리거나 필터가 모든 것을 제외합니다 | 도시나 동네의 이름을 지정하거나 필터를 모두로 전환하세요 |
| "검색에 실패했습니다. 잠시 후에 다시 시도하십시오." | 업스트림 API가 잘못되었습니다 | 곧 재시도하세요 |
| "서버에 도달하지 못했습니다..." | 연결이 끊어졌습니다 | 연결을 확인하고 다시 시도하십시오 |
지도 스크레이퍼 vs 리드 목록을 구축 하는 다른 방법
| 방법 | 당신이 얻는 데이터 | 노력 | 한계 |
|---|---|---|---|
| 지도 사이트에서 직접 복사합니다 | 당신이 복사하는 것이 무엇이든 | 높은 | 20 행을 지나서 느리고 오류가 발생하기 쉽습니다 |
| 브라우저 자동화 스크립트 | 페이지가 보여주는 것이 무엇이든 | 구축 및 유지 관리 할 높은 | 레이아웃 변경 중단, 용어 위험 |
| 장소 API 직접 | 좌표와 시간을 포함한 풍부한 필드 | 중간, API 키와 코드가 필요합니다 | 요청 당 지불 |
| 호스팅된 스크래핑 플랫폼 | 다양하며 때로는 이메일 | 중저 | 다양한 조건으로 지불됩니다 |
| OpenStreetMap 쿼리 | 저작자표시가 있는 오픈 데이터 | 중간 | 적용 범위는 지역에 따라 다릅니다 |
| Toolz 지도 스크레이퍼 | 7개 필드, 검색당 최대 50개, CSV | 낮은 | 하루에 3번 검색하고 이메일이나 시간은 없습니다 |
작업된 리드 목록 워크플로우입니다
웹 디자이너가 웹사이트 없이 리즈의 치과의사를 원한다고 가정해 보겠습니다.
- 열다 로컬 비즈니스 데이터 도구 및 검색
dentists in Leeds. - 요약 읽기: 예를 들어, 50 목록, 32 웹 사이트, 47 전화, 평균 평점 4.4.
- 즉,18 개의 목록,36%는 웹 사이트를 게시하지 않습니다. 그것이 목록입니다.
- 필터를 모두 에 두고 CSV (50) 를 클릭합니다.
- UTF-8 인코딩으로 파일을 열고 전화 열을 텍스트로 열고 웹 사이트 열을 공백으로 필터링합니다.
- 전화하기 전에 각 비즈니스가 아직 열려 있는지 확인하세요.
- 다음날, 와 함께 반복하십시오
dentists in Headingley그리고dentists in Roundhay적용 범위를 확장하고 파일을 결합합니다.
목록에 있는 기업을 대상으로 콘텐츠를 작성할 계획이라면 질문하기 도구 reddit의 주제에 대해 사람들이 묻는 질문을 찾습니다 마케팅 도구 허브 세트의 나머지 부분을 나열합니다.
