Een webdesigner wil elke tandarts in Leeds die geen website heeft Een verkoopvertegenwoordiger heeft de loodgieters nodig over drie wijken in Manchester voor een beurs Een caféhouder wil zien hoe de coffeeshops op loopafstand tarief Alle drie de banen beginnen op dezelfde plek, een kaart zoeken, en alle drie kramen op hetzelfde punt: de resultaten zijn kaarten die je één voor één doorbladert, niet een tabel die je kunt sorteren, filteren en delen.
Deze gids behandelt hoe u een & quot; what, where" zoekt in een bruikbare lijst: welke gegevens een kaartlijst bevat, hoeveel resultaten u realistisch gezien kunt krijgen, hoe deduplicatie moet werken voor ketens, hoe u de samenvattende nummers leest, hoe de CSV zo wordt gebouwd dat deze netjes wordt geopend en waar de wettelijke en praktische limieten zijn De uitgewerkte voorbeelden gebruiken de Toolz kaarten schraper.
tl;dr: Een kaartenschraper verandert een zoekopdracht als "dentists in Leeds" in een tabel met bedrijven met zeven velden: naam, adres, categorie, sterrenclassificatie, aantal beoordelingen, telefoon en website De Toolz Maps Scraper leest een plaatsen zoeken API in plaats van het automatiseren van een browser, voegt vijf pagina's van tien in maximaal 50 vermeldingen, verwijdert duplicaten op naam plus adres zodat keten takken gescheiden blijven, toont hoeveel vermeldingen publiceren een website of telefoon, en exporteert een RFC 4180 CSV die volgt uw filter Het retourneert geen e-mails, openingstijden of review tekst Zoekopdrachten die worden uitgevoerd op een server, zijn gratis, geen aanmelding, en beperkt tot drie per bezoeker per dag.
Wat is een kaartenschraper?
Een kaartenschraper is een tool die bedrijfsvermeldingen verzamelt uit een kaartzoekopdracht en deze retourneert als gestructureerde gegevens in plaats van kaartspelden en kaarten. Je beschrijft een bedrijfstype en een plaats, en het geeft een rij terug per bedrijf die je kunt sorteren, filteren en exporteren naar een spreadsheet.
De gegevens zijn van dezelfde soort als een kaartzoekopdracht een persoon laat zien Het verschil is vorm: een tabel laat je tellen, vergelijken en de lijst aan iemand anders overhandigen, wat een scrollend paneel met kaarten niet doet.
Er zijn twee brede manieren om er een te bouwen Browser automatisering stuurt een echte browser door een kaarten website, scrollt, en kopieert tekst van de pagina Het breekt wanneer de pagina lay-out verandert, en het loopt tegen de voorwaarden van de meeste kaart diensten De andere manier leest een plaatsen zoeken API, een dienst die vermeldingen retourneert als gegevens De Toolz tool gebruikt de tweede benadering, via een derde-partij plaatsen zoeken API, daarom zijn de resultaten stabiel en zijn de grenzen zijn voorspelbaar.
Welke gegevens krijgt u voor elk bedrijf?
Elke vermelding heeft zeven velden Elk van hen kan leeg zijn als de vermelding die informatie niet publiceert.
| veld | toonbeeld | vastleggen |
|---|---|---|
| heten | Joe's "Beste" Koffie, Inc. | Zoals vermeld |
| Adres | 123 SE Main St, Portland, OR 97214 | Eén tekstveld, niet opgesplitst in delen |
| Categorie | Koffiewinkel | De lijst's primaire categorie |
| Waardering | 4.6 | Gemiddelde sterrenclassificatie; leeg als niet beoordeeld |
| Reviews | 212 | Aantal beoordelingen; leeg indien niet gewaardeerd |
| Telefoon | (503) 555-0142 | Zoals gepubliceerd |
| Website | https://example.com | Alleen als het bedrijf er een opsomt |
Wat er niet in staat, doet er zoveel toe, omdat het beslist of dit het juiste hulpmiddel is voor je werk:
- Geen e-mailadressen. De plaatsgegevens dragen deze niet. In het websiteveld vindt u meestal een contactadres.
- Geen review tekst, namen van recensenten of beoordelingsdata Alleen het gemiddelde en de telling.
- Geen openingstijden, coördinaten of foto's.
- Geen bulkmodus. Elke "wat, waar" query is één zoekopdracht.
Hoeveel resultaten zal een kaartzoekopdracht opleveren?
Tot 50 verschillende vermeldingen per zoekopdracht De tool vraagt vijf pagina's van tien resultaten parallel en voegt deze samen. Boven de vijf pagina's heeft de plaatsenindex de neiging om vermeldingen te herhalen die hij al heeft geretourneerd, dus meer pagina's zouden duplicaten toevoegen in plaats van bedrijven.
Vijftig is een voorbeeld van een dichte categorie, geen volkstelling. & quot; Restaurants in Londen" heeft duizenden vermeldingen, en een enkele zoekopdracht levert de 50 meest relevante op. Wanneer u dekking nodig heeft in plaats van een voorbeeld, splitst u het gebied in kleinere plaatsen en voert u voor elk één zoekopdracht uit.
| doelwit | Zwakke query | Betere vragen |
|---|---|---|
| Loodgieters door een stad | plumbers |
plumbers in Salford, plumbers in Stockport, plumbers in Didsbury |
| Tandartsen in een middelgrote stad | dentist |
dentists in Leeds |
| Restaurants in een grote stad | restaurants London |
restaurants in Shoreditch, restaurants in Camden, restaurants in Brixton |
| Een niche | shops in Portland |
bike repair shops in Portland |
Een query moet tussen de 3 en 120 tekens zijn Zowel het bedrijfstype als de plaats in de query plaatsen is wat resultaten nuttig maakt; een bedrijfstype alleen heeft geen locatie om het te verankeren.
Met een limiet van drie zoekopdrachten per dag, plan de wijken voordat je begint en verspreid een grotere sweep over een paar dagen.
Hoe werkt deduplicatie voor kettingen en takken?
Duplicaten worden verwijderd door naam en adres met elkaar te vergelijken, waarbij hoofdletters worden genegeerd. Twee rijen zijn alleen hetzelfde als beide overeenkomen.
Die regel is bewust Alleen al het dedupliceren op naam zou elke tak van een keten in één rij doen samenvallen, waarbij precies de vermeldingen worden verwijderd waar een lokale zoekopdracht naar is. Hier leest u hoe drie onbewerkte resultaten oplossen:
| Ruw resultaat | Naam + adres sleutel | Bewaard? |
|---|---|---|
| Starbucks, 100 Main St | starbucks|100 main st |
ja |
| STARBUCKS, 100 Main St | starbucks|100 main st |
Nee, duplicaat van de eerste |
| Starbucks, 200 Oak Avenue | starbucks|200 oak ave |
Ja, een aparte vestiging |
De eerste keer dat het voorkomt, wint, dus de bijgehouden rij gebruikt de hoofdletter van de pagina die het als eerste heeft geretourneerd. Vermeldingen zonder naam worden volledig overgeslagen.
Hoe de samenvatting vóór de rijen te lezen
Boven de tabel vatten vier cijfers de zoekopdracht samen: totaal aantal vermeldingen, hoeveel een website hebben, hoeveel een telefoon hebben en de gemiddelde beoordeling.
De gemiddelde rating wordt alleen berekend over noteringen die een rating hebben, en vervolgens afgerond op één decimaal. noteringen zonder rating worden weggelaten in plaats van als nul geteld, wat het gemiddelde oneerlijk naar beneden zou slepen. Een klein illustratief voorbeeld:
| Listing | Waardering | Website | Telefoon |
|---|---|---|---|
| a | 4.6 | ja | ja |
| si | 4.2 | heel weinig | ja |
| do | geen | heel weinig | ja |
| re | 3.9 | ja | heel weinig |
Listings 4
With a website 2 (A, D)
With a phone 3 (A, B, C)
Average rating (4.6 + 4.2 + 3.9) / 3 = 12.7 / 3 = 4.233 -> 4.2
Het aantal websites is vaak het commercieel meest bruikbare cijfer Zeg een zoekopdracht voor tandartsen geeft 50 vermeldingen en 18 daarvan hebben geen website Dat is 18 /50 = 36% van de categorie zonder site, zichtbaar voordat je een enkele rij leest Voor een webdesigner zijn die 18 de outreach lijst Klik Heeft website of Heeft telefoon om de tabel te filteren op vermeldingen die er een publiceren; er is geen " ontbrekende website" filter, dus exporteer alle rijen en filter de lege websitecellen in een spreadsheet.
Hoe wordt de CSV gebouwd en waarom gaat deze schoon open?
De export volgt RFC 4180, het gemeenschappelijke formaat voor CSV-bestanden: elk veld is verpakt in dubbele aanhalingstekens, en elke dubbele aanhalingstekens binnen een veld is verdubbeld Dat is belangrijk omdat bedrijfsnamen voortdurend komma's en aanhalingstekens bevatten, en niet-geciteerde CSV deze over kolommen zou splitsen en elke rij erna zou corrumperen.
Een vermelding genaamd Joe's "Best" Coffee, Inc. beoordeeld met een 4,6 uit 212 beoordelingen, en een notering zonder beoordeling, kom als volgt uit
"Name","Address","Category","Rating","Reviews","Phone","Website"
"Joe's ""Best"" Coffee, Inc.","123 SE Main St, Portland, OR 97214","Coffee shop","4.6","212","(503) 555-0142","https://example.com"
"Corner Cart","45 NW 5th Ave, Portland, OR 97209","Coffee stand","","","",""
Drie details over de export:
- Het volgt het actieve filter. De knop leest "CSV (n) & quot; met het aantal rijen dat het zal bevatten Met Has website geselecteerd worden alleen die rijen geëxporteerd.
- Lege waarden zijn lege tekenreeksen, geen nullen, dus een bedrijf zonder rating ziet er niet uit als een nul-ster.
- De bestandsnaam komt van uw query, onderkast met spaties omgezet in koppeltekens:
coffee shops in Portlanddownloads alscoffee-shops-in-portland.csv.
Opnieuw downloaden, of met een ander filter, maakt geen gebruik van een andere zoekopdracht.
Als een spreadsheet tekens met accenten verminkt wanneer u het bestand opent, importeert u het via de spreadsheet' s tekst of CSV importoptie en kiest u UTF-8 codering Door de Telefoonkolom tijdens het importeren op Tekst te zetten, blijft leiden plus tekens en nullen intact. Om het bestand te inspecteren of te converteren voordat u het ergens importeert, moet de CSV-viewer opent het in de browser, en de CSV naar JSON-gids covers die het converteren voor een CRM of script.
Hoe actueel zijn kaartlijstgegevens?
Zo actueel als de index, die altijd achterloopt op de realiteit Een bedrijf dat vorige maand is gesloten, kan nog steeds worden vermeld, een nieuw bedrijf verschijnt mogelijk nog niet en telefoonnummers worden sneller verouderd dan adressen. Controleer alles waar u op wilt reageren, vooral voordat u belt.
Een praktische manier om verandering bij te houden is door dezelfde zoekopdracht volgens een schema uit te voeren, elke export te behouden en te vergelijken. De CSV diff-gids legt uit hoe u toegevoegde, verwijderde en gewijzigde rijen tussen twee exportproducten kunt herkennen.
Is het schrapen van bedrijfsgegevens van kaarten toegestaan?
Deze vraag bestaat uit twee delen en het is de moeite waard om ze gescheiden te houden.
Het verzamelen van de gegevens. De Toolz-tool leest een gelicentieerde API voor het zoeken naar plaatsen in plaats van een browser te automatiseren aan de hand van een kaartwebsite, wat het onderscheid is dat de meeste kaartservices ' termen aanzetten Als u uw eigen verzamelaar bouwt, lees dan eerst de voorwaarden van de gegevensbron. De officiële route voor Google's-gegevens zijn bijvoorbeeld de Plaatsen API, die zijn eigen voorwaarden en prijzen heeft Open data is een andere route: OpenStreetMap gegevens kunnen worden hergebruikt onder de Open Database Licentie met attributie.
Gebruik van de gegevens. Wat u met de lijst doet, wordt beheerst door de marketing - en privacywetgeving waar de bedrijven zijn, en die verantwoordelijkheid ligt bij u In de Verenigde Staten valt commerciële e-mail onder de CAN-SPAM Act, samengevat in de FTC's nalevingsgids. In Groot-Brittannië valt elektronische marketing onder de PECR, naast de wetgeving inzake gegevensbescherming, en de ICO's direct marketing begeleiding legt de regels uit Enige handelaren' details kunnen in sommige rechtsgebieden als persoonsgegevens gelden Dit is allemaal geen juridisch advies; als outreach centraal staat in uw bedrijf, controleer dan de regels die op u van toepassing zijn.
Wat gebeurt er met mijn zoektocht, en wat zijn de grenzen?
In tegenstelling tot de meeste Toolz-tools kan deze niet aan de clientzijde draaien: hij moet een betaalde zoek-API aanroepen vanaf een server De zoektekst die u invoert wordt naar de Toolz-server gestuurd, die de zoekprovider opvraagt en de vermeldingen retourneert, en er wordt niets opgeslagen. De pagina zegt dit onder het zoekvak (" Draait op onze server, niet in uw browser") en in een kennisgeving onder de resultaten.
Elke zoekopdracht haalt vijf pagina's op van die betaalde API, dus er is een dagelijkse limiet per bezoeker, momenteel drie zoekopdrachten, resetten om middernacht UTC Na een zoekopdracht wordt een teller zoals & quot;2 van de 3 zoekopdrachten vandaag nog & quot; toont wat er overblijft De CSV-export gebeurt in uw browser en telt niet mee.
| bericht | Oorzaak | Wat te doen |
|---|---|---|
| " Voer in waar u naar moet zoeken en waar..." | Lege query | Typ een bedrijfstype en een plaats |
| "Die zoekopdracht is te kort." | Onder 3 karakters | Voeg de plaats toe |
| "Houd de zoekopdracht bij onder 120 tekens." | Te lang vragen | Verkort het |
| " Dagelijkse limiet bereikt (3 zoekopdrachten) Probeer het morgen opnieuw." | Cap gebruikt | Wacht op de reset om middernacht UTC |
| "Geen overeenkomende vermeldingen..." | Te vaag of verkeerd gespeld plaatsen, of het filter sluit alles uit | Noem een stad of buurt, of schakel het filter over naar Alles |
| " zoeken mislukt Probeer het zo opnieuw." | De upstream API is onjuist | Binnenkort opnieuw proberen |
| "Kon de server niet bereiken..." | Je verbinding is verbroken | Controleer de verbinding en probeer het opnieuw |
Kaarten scraper vs andere manieren om een leadlijst op te bouwen
| werkwijze | Gegevens die u krijgt | Inspanning | Limieten |
|---|---|---|---|
| Kopiëren van een kaartensite met de hand | Wat je ook kopieert | High | Langzaam, foutgevoelig voorbij 20 rijen |
| Browserautomatiseringsscripts | Wat de pagina ook laat zien | Hoog om te bouwen en te onderhouden | Inbreuken op lay-outwijzigingen, termenrisico |
| Plaatst API rechtstreeks | Rijke velden, inclusief coördinaten en uren | Medium, heeft een API-sleutel en code nodig | Betaald per aanvraag |
| Gehoste schraapplatforms | Varieert, soms e-mails | Laag tot gemiddeld | Betaald, wisselende termijnen |
| OpenStreetMap-query's | Open data met attributie | Medium | De dekking verschilt per regio |
| Toolz Maps Scraper | Zeven velden, tot 50 per zoekopdracht, CSV | Laag | 3 zoekopdrachten per dag, geen e-mails of uren |
Een werkende leadlist-workflow
Stel dat een webdesigner tandartsen in Leeds wil zonder website.
- Open de lokale zakelijke datatool en zoeken
dentists in Leeds. - Lees de samenvatting: bijvoorbeeld 50 vermeldingen, 32 met een website, 47 met een telefoon, gemiddelde beoordeling 4.4.
- Dat betekent 18 noteringen, 36%, geen website publiceren Dat is de lijst.
- Laat het filter op Alles staan en klik op CSV (50).
- Open het bestand met UTF-8-codering, Telefoonkolom als tekst en filter de kolom Website naar lege plekken.
- Controleer of elk bedrijf nog open is voordat u belt.
- Volgende dag, herhaal met
dentists in Headingleyendentists in Roundhayom de dekking uit te breiden en de bestanden te combineren.
Als u van plan bent inhoud te schrijven die gericht is op de bedrijven op uw lijst, zal de Hulpmiddel Vragen stellen vindt de vragen die mensen stellen over een onderwerp op Reddit, en de hub voor marketingtools geeft de rest van de set weer.
