Kaarten Schraper

Een kaartenschraper verandert een "wat, waar" zoekopdracht in een tabel met bedrijven. Voer iets in als "Tandartsen in Leeds" en je krijgt elke vermelding terug met zijn naam, adres, categorie, sterbeoordeling, aantal beoordelingen, telefoonnummer en website, in een vorm die je kunt sorteren en filteren in plaats van door één kaart tegelijk te scrollen. Het is dezelfde gegevens die een Maps-zoekopdracht laat zien, gearrangeerd voor werk in plaats van om te browsen.

De gebruikelijke reden om het te willen is een lijst: lokale outreach, competitieve mapping van een categorie in een stad, of het controleren van hoeveel bedrijven van een bepaald type überhaupt een website publiceren. De laatste daarvan is vaak de meest bruikbare output. Een categorie waarin de helft van de vermeldingen geen website heeft, is een categorie waarin een webontwerper vijftig gesprekken heeft om te beginnen, en die verhouding is zichtbaar in de samenvatting voordat u een enkele rij leest.

De resultaten komen van de Places Index in plaats van door een browser door de Maps-interface te drijven, wat om twee redenen van belang is. Het is stabiel, omdat er geen pagina-indeling is om te breken, en het is begrensd, omdat vijf pagina's van tien is wat de index teruggeeft voordat het herhaalde lijsten begint te herhalen. Deduplicatie is op naam plus adres in plaats van naam alleen: een keten heeft één naam en veel echt verschillende takken, en als ze instorten, zou het meeste van wat een lokale zoekopdracht is, verwijderen.

Twee limieten zijn het waard om direct over te zijn. Vijftig aanbiedingen is een plak van een dichte categorie, geen volkstelling - "Restaurants in Londen" heeft duizenden en je zult de eerste vijftig zien op relevantie, dus verklein de zoektocht per buurt als je dekking nodig hebt in plaats van een voorbeeld. En de gegevens zijn slechts zo vers als de index: een bedrijf dat vorige maand werd gesloten, kan nog steeds worden vermeld, en telefoonnummers worden sneller verouderd dan adressen. Verifieer voordat u belt. Er is ook een dagelijkse limiet, omdat elke zoekopdracht echte credits kost en e-mailadressen niet zijn opgenomen omdat de index ze niet draagt.

Een uitgewerkt voorbeeld laat zien wat de schrapertool van Google Maps in elke cel plaatst Zoeken op "coffeeshops in Portland", klik op de website van Has en de CSV-knop laat zien hoeveel rijen de download zal bevatten, omdat de export het actieve filter volgt Een vermelding met een beoordeling van 4,6 uit 212 beoordelingen komt terecht op 4,6 in de kolom Beoordeling en 212 in Beoordelingen, een vermelding zonder beoordeling laat beide cellen leeg, en een naam als Joe's "Best" Coffee, Inc. is geschreven als "Joe's "Best" Coffee, Inc." dus de komma en citaten blijven in één cel. Dat is de hele dataset: zeven kolommen met kaartgegevens, geen beoordelingstekst en geen e-mails.