Un web designer vuole ogni dentista di Leeds che non ha un sito web Un rappresentante di vendita ha bisogno degli idraulici in tre quartieri di Manchester prima di una fiera Il proprietario di un caffè vuole vedere come i coffee shop a pochi passi di tasso Tutti e tre i lavori iniziano nello stesso posto, una ricerca sulla mappa, e tutti e tre si bloccano nello stesso punto: i risultati sono carte che scorri una alla volta, non un tavolo che puoi ordinare, filtrare e condividere.
Questa guida copre come trasformare un & quot; cosa, dove& quot; cerca in un elenco utilizzabile: quali dati contiene un elenco di mappe, quanti risultati puoi ottenere realisticamente, come dovrebbe funzionare la deduplicazione per le catene, come leggere i numeri di riepilogo, come è costruito il CSV in modo che si apra in modo pulito e dove sono i limiti legali e pratici Gli esempi elaborati utilizzano il Raschiatore mappe Toolz.
tl; dr: Un maps scraper trasforma una ricerca come & quot; dentisti in Leeds" in una tabella di attività con sette campi: nome, indirizzo, categoria, classificazione a stelle, conteggio delle recensioni, telefono e sito web Il Toolz Maps Raschiatore legge un'API di ricerca dei luoghi anziché automatizzare un browser, unisce cinque pagine da dieci in un massimo di 50 inserzioni, rimuove i duplicati per nome più indirizzo in modo che le filiali della catena rimangano separate, mostra quanti elenchi pubblicano un sito Web o un telefono ed esporta un CSV RFC 4180 che segue il filtro Non restituisce e-mail, orari di apertura o testo di revisione Le ricerche vengono eseguite su un server, sono gratuite, senza iscrizione e limitate a tre per visitatore al giorno.
Che cosa è un raschietto mappe?
Un maps scraper è uno strumento che raccoglie gli elenchi di attività commerciali da una ricerca su mappa e li restituisce come dati strutturati invece che come pin e carte di mappa Descrivi un tipo di attività e un luogo e restituisce una riga per azienda che puoi ordinare, filtrare ed esportare in un foglio di calcolo.
I dati sono dello stesso tipo che una ricerca su mappa mostra a una persona La differenza è la forma: una tabella ti consente di contare, confrontare e consegnare l'elenco a qualcun altro, cosa che un pannello di carte a scorrimento non fa.
Ci sono due modi generali per costruirne uno L'automazione del browser guida un browser reale attraverso un sito web di mappe, scorrimenti e copie di testo fuori dalla pagina Si rompe ogni volta che cambia il layout della pagina, e funziona contro i termini della maggior parte dei servizi di mappa L'altro modo legge un API di ricerca dei luoghi, un servizio che restituisce le inserzioni come dati Lo strumento Toolz utilizza il secondo approccio, attraverso un'API di ricerca dei luoghi di terze parti, motivo per cui i suoi risultati sono stabili e i suoi limiti sono prevedibili.
Quali dati ottieni per ogni azienda?
Ogni elenco ha sette campi Ognuno di essi può essere vuoto se l'elenco non pubblica tali informazioni.
| campo | esempio | banconote |
|---|---|---|
| denominare | Joe's & quot;Best" Caffè, Inc. | Come elencato |
| Indirizzo | 123 SE Main St, Portland, OR 97214 | Un campo di testo, non suddiviso in parti |
| Categoria | Caffetteria | La lista's categoria primaria |
| Valutazione | 4.6 | Classificazione media a stelle; vuoto se non classificato |
| Recensioni | 212 | Numero di recensioni; vuoto se non classificato |
| Telefono | (503) 555-0142 | Come pubblicato |
| Sito web | https://example.com | Solo quando l'azienda ne elenca uno |
Ciò che non è incluso conta tanto, perché decide se questo è lo strumento giusto per il tuo lavoro:
- Nessun indirizzo email. I dati dei luoghi non li portano Il campo del sito web è solitamente dove è possibile trovare un indirizzo di contatto.
- Nessun testo di revisione, nomi dei revisori o date delle recensioni Solo la media e il conteggio.
- Nessun orario di apertura, coordinate o foto.
- Nessuna modalità di massa. Ogni & quot; cosa, dove& quot; la query è una ricerca.
Quanti risultati restituirà una ricerca sulla mappa?
Fino a 50 elenchi distinti per ricerca Lo strumento richiede cinque pagine di dieci risultati in parallelo e li unisce Oltre cinque pagine, l'indice dei luoghi tende a ripetere elenchi che ha già restituito, quindi più pagine aggiungerebbero duplicati anziché attività commerciali.
Cinquanta è un campione di una categoria densa, non un censimento. & quot;Ristoranti a Londra" ha migliaia di inserzioni, e una singola ricerca restituisce le 50 più rilevanti Quando hai bisogno di copertura piuttosto che di un campione, dividi l'area in luoghi più piccoli ed esegui una ricerca per ciascuno.
| traguardo | Domanda debole | Domande migliori |
|---|---|---|
| Idraulici in tutta una città | plumbers |
plumbers in Salford, plumbers in Stockport, plumbers in Didsbury |
| Dentisti in una città di medie dimensioni | dentist |
dentists in Leeds |
| Ristoranti in una grande città | restaurants London |
restaurants in Shoreditch, restaurants in Camden, restaurants in Brixton |
| Una nicchia | shops in Portland |
bike repair shops in Portland |
Una query deve essere compresa tra 3 e 120 caratteri Mettere sia il tipo di business che il posto nella query è ciò che rende utili i risultati; un tipo di business da solo non ha una posizione per ancorarlo.
Con un limite di tre ricerche al giorno, pianifica i quartieri prima di iniziare e diffondi una scansione più ampia in pochi giorni.
Come funziona la deduplicazione per catene e rami?
I duplicati vengono rimossi confrontando nome e indirizzo insieme, ignorando la capitalizzazione Due righe sono la stessa attività solo quando entrambe corrispondono.
Quella regola è deliberata Deduplicare solo sul nome farebbe collassare ogni ramo di una catena in una riga, eliminando esattamente gli elenchi per cui è necessaria una ricerca locale Ecco come si risolvono tre risultati grezzi:
| Risultato grezzo | Nome + chiave indirizzo | Tenuto? |
|---|---|---|
| Starbucks, 100 Main St | starbucks|100 main st |
certo |
| STARBUCKS, 100 Main St | starbucks|100 main st |
No, duplicato del primo |
| Starbucks, 200 Oak Avenue | starbucks|200 oak ave |
Sì, un ramo separato |
La prima occorrenza vince, quindi la riga mantenuta utilizza la maiuscola da qualunque pagina l'abbia restituita per prima. Gli elenchi senza nome vengono saltati completamente.
Come leggere il riassunto prima delle righe
Sopra la tabella, quattro numeri riassumono la ricerca: elenchi totali, quanti hanno un sito Web, quanti hanno un telefono e la valutazione media.
La valutazione media viene calcolata solo su inserzioni che hanno una valutazione, quindi arrotondata a un decimale Le inserzioni senza rating vengono tralasciate anziché conteggiate come zero, il che trascinerebbe la media verso il basso ingiustamente Un piccolo esempio illustrativo:
| Listing | Valutazione | Sito web | Telefono |
|---|---|---|---|
| un' | 4.6 | certo | certo |
| B | 4.2 | no | certo |
| do | nessuno | no | certo |
| re | 3.9 | certo | no |
Listings 4
With a website 2 (A, D)
With a phone 3 (A, B, C)
Average rating (4.6 + 4.2 + 3.9) / 3 = 12.7 / 3 = 4.233 -> 4.2
Il conteggio dei siti web è spesso la cifra più utile dal punto di vista commerciale Supponiamo che una ricerca di dentisti restituisca 50 inserzioni e 18 di esse non abbiano un sito web Cioè 18 /50 = 36% della categoria senza un sito, visibile prima di leggere una singola riga Per un web designer, quelle 18 sono la lista di sensibilizzazione Clicca Sito HAS oppure Ha telefono per filtrare la tabella nelle inserzioni che ne pubblicano una; non c'è & quot; sito web mancante" filtro, quindi esporta tutte le righe e filtra le celle vuote del sito web in un foglio di calcolo.
Come è costruito il CSV, e perché si apre in modo pulito?
Segue l'esportazione RFC 4180, il formato comune per i file CSV: ogni campo è avvolto in virgolette doppie e qualsiasi virgoletta doppia all'interno di un campo è raddoppiata Ciò è importante perché i nomi delle aziende contengono virgole e virgolette tutto il tempo e CSV non quotato li dividerebbe su colonne e corromperebbe ogni riga successiva.
Un elenco denominato Joe's "Best" Coffee, Inc. valutato 4,6 da 212 recensioni, e un elenco senza classificazione, escono così:
"Name","Address","Category","Rating","Reviews","Phone","Website"
"Joe's ""Best"" Coffee, Inc.","123 SE Main St, Portland, OR 97214","Coffee shop","4.6","212","(503) 555-0142","https://example.com"
"Corner Cart","45 NW 5th Ave, Portland, OR 97209","Coffee stand","","","",""
Tre dettagli sull'esportazione:
- Segue il filtro attivo. Il pulsante legge & quot; CSV (n) & quot; con il numero di righe che conterrà Con il sito Web Has selezionato, vengono esportate solo quelle righe.
- I valori vuoti sono stringhe vuote, non zeri, quindi un'azienda senza rating non sembra a stella zero.
- Il nome del file deriva dalla tua query, in minuscolo con spazi trasformati in trattini:
coffee shops in Portlanddownload comecoffee-shops-in-portland.csv.
Il download di nuovo, o con un filtro diverso, non utilizza un'altra ricerca.
Se un foglio di calcolo manipola i caratteri accentati quando apri il file, importalo attraverso l'opzione di importazione testo o CSV di S. & #39 e scegli la codifica UTF-8 L'impostazione della colonna Telefono su Testo durante l'importazione mantiene intatti i segni più iniziali e gli zeri Per ispezionare o convertire il file prima di importarlo ovunque, il Visualizzatore CSV lo apre nel browser, e il Guida da CSV a JSON copre la conversione per un CRM o uno script.
Quanto sono aggiornati i dati dell'elenco delle mappe?
Corrente come l'indice, che è sempre in ritardo rispetto alla realtà Un'attività che ha chiuso il mese scorso può ancora essere elencata, una nuova potrebbe non apparire ancora e i numeri di telefono diventano stantii più velocemente degli indirizzi Verifica tutto ciò su cui intendi agire, soprattutto prima di chiamare.
Un modo pratico per tenere traccia del cambiamento è eseguire la stessa ricerca in base a un programma, mantenere ogni esportazione e confrontarla. IL Guida alle differenze CSV spiega come individuare le righe aggiunte, rimosse e modificate tra due esportazioni.
È consentito raschiare i dati aziendali dalle mappe?
Questa domanda è composta da due parti e vale la pena tenerle separate.
Raccolta dei dati. Lo strumento Toolz legge un'API di ricerca dei luoghi con licenza anziché automatizzare un browser rispetto a un sito Web di mappe, che è la distinzione più map services' i termini si attivano Se si costruisce il proprio collettore, leggere prima i termini dell'origine dati Il percorso ufficiale per i dati di Google's, ad esempio, è il API Luoghi, che ha i suoi termini e prezzi Gli open data sono un'altra strada: OpenStreetMap i dati possono essere riutilizzati sotto la Open Database License con attribuzione.
Using the data. Ciò che fai con l'elenco è regolato dalla legge sul marketing e sulla privacy in cui si trovano le aziende e tale responsabilità spetta a te Negli Stati Uniti, l'e-mail commerciale rientra nel CAN-SPAM Act, riassunto nel Guida alla conformità FTC's. Nel Regno Unito, il marketing elettronico è coperto dal PECR insieme alla legge sulla protezione dei dati e al ICO's guida al marketing diretto spiega le regole Sole trader' i dettagli possono essere considerati dati personali in alcune giurisdizioni, Tutto questo non è una consulenza legale; se la sensibilizzazione è centrale per la tua attività, controlla le regole che si applicano a te.
Cosa succede alla mia ricerca, e quali sono i limiti?
A differenza della maggior parte degli strumenti Toolz, questo non può eseguire lato client: deve chiamare un'API di ricerca a pagamento da un server Il testo di ricerca che inserisci viene inviato al server Toolz, che interroga il provider di ricerca e restituisce le inserzioni, e non viene memorizzato nulla La pagina lo dice sotto la casella di ricerca (& quot; Funziona sul nostro server, non nel tuo browser") e in un avviso sotto i risultati.
Ogni ricerca recupera cinque pagine da quell'API a pagamento, quindi c'è un limite giornaliero per visitatore, attualmente tre ricerche, che si reimpostano a mezzanotte UTC. Dopo una ricerca, un contatore come & quot;2 delle 3 ricerche rimaste oggi& quot; mostra ciò che rimane L'esportazione CSV avviene nel tuo browser e non conta.
| messaggio | Causa | Cosa fare |
|---|---|---|
| & quot; Inserisci cosa cercare e dove...& quot; | Interrogazione vuota | Digitare un tipo di attività e un luogo |
| & quot;Quella ricerca è troppo breve.& quot; | Sotto 3 caratteri | Aggiungi il posto |
| & quot; Mantenere la ricerca sotto 120 caratteri.& quot; | Interroga troppo a lungo | Accorcialo |
| & quot; Limite giornaliero raggiunto (3 ricerche) Riprova domani.& quot; | Cappuccio utilizzato | Attendere il reset a mezzanotte UTC |
| & quot; Nessun annuncio corrispondente...& quot; | Posiziona troppo vago o scritto male, oppure il filtro esclude tutto | Nomina una città o un quartiere oppure passa il filtro a Tutti |
| & quot; Ricerca fallita Riprova tra un attimo.& quot; | L'API upstream è stata errata | Ritirati a breve |
| & quot;Non potrebbe raggiungere il server..." | La tua connessione è caduta | Controlla la connessione e riprova |
Mappe scraper vs altri modi per costruire una lista di lead
| metodo | Dati che ottieni | Sforzo | Limiti |
|---|---|---|---|
| Copia da un sito di mappe a mano | Qualunque cosa tu copia | Alto | Lento, soggetto a errori oltre le 20 righe |
| Script di automazione del browser | Qualunque cosa mostri la pagina | Alto da costruire e mantenere | Interruzioni sui cambiamenti di layout, rischio termini |
| Posiziona direttamente l'API | Campi ricchi, comprese coordinate e ore | Medium, ha bisogno di una chiave API e di un codice | Pagato per richiesta |
| Piattaforme di raschiamento ospitate | Varia, a volte le email | Basso a medio | Pagato, termini variabili |
| Query OpenStreetMap | Open data con attribuzione | Medio | La copertura varia in base alla regione |
| Toolz Maps Raschiatore | Sette campi, fino a 50 per ricerca, CSV | Basso | 3 ricerche al giorno, nessuna email o ora |
Un flusso di lavoro lead-list funzionante
Supponiamo che un web designer voglia dentisti a Leeds senza un sito web.
- Apri il strumento di dati aziendali locali e cerca
dentists in Leeds. - Leggi il riassunto: ad esempio, 50 inserzioni, 32 con un sito web, 47 con un telefono, valutazione media 4,4.
- Ciò significa che 18 inserzioni, il 36%, non pubblicano alcun sito web. Questo è l'elenco.
- Lasciare il filtro su Tutti e fare clic su CSV (50).
- Apri il file con la codifica UTF-8, colonna Telefono come Testo e filtra la colonna Sito Web in spazi vuoti.
- Verifica che ogni attività sia ancora aperta prima di chiamare.
- Il giorno dopo, ripeti con
dentists in Headingleyedentists in Roundhayper estendere la copertura e combinare i file.
Se hai intenzione di scrivere contenuti destinati alle aziende presenti nella tua lista, il Strumento Fai domande trova le domande che le persone si pongono su un argomento su Reddit, e il hub degli strumenti di marketing elenca il resto del set.
