Der Job, der mich dazu brachte, das zu bauen, kam als weitergeleitete E-Mail-Kette vierzig Nachrichten tief anEin Client wollte eine einzige Liste von allen, die in einem sechsmonatigen Thread kopiert worden waren, damit sie die Gruppe auf eine richtige Mailingliste migrieren konnten Jede Adresse war drin, begraben in To: und Cc: Zeilen, in Unterschriften, in zitierten Antworten, manchmal dreimal über Scrollen und per Hand kopieren sollte einen Nachmittag dauern und ich würde noch ein paar vermissen und noch ein paar mehr duplizieren Was ich eigentlich brauchte, war etwas, das den ganzen Textklumpen lesen, jede E-Mail-Adresse darin finden, die Duplikate wegwerfen und mir eine saubere Liste geben Das ist die E-mail-extraktor, und dieser Leitfaden erklärt, wie es funktioniert und warum die langweiligen Details des Matchings wichtig sind.
tl; dr: Ein E-Mail-Extraktor scannt einen Textblock und zieht jede darin enthaltene E-Mail-Adresse heraus, wobei er eine de-duplizierte Liste zurückgibt, die Sie kopieren können Das Toolz-Tool geht noch einen Schritt weiter und extrahiert URLs, Telefonnummern und IPv4-Adressen aus demselben Text mit derselben Engine Es passt zu kuratierten regulären Ausdrücken, bricht Duplikate fallunsensibel zusammen und kann die Ausgabe sortieren und herunterschreiben Alles läuft clientseitig: kein Upload, kein Signup, funktioniert offline.
Ich baue SaaS-Produkte auf Laravel und React und ich versende WordPress-Plugins, und überraschend viel dieser Arbeit ist es, unstrukturierten Text in strukturierte Listen umzuwandeln Ein Support-Posteingangsexport, eine abgekratzte Seite, eine Protokolldatei, ein eingefügtes Dokument: Sie alle vermischen die gewünschten Daten mit Rauschen darum herum. Die Adressen, Links oder IPs aus diesem Rauschen herauszuziehen ist eine kleine Aufgabe, die Sie ständig erledigen, und wenn Sie sie mit einem regulären Ausdruck ausführen, erinnern Sie sich jedes Mal halb daran und geben sie neu ein Browser-Tool entfernt. Das ist also der Leitfaden, von dem ich wünschte, ich hätte den Nachmittag, dass die Kette mit vierzig Nachrichten in meinem Schoß gelandet wäre.
Was ist ein E-Mail-Extraktor?
Ein E-Mail-Extraktor ist ein Tool, das Freitext liest und jede darin enthaltene E-Mail-Adresse als Liste zurückgibt Sie fügen einen Textblock ein, egal ob das ein E-Mail-Thread, eine Webseite, ein CSV-Dump, ein Chat-Protokoll oder eine Seite mit Quellcode ist, und das Tool findet jede Adresse mithilfe eines Musters, das die Form einer E-Mail erkennt: ein lokaler Teil, ein At-Sign und eine Domain, die in einer gültigen Top-Level-Domain endet Anstatt den Text selbst zu lesen und Adressen einzeln zu kopieren, erhalten Sie das gesamte Set auf einmal, wobei Duplikate entfernt werden.
Der Toolz E-mail-extraktor Ist bewusst mehr als E-Mails Dieselbe Scan-Engine kann http - und https-URLs, Telefonnummern und IPv4-Adressen extrahieren, denn es handelt sich um dieselbe Problemklasse: Jedes Vorkommen eines bekannten Musters in einer Textwand finden und sauber auflisten Das macht es zu einem allgemeinen Extraktionsdienstprogramm und nicht zu einem Single-Trick-Tool Die Kernidee ist über alle vier Typen hinweg konstant Definieren Sie ein genaues Muster dafür, wie eine gültige Übereinstimmung aussieht, scannen Sie den Text für jedes nicht überlappende Vorkommen, reinigen, deduplizieren Sie ihn und sortieren Sie die Ergebnisse optional in eine Liste, die Sie einfügen können, wo immer Sie ihn benötigen.
Warum nicht einfach nur einen Blick darauf werfen oder einen Find-in-Page verwenden?
Denn beide Methoden scheitern in der Weise, die am wichtigsten ist Text zu lesen und Adressen per Hand zu kopieren, ist langsam, und schlimmer noch, es ist unzuverlässig: Sie verpassen die Adresse, die in einem Signaturblock versteckt ist, Sie kopieren dieselbe zweimal aus einer zitierten Antwort, und Sie haben keine Möglichkeit zu wissen, wie viele Sie hätten landen sollen Je größer die Eingabe, desto schlechter sind die Quoten und die Eingaben, die extrahiert werden müssen, sind normalerweise die großen.
Browser-Find-in-Page ist dafür nicht besser Es hebt Übereinstimmungen für eine Zeichenfolge hervor, die Sie bereits kennen, aber der springende Punkt bei der Extraktion ist, dass Sie die Adressen nicht im Voraus kennen, sodass es nichts zu suchen gibt Was Sie brauchen, ist ein Muster, das der Form einer E-Mail entspricht, unabhängig von ihren genauen Buchstaben, was genau ein regulärer Ausdruck liefert. Diesen Ausdruck richtig zu schreiben ist seine eigene kleine Fähigkeit, und ihn etwas falsch zu machen bedeutet, entweder gültige Adressen zu verpassen oder Junk zu fangen, der nur so aussieht Ein dedizierter Extraktor backt ein getestetes Muster ein, sodass Sie es nie retypisieren müssen, und koppelt es mit einer De-Duplikation, sodass die Liste, der Sie vertrauen können. Wenn Sie das Muster selbst verstehen oder anpassen möchten Regex-Tester Lassen Sie Ihren eigenen Ausdruck einfügen und in Echtzeit beobachten, wie er mit Beispieltext übereinstimmt.
Wie genau ist die E-Mail-Übereinstimmung?
Das ist die Frage, die darüber entscheidet, ob ein Extraktor nützlich oder lästig ist, daher lohnt es sich, genau zu sein Das Format der E-Mail-Adresse wird definiert durch RFC 5322, und die vollständige Grammatik ist bekanntlich barock Es erlaubt zitierte lokale Teile mit Leerzeichen, Kommentaren in Klammern und anderen Formen, die technisch gültig sind und nie einmal in realen Daten erscheinen Ein regulärer Ausdruck, der versucht, mit dem gesamten RFC übereinzustimmen, ist enorm, und in der Praxis schadet er mehr als nützt er, weil er beginnt, Zeichenfolgen abzugleichen, die kein Mailserver jemals akzeptieren würde.
Der Toolz-Extraktor verwendet die pragmatische Teilmenge, auf die sich die Branche festgelegt hat: einen lokalen Teil von Buchstaben, Ziffern und der gemeinsamen Interpunktion, ein Vorzeichen und eine punktierte Domäne, die in einer Top-Level-Domäne von mindestens zwei Buchstaben endet Dies ist die gleiche Form, die die meisten Validierungsbibliotheken verwenden, und es entspricht den Adressen, die Menschen tatsächlich haben, während sie das Rauschen ablehnen. Es ist ein bewusster Handel. Sie verzichten auf das Abgleichen der exotischen Formen, die nicht vorkommen, um falsch positive Ergebnisse auf den Formularen zu vermeiden, die wie E-Mails aussehen, aber nicht. Für das Herausziehen von Adressen aus realen Dokumenten ist der ganze Job, ist das Tool auch ehrlich: Die gleiche breite Argumentation gilt für Telefonnummern, dass es nicht absichtlich ein Telefonmuster ist, dass es sich lohnt, wenn es nicht das Telefonformat eine Telefonzeichen gibt.
Wie extrahiere ich E-Mails aus Text mit dem Tool?
Der Ablauf dauert etwa zehn Sekunden Fügen Sie Ihren Text in das Eingabefeld ein, oder klicken Sie auf Beispiel laden, um ein funktioniertes Beispiel zu sehen, das E-Mails, URLs, Telefonnummern und IP-Adressen enthält, die alle miteinander vermischt sind.
Wählen Sie aus, was Sie mit der Schaltflächenreihe oben extrahieren möchten: E-Mail-Adressen, URLs, Telefonnummern, IPv4-Adressen oder Zahlen Das Tool wendet das passende Muster für diesen Typ an und ignoriert alles andere. Setzen Sie dann die Listenoptionen Lassen Sie & quot; Duplikate entfernen" auf, um wiederholte Übereinstimmungen in einen einzigen Eintrag zu zerlegen, was fast immer das ist, was Sie wollen Schalten Sie & quot; Sortieren und Quot; ein, um die Liste alphabetisch zu bestellen, oder nach Wert, wenn Sie Zahlen extrahieren Schalten Sie " Kleinschreibung" ein, um E-Mails und URLs zu normalisieren, also [email protected] und [email protected] Als eine Adresse behandelt werden Wählen Sie aus, wie die Ergebnisse verbunden werden: neue Zeile für eine vertikale Liste, Komma für eine CSV-Zelle oder eine To: Feld, Leerzeichen oder Semikolon für die E-Mail-Clients, die dies erwarten.
Klicken Sie auf Extrahieren und die Ergebnisse erscheinen mit einer Zählung, wie viele Übereinstimmungen gefunden wurden und wie viele Duplikate entfernt wurden Kopieren Sie die Liste und fügen Sie sie ein, wohin sie auch gehen muss. Das ist die gesamte Schleife, und da sie sofort ausgeführt wird, können Sie zwischen Extraktionstypen auf demselben Text wechseln, um E-Mails, dann URLs und dann IPs abzurufen, ohne etwas erneut einzufügen.
Was kann ich extrahieren und wann würde ich jedes davon verwenden?
Die vier Extraktionstypen decken die Daten ab, die sich am häufigsten im Text verbergen. Hier erfahren Sie, was jeder einzelne übereinstimmt und für welche Situation er sich eignet.
| Typ | Streichhöl | Typische Verwendung |
|---|---|---|
| E-mail-adressen | [email protected] In der praktischen RFC-Teilmenge |
Aufbau einer Mailingliste aus einem Thread, Ziehen von Kontakten aus einem Export |
| URLs | http:// und https:// Links, nachlaufende Zeichensetzung getrimmt |
Sammeln jedes Links von einer Seite oder einem Dokument zur Prüfung |
| Telefonnummern | Ausläufe von 7+-Ziffern mit Leerzeichen, Strichen, Punkten oder Klammern | Sammeln von Kontaktnummern aus gekratztem oder eingefügtem Text |
| IPv4-adressen | Gepunktete Quads, wobei jedes Oktett auf 0-255 begrenzt ist | Ziehen von Adressen aus einer Protokolldatei oder einem Config-Dump |
| Zahlen | Vorzeichenbehaftete Ganzzahlen und Dezimalstellen mit Tausenden von Trennzeichen | Extrahieren von Zahlen aus einem Bericht oder einer als Text eingefügten Tabelle |
Die E-Mail - und URL-Typen sind diejenigen, die ich am meisten erreiche, normalerweise zusammen: Extrahieren Sie die E-Mails, um eine Kontaktliste zu erstellen, und wechseln Sie dann zu URLs, um jeden Link zu prüfen, auf den sich dieselben Dokumentreferenzen beziehen Der IPv4-Typ verdient seinen Platz, wenn ich Serverprotokolle lese und möchte den eindeutigen Satz von Adressen, die einen Endpunkt erreichen, der sich auf natürliche Weise mit dem verbindet URL-parser Wenn ich dann diese Anfragen weiter aufschlüsseln muss Der Zahlentyp ist der ungerade, aber wirklich praktisch, um Zahlen aus einem Bericht zu heben, der als Klartext statt als Tabellenkalkulation eingefügt wurde. Welche auch immer Sie auswählen, die Deduplizierungs- und Sortieroptionen funktionieren auf die gleiche Weise, sodass die Ausgabe immer eine saubere, geordnete Liste und keine Rohübereinstimmungen ist.
Wie funktioniert eigentlich hier die De-Duplikation?
Die Deduplizierung klingt trivial, bis Sie über das Gehäuse nachdenken. Dieselbe Person's-Adresse kann als angezeigt werden [email protected] In einer Signatur und [email protected] In einer zitierten Antwort, und ein naives De-Duplikat, das Strings exakt vergleicht, würde beides behalten Das ist falsch: Lokale E-Mail-Teile sind in jedem praktischen Mailsystem fallunempfindlich, und Domains sind per Definition fallunempfindlich Also vergleicht der Extraktor E-Mails und URLs fallunsensibel bei der Entscheidung, ob zwei Übereinstimmungen gleich sind, was bedeutet, dass diese beiden Schreibweisen auf einen Eintrag zusammenfallen, auch wenn Sie die Kleinbuchstabenoption nicht eingeschaltet haben.
Das Tool sagt dir auch, was es gemacht hat Die Zählung über den Ergebnissen zeigt sowohl, wie viele Übereinstimmungen es insgesamt gefunden hat, als auch wie viele Duplikate es entfernt hat, also du errätst nie, ob die Liste wegen der De-Duplikation geschrumpft ist oder weil die Eingabe kleiner war, als du dachtest Für Zahlen und IP-Adressen, bei denen das Gehäuse irrelevant ist, ist der Vergleich exakt Das ist die Art von Details, die unsichtbar sind, wenn sie funktionieren, und wütend, wenn sie nicht funktionieren, weshalb es sich lohnt, richtig zu werden, anstatt es einer Ebene zu überlassen Set Roher Saiten Wenn es in Ihrem Job wirklich darum geht, welche Werte in einer Liste vorkommen, aber nicht in einer anderen, anstatt sie aus der Prosa herauszuziehen, wird die Vergleichen Sie das Tool mit zwei Listen Stellt Arithmetik auf Spalten und passt besser zu dieser speziellen Frage.
Ist es sicher, aus sensiblem Text online zu extrahieren?
Für dieses Tool ja, und der Grund ist, wie es aufgebaut ist und nicht eine Richtlinie, die man im Glauben übernehmen muss Der Text, den man einfügt, wird komplett in seinem eigenen Browser mit JavaScript gescannt, es gibt keinen Upload, keine Server-Roundtrip, und nichts wird protokolliert oder gespeichert Sie können es bestätigen, indem Sie Ihren Browser öffnen's Netzwerk-Tab und klicken Sie auf Extrahieren: keine Anfrage verlässt die Seite. Sobald die Seite geladen wurde, können Sie offline gehen und sie funktioniert weiter.
Dies ist für die Extraktion wichtiger als für fast jede andere Art von Tool, da der Text, den Sie einfügen, häufig genau mit den Daten gefüllt ist, die Sie nicht preisgeben möchten. E-Mail-Threads enthalten private Adressen, Protokolldateien enthalten interne IP-Adressen und Hostnamen und eingefügte Dokumente enthalten Telefonnummern und Namen. Ein Extraktor, der diesen Text auf einen Server hochlädt, um ihn zu verarbeiten, wie gut er auch sein mag, verwandelt Ihre private Korrespondenz in jemand anderen. & #39;s-Serverprotokoll. Durch die clientseitige Verarbeitung wird das Risiko im Grunde genommen beseitigt: Der Text verlässt niemals Ihre Maschine. Dieser Standard ist in jedem Tool auf Toolz.dev bewusst, und ich habe das vollständige Argument im Protokoll dargelegt Datenschutzleitfaden für Online-Tools Wenn Sie die Begründung in der Tiefe wollen Für einen umfassenderen Blick darauf, wie diese kleinen Dienstprogramme zu einem funktionierenden Kit zusammenpassen, meine Handbuch für Entwicklerproduktivitätstools Durch die Stücke geht.
Welche Grenzen sind wissenswert?
Gerade über Grenzen zu sein gehört zum Vertrauen auf ein Werkzeug, hier also die ehrlichen Kanten Das E-Mail-Muster passt zur praktischen Teilmenge von RFC 5322, nicht zur vollständigen Grammatik, also wird eine technisch gültige, aber exotische Adresse mit einem zitierten lokalen Teil oder einem Kommentar übersehen Das ist eine bewusste Entscheidung, um falsch positive Ergebnisse zu vermeiden, und es betrifft im Wesentlichen keine echte Adresse, aber es ist eine Grenze und Sie sollten wissen, dass sie existiert Telefonnummern sind die lockersten der fünf Typen, weil es kein universelles Format gibt; das Muster sucht nach einem Lauf von sieben oder mehr Ziffern mit gängigen Trennzeichen, wodurch es gelegentlich eine lange Kennung erfassen kann, die keine Telefonnummer ist, sodass ein Blick auf die Ergebnisse des Telefons die Sekunde wert ist, die es braucht.
Der Extraktor funktioniert auch auf Text, nicht auf binären Dateien Wenn Sie ein PDF oder ein Word-Dokument haben, kopieren Sie seinen Text und fügen Sie das ein; das Tool kann das Dateiformat selbst nicht lesen Und weil alles im Browserspeicher läuft, wird eine wirklich enorme Eingabe durch Ihren Browser und nicht durch das Tool begrenzt, obwohl für die E-Mails, Links und IPs die Leute tatsächlich extrahieren, dass die Obergrenze weit über dem liegt, was Sie erreichen werden Keine dieser Grenzen liegt bei normaler Verwendung. Sie zu kennen ist nur der Unterschied zwischen der sicheren Verwendung des Tools und der Überraschung durch einen Edge Case.
Häufig gestellte Fragen
Wie extrahiere ich E-Mail-Adressen aus Text? Fügen Sie den Text in die ein E-mail-extraktor und lassen Sie den Typ auf E-Mail-Adressen gesetzt Es scannt den Text mit einem E-Mail-Muster, listet jede gefundene Adresse auf, entfernt Duplikate und lässt Sie die saubere Liste kopieren Es ist kein Anmelden oder Hochladen erforderlich, und es funktioniert offline, sobald es geladen ist.
Kann es auch URLs und Telefonnummern extrahieren? Ja. Wechseln Sie den Extraktionstyp auf URLs, Telefonnummern, IPv4-Adressen oder Nummern. Dieselbe Engine wendet für jeden Typ ein anderes Muster an, sodass ein Tool mehrere Extraktionsaufträge aus demselben Textblock verarbeitet, ohne ihn erneut einzufügen.
Entfernt es doppelte E-Mails? Ja, wenn die Option entfernen-dupliziert eingeschaltet ist Wiederholte Übereinstimmungen kollabieren auf einen einzigen Eintrag, und das Tool meldet, wie viele Duplikate entfernt wurden E-Mails und URLs werden fallunsensibel abgeglichen, sodass dieselbe Adresse in verschiedenen Buchstabengehäusen als eine behandelt wird.
Wie genau ist die E-Mail-Übereinstimmung? Das Muster stimmt mit der praktischen Teilmenge der E-Mail-Adressen überein, die in realen Daten zu sehen sind: ein lokaler Teil, ein Vorzeichen und eine gepunktete Domäne, die in einer gültigen Top-Level-Domäne endet. Es implementiert nicht die vollständige RFC 5322-Grammatik, die exotische Formen zulässt, die in der Praxis nie auftauchen und falsche Übereinstimmungen auf Zeichenfolgen erzeugen würden, die nur wie E-Mails aussehen.
Warum werden einige Telefonnummern seltsam abgeglichen? Telefonnummern haben kein einziges globales Format, daher sucht das Muster nach einer Reihe von sieben oder mehr Ziffern mit Leerzeichen, Strichen, Punkten oder Klammern dazwischen. Dies ist bewusst weit gefasst, was bedeutet, dass es gelegentlich eine lange Nummer erfassen kann, die keine Telefonnummer ist Daher lohnt es sich, die Ergebnisse beim Extrahieren von Telefonnummern aus gemischtem Text zu überprüfen.
Kann ich die extrahierte Liste sortieren? Ja. Schalten Sie die Sortieroption ein, um die Liste alphabetisch zu bestellen, oder nach numerischem Wert beim Extrahieren von Zahlen Kombinieren Sie sie mit der Option Entfernen-Duplikate, um eine saubere, geordnete, duplikatfreie Liste kopierbereit zu erhalten.
In welchen Formaten kann ich die Ergebnisse kopieren? Sie können die Übereinstimmungen mit einer neuen Zeile, Komma, Leerzeichen oder Semikolon beitreten Wählen Sie eine neue Zeile für eine vertikale Liste, Komma für eine CSV-Zelle oder ein To-Feld und Semikolon für einige Mail-Clients Die Zählung über der Ausgabe zeigt an, wie viele Übereinstimmungen extrahiert wurden.
Werden die extrahierten Daten irgendwo hochgeladen? Nein. Der Text wird in Ihrem Browser mit JavaScript lokal gescannt Es wird nichts übertragen, protokolliert oder gespeichert, und das Tool funktioniert nach dem Laden offline weiter, was Sie bestätigen können, indem Sie beim Extrahieren den Netzwerk-Tab ansehen.
