Ein PDF enthält keine Textzeilen. Es enthält Glyphen an Koordinaten, und die Linien, die Sie sehen können, sind eine Sache, die Ihr Auge zusammensetzt. Jeder Extraktor muss sie auch zusammenstellen, aus drei Zahlen pro Lauf und ein paar Schwellenwerten, und fast jede Kuriosität in extrahierten Texten geht auf eine dieser Schwellen zurück, die einen vernünftigen Aufruf auslösen, der zufällig falsch war. Derjenige, den ich beim Schreiben reparierte, verwandelte einen über eine Linie gebrochenen Nachnamen, "sei-" dann "Mensah" in "Osei-Mensah": Bindestrich wie beabsichtigt mit einem Raum danach, der nie dorthin gehörte.
tl; dr: Die Extraktion ist die Wiederzusammenstellung der Linien, und die wichtigen Einstellungen sind unsichtbar. Läufe innerhalb einer halben Schrifthöhe sind eine Linie; ein vertikaler Abstand, der mehr als das 1,45-fache der üblichen Lücke beginnt, beginnt einen Absatz, ein horizontaler Abstand unter einem Viertel der Schrifthöhe ist kein Wortraum. wählen sich erholen in einen Editor einfügen und bewahren für Tabellen und Code. Eine PDF-Durchschnittsmenge unter 12 Zeichen Eine Seite ist ein Scan und benötigt stattdessen OCR, den das Tool angibt, anstatt Ihnen eine leere Datei zu übergeben. pdf zu text läuft im Browser.
Warum braucht ein PDF überhaupt "Extrahieren"?
Weil der Text als Zeichenanweisung geschrieben wurde, und sie zurückzulesen ist nicht das Gegenteil, sie zu schreiben.
Ein Inhaltsstrom sagt "Diese Schriftart auf diese Größe einstellen, hierher gehen, diese Glyphen anzeigen". Die Spezifikation Beschreibt ein Malmodell, und die Textoperatoren sitzen neben denen zum Zeichnen von Linien und Füllformen. Es gibt keine Objektbedeutung Zeile, Absatz oder Spalte. was pdf.js Hands Back ist eine flache Liste positionierter Läufe mit jeweils einer Zeichenfolge, einem X, einem Y, einer Breite und einer Schrifthöhe. In der Reihenfolge, in der die Seite gemalt wurde. Auf einer Testseite liest die Reihenfolge nicht die Reihenfolge, und ein einzelner Lauf kann ein Zeichen sein.
Alles andere ist Rekonstruktion. Drei Schwellenwerte bewirken fast alles, und sie sind es wert, dass sie wissen, weil sie die Fehler erklären.
| Schwellenwert | schätzen | Was es entscheidet |
|---|---|---|
| Linientoleranz | 0,5 x Schrifthöhe | Ob zwei Läufe auf derselben Linie sitzen |
| Absatzverhältnis | 1,45 x der Medianabstand der Seite | Ob eine vertikale Lücke einen neuen Absatz beginnt |
| Raumverhältnis | 0,25 x Schrifthöhe | Ob eine horizontale Lücke ein Wortraum ist |
Jeder ist ein Bruchteil der eigenen Größe des Textes und nicht eine feste Anzahl von Punkten, sodass eine Fußnote und eine Überschrift auf derselben Seite unterschiedliche Toleranzen erhalten, und ein Dokument in 9 Punkten verhält sich wie eine in 14 gesetzte.
Warum ist die Wort-Space-Schwelle notwendig?
Denn ohne sie kommt jedes Wort auseinander.
Ein PDF-Parser teilt ein einzelnes Wort häufig auf mehrere Läufe ohne Lücke zwischen ihnen, zum Kerning oder für einen Schriftwechsel in der Mitte des Wortes. Das Verbinden läuft auf einem Raum, der bedingungslos dreht filename in f i l e n a m edrohen Wenn Sie nichts mitmachen, werden getrennte Wörter zusammen geführt.
Die Regel ist also eine Lücke, die breiter als ein Viertel der Schrifthöhe als Leerzeichen gilt, der in den meisten Schriften ungefähr die Breite eines realen Wortraums ist. Darunter sind die Läufe Teile eines Wortes.
Dies ist der Schwellenwert, den Sie nie bemerken werden, und er wird sofort fehlschlagen, normalerweise auf einem Überschriftensatz mit großem Buchstabenabstand, bei dem jeder Buchstabe weit genug voneinander entfernt ist, um wie ein Wort auszusehen.
Was ist der Unterschied zwischen Reflow und Preserve?
Reflow gibt Ihnen Prosa. Konservieren gibt Ihnen die Seite.
Hier ist ein Absatz über drei Zeilen, gefolgt von einem anderen, durch beide Modi laufen:
--- preserve ---
The committee reviewed the figures and agreed that the
revised protocol should be circulated before the end of
the month.
A second paragraph begins here after a larger gap.
--- reflow ---
The committee reviewed the figures and agreed that the revised protocol should be circulated before the end of the month.
A second paragraph begins here after a larger gap.
Reflow hat die drei Zeilen zu einem Satz zusammengefügt und eine Leerzeile zwischen den Absätzen gesetzt. Konserve gehalten Jeder Zeilenumbruch, mit dem die Seite ausgelegt wurde, einschließlich der in der Mitte eines Satzes.
| Verwenden Sie Reflow | Verwenden Sie Nature |
|---|---|
| Einfügen in ein Dokument oder einen Editor | eine Tabelle, in der die Spalten der Inhalt sind |
| Eine Passage zitieren | Eine Codeliste, bei der Zeilenumbrüche Syntax sind |
| Füttern von Text zu einem Skript oder Modell | ein Adressblock oder ein Formular |
| Alles, was Sie sowieso neu formatieren werden | Alles, wo das Layout eine Bedeutung hat |
Reflow ist die Standardeinstellung und die meiste Zeit die richtige. Der Fehler, den die Leute machen, ist die Verwendung auf einem Tisch, bei dem das Verbinden der Zeilen in Prosa die einzige Struktur zerstört, die die Tabelle hatte.
Wie entscheidet es, wo ein Absatz endet?
Durch Vergleichen jeder vertikalen Lücke mit der eigenen typischen Lücke der Seite.
Jede Lücke zwischen aufeinanderfolgenden Linien wird gemessen, der Median und jede Lücke, die mehr als das 1,45-fache des Medians beginnt, einen neuen Absatz. Eine Seite mit einem beabstandeten Zustand wird also nicht als ein Absatz pro Zeile zurückgegeben, und eine mit einem Doppelabstand wird nicht als einzelner Block zurückgegeben.
Die Verwendung des Medians anstelle einer festen Nummer ist das, was dies über Dokumente hinweg mit unterschiedlichen Führungen funktioniert. Es ist auch der Ort, an dem es fehlschlägt: Eine Seite mit sehr wenigen Linien hat keinen zuverlässigen Median. Eine Titelseite, eine kurze Notiz oder ein Deckblatt werden oft als ein Folgeabsatz zurückgegeben, was dieselbe Schwäche ist Das Wort Konvertierung hat aus dem gleichen Grund.
Die Lösung ist manuell und schnell. Absatzumbrüche sind für einen Leser offensichtlich, so dass er nicht an einer Schwelle liegt.
Was ist mit zeilenweise Wörtern passiert?
Sie werden wieder beigetreten, und die Regel, für die Bindestriche fallen sollen, ist eine Vermutung, die häufiger richtig ist.
Wenn eine Zeile in einem Bindestrich endet, stellt sich die Frage, ob der Schriftsetzer sie dort platziert hat, um ein Wort zu brechen oder ob es zum Wort gehört. Die hier verwendete Regel ist der Fall: Wenn die nächste Zeile in Kleinbuchstaben beginnt, war der Bindestrich der Typesetter und geht: Wenn er mit einem Kapital oder einer Ziffer beginnt, ist der Bindestrich Teil des Textes und bleibt.
| quer über Linien gebrochen | Ergebnis | Richtig? |
|---|---|---|
self- + contained |
selfcontained |
ja |
re- + encode |
reencode |
ja |
client- + Side |
client-Side |
ja |
Osei- + Mensah |
Osei-Mensah |
ja |
COVID- + 19 |
COVID-19 |
ja |
2026- + 03 |
2026-03 |
ja |
well- + known |
wellknown |
kein |
Die letzte Zeile ist nach keiner Regel fixierbar. "Weltnam" gebrochen bei seinem eigenen Bindestrich und "gut" durch Rechtfertigung gebrochen, erzeugen das identische Zeilenpaar, und das Auseinandernehmen erfordert ein Wörterbuch anstelle einer Schwelle. Das gleiche gilt für "Re-" und "Concode" oben, was nur richtig ist, weil "Reencode" kein Wort ist, das jemand schreibt.
Die Zeilen in der Mitte haben sich geändert, während dieser Leitfaden geschrieben wurde. Das nicht breakale Gehäuse, das verwendet wird, um einen Raum zusammen mit dem aufbewahrten Bindestrich hinzuzufügen, der produziert Osei- Mensah und 2026- 03drohen Der Bindestrich gehört so oder so zum Wort, also ein Leerzeichen, nachdem er niemals korrekt ist, und der Test, der die alte Ausgabe bestätigte, wurde zusammen mit dem Verhalten korrigiert.
Woher weiß es, dass ein PDF ein Scan ist?
Durch Zählen von Zeichen pro Seite, wobei ein Schwellenwert niedrig genug ist, dass nur ein echter Scan sie auslöst.
Ein gescanntes Dokument ist ein PDF voller Bilder. Es gibt keine Textebene, daher gibt die Extraktion nichts zurück, und die nützliche Antwort besteht darin, dies zu sagen, anstatt eine leere Datei zu übergeben.
0 chars over 3 pages treated as a scan
30 chars over 3 pages treated as a scan
36 chars over 3 pages has a text layer
11 chars over 1 page treated as a scan
12 chars over 1 page has a text layer
Die Zeile besteht aus zwölf Zeichen pro Seite. Das ist absichtlich nicht Null: Eine gescannte Seite enthält oft einen kleinen zufälligen Text vom Scanner, eine von der Software gestempelte Seitenzahl oder ein Wasserzeichen. Ein Schwellenwert bei Null würde diese Dokumente extrahieren und drei Seitenzahlen zurückgeben.
Wenn Ihr PDF ein Scan ist, ist der nächste Schritt OCR und Das gemessene Konto, was OCR unterbricht Hat die gemessene Version davon: Neigen über drei Grad kostet Sie weit mehr als eine niedrige Auflösung.
Was ist mit Spalten?
Sie verschachteln, und dies ist die Grenze, die es wert ist, zu wissen, bevor Sie einer Extraktion vertrauen.
Die Linien werden zuerst nach der Grundlinie gruppiert, sodass zwei Textspalten an den gleichen vertikalen Positionen eher quer als nach unten gelesen werden. Bei einem Test einer zweispaltigen Berichtsseite war das Ergebnis jede Zeile der linken Spalte, gefolgt von der Zeile daneben:
Revenue rose in the third Headcount grew by four, quarter on the back of
two all in support. The hiring large renewals signed in plan for the fourth
Jedes Wort ist vorhanden. Die Reihenfolge ist nutzlos und die Ausgabe wird eher als fließender Unsinn als als Fehler gelesen.
Akademische Zeitungen und Zeitungen überleben dies oft, da die Rinne zwischen den Spalten breit und regelmäßig genug ist, um einen Seitensegmentierungsschritt zu finden. Ein Bericht mit einer Seitenleiste, einem Pull-Angebot oder einer Tabelle mit zwei Spalten wird häufig nicht.
Der zuverlässige Ansatz für ein spaltenbesetztes Dokument besteht darin, den ersten Absatz jeder Seite zu überprüfen. Wenn die Sätze gespleißt sind, extrahieren Sie jeweils eine Spalte durch Zuschneiden oder akzeptieren Sie, dass Sie eher eine Worttasche als eine Prosa erhalten.
Können Sie einen Tisch aus einem PDF herausholen?
Die Werte, ja. Die Tabelle, nein, und der Grund ist, dass das PDF mit ziemlicher Sicherheit auch keine Tabelle enthält.
Eine Tabelle in einem PDF ist normalerweise Text an Koordinaten mit einigen Linien gezeichnet. Die Linien sind Grafikoperationen, in denen nichts in der Datei mit dem Text verbunden ist, den sie einschließen, und die Zellen sind keine Zellen, sondern es handelt sich um Läufe, die sich gerade aneinanderreihen. Ein Extraktor sieht also Textzeilen und liest sie über:
Region Q2 Q3 EMEA 412 455 AMER 388 401 APAC 120 166
Jede Figur überlebte. Aus dieser Linie kann man nicht erkennen, zu welchem Viertel 412 gehört, ohne Positionen zu zählen und die Form des Originals zu kennen.
Der Erhaltungsmodus hilft ein wenig, da er die Zeilenstruktur als Zeilenumbruch beibehält, was Ihnen zumindest sagt, wo jede Zeile endet. Es gibt Ihnen immer noch keine Spaltengrenzen.
Zwei Dinge funktionieren. ein Tagged pdf, sorgfältig exportiert aus Word oder InDesign mit Barrierefreiheit, trägt echte Tabellenmarkup und konvertiert richtig; dies sind eine Minderheit, und Sie können es normalerweise sagen, weil das Dokument von jemandem erstellt wurde, der sich um die Pflege kümmerte. Und für eine Tabelle ohne Tags ist das Kopieren in eine Tabelle von Hand schneller als das Bekämpfen eines Werkzeugs. Dies ist eine unbefriedigende Antwort, die jeden Versuch überlebt hat, es zu verbessern.
Was machen die Seitenmarkierungen?
Sie behalten die Seitenzahlen bei, was wichtiger ist als für alles, was Sie zitieren oder auf die Sie sich zurückziehen.
Bei eingeschalteten Markierungen wird jede Seite beschriftet und leere Seiten werden noch gezählt:
--- Page 1 ---
First page text.
--- Page 2 ---
--- Page 3 ---
Third page text.
Seite 2 hatte keinen extrahierbaren Text und erscheint immer noch. Das ist absichtlich: Ein gescanntes Blatt zwischen zwei Textseiten würde sonst verschwinden und jede spätere Seitenzahl wäre um eins falsch.
Bei ausgeschalteten Markierungen hinterlässt die leere Seite keine Spur und die beiden Textseiten werden einfach zusammengefügt. Das ist die richtige Wahl, wenn Sie den Text irgendwo einfügen und die Paginierung eher ein Artefakt des PDF als Teil des Dokuments ist.
Ist der extrahierte Text der gleiche wie das Original?
Die Charaktere sind. Alles andere ist weg und die Liste ist lesenswert, bevor Sie sich auf die Ausgabe verlassen.
Fett, kursiv, Schriftart, Größe, Farbe, Tabellen, Bilder, Kopf- und Fußzeilen im Unterschied zu Körpertext, Fußnoten im Unterschied zum Satz, Links als Links und Lesereihenfolge eines komplexen Layouts. Was Sie erhalten, sind Zeichen und Absatzumbrüche.
Für die meisten Anwendungen ist das genau richtig. Suchen, Zitieren, Zählen, Einfüttern eines Skripts, Einfügen in einen Editor: Alle diese wollen die Wörter und nichts anderes.
Wo es beißt, ist ein Dokument, dessen Bedeutung teilweise in seiner Formatierung lebt. Ein Vertrag, bei dem ein definierter Begriff fett ist, eine Spezifikation, bei der ein Codebeispiel durch seine Schriftart unterschieden wird, ein Bericht, bei dem eine Fußnote ändert, was ein Satz behauptet. Extrahierter Text flacht alles ab, und nichts in der Ausgabe sagt dies.
Sollten Sie in Text extrahieren oder in ein Wort konvertieren?
Text Wenn ein Computer es liest, wird Word, wenn eine Person es bearbeitet.
Beide laufen gleich zusammen, so dass die Qualität der Wörter identisch ist. Der Unterschied ist nur das, was am Ende geschrieben wird: a .txt Datei oder die gleichen Absätze innerhalb einer ZIP von XML.
| Du willst | einsetzen |
|---|---|
| grep, suchen oder füttern Sie ein Skript | pdf zu text |
| Wörter zählen oder den Inhalt analysieren | pdf zu text |
| Bearbeiten Sie die Prosa und senden Sie sie weiter | pdf zu Wort |
| Halten Sie das Layout genau | Weder; die Originaldatei erhalten |
Die letzte Reihe ist diejenige, die nicht ankommt, und keine Extraktion gibt es Ihnen. Die Wortkonvertierungshandbuch Geht im Detail mit einer Tabelle durch, die als eine einzige Wertezeile zurückkommt.
Wie groß kann ein PDF verarbeiten?
groß, und die Grenze ist eher die Registerkarte als das Format.
Die gesamte Datei wird in den Seitenspeicher eingelesen und dort analysiert, und der extrahierte Text wird neben ihm gespeichert. Ein paar hundert Seiten gewöhnlicher Texte sind unauffällig, ein tausendseitiger Scan mit hoher Auflösung ist ein anderer Satz, da die Bilder für die Fahrt mitkommen, obwohl keiner von ihnen Text liefert.
Wenn ein Dokument groß genug ist, um sich Sorgen zu machen, ist das Signal eher die Analyse als die Extraktion. Das Herausziehen des Textes aus einer bereits analysierten Seite ist billig, die Datei in den Parser zu bekommen, ist das, was die Zeit und den Speicher benötigt.
Warum läuft das im Browser?
Da ein Parse keinen Server benötigt und die PDFs, die von den Benutzern extrahiert werden, selten öffentlich sind.
Die Datei wird von Ihrer Festplatte in die Registerkarte eingelesen, dort mit pdf.js kompiliert, für das Web kompiliert, wieder in Text zusammengefasst und zurückgegeben. Keine Anfrage trägt das Dokument, nichts wird gespeichert und es gibt keine Kopie, die unter Bedingungen gespeichert werden kann, die Sie nicht gelesen haben.
Die fraglichen Dokumente sind Verträge, Erklärungen, medizinische Briefe, Gerichtsakten, Papiere unter Embargo, interne Berichte. Die herkömmliche Alternative lädt die gesamte Datei im Austausch gegen eine Operation, die eine Parse und einige Arithmetik auf Koordinaten ist, in einen Dienst hoch.
Die Kosten sind der Speicher für sehr große Dateien und kein OCR für Scans. Beide sind sichtbar, bevor Sie beginnen und nicht danach entdeckt werden.
