Unter Datenparsing versteht man die Umwandlung von Daten aus einem Format (z. B. JSON, XML) in ein anderes (z. B. JavaScript Object Notation). Dies kann nützlich sein, wenn Sie strukturierte Daten in Ihrer Anwendung speichern möchten und nicht wissen, wie diese aussehen werden oder wie sie zur Laufzeit aussehen werden. Durch das Parsing können Sie eine Ihnen vertraute Programmiersprache wie JavaScript verwenden, anstatt für dieselbe Aufgabe eine völlig andere Sprache einsetzen zu müssen.

Die Datenauswertung wird auch für andere Zwecke genutzt: beispielsweise wenn eine API Daten im JSON-Format zurückgibt. Wenn Ihr Programm jedoch nur Daten im XML-Format versteht, bleibt Ihnen nichts anderes übrig, als die JSON-Daten so zu parsen, dass Ihr Programm sie verstehen kann. 

Am häufigsten geschieht dies mithilfe einer Bibliothek namens jQuery, die HTML-Dokumente in DOM-Elemente zerlegt und diese Elemente anschließend in ihrem Code verwendet. Dies erleichtert Entwicklern, die mit der Syntax von HTML, CSS und JavaScript nicht vertraut sind, die Arbeit mit APIs, die HTML-Inhalte zurückgeben.

Sind Sie verwirrt? Dann lassen Sie uns das für Sie genauer erläutern.

Wie funktioniert die Datenauswertung?

Bei der Datenauswertung werden rohe HTML-Inhalte in ein Objektmodell umgewandelt, das für Abfragen bereit ist. Dieser Vorgang wird als Mapping oder Indizierung bezeichnet. In der Ausgabe sind alle Felder zugeordnet, wobei die jeweiligen Werte aus dem Quelldokument, der Quellseite, der Quell-E-Mail usw. extrahiert wurden. 

Warum sollte man Datenauswertung nutzen?

Zu den häufigsten Anwendungsbereichen gehören unter anderem: das Extrahieren von Daten aus Websites, E-Mails und anderen Dokumenten. Dies geschieht durch das Parsen von HTML-Inhalten in ein Objektmodell, das abgefragt werden kann, um die benötigten Informationen abzurufen. In der Ausgabe werden alle Felder mit den aus dem Quelldokument, der Quellseite oder der Quell-E-Mail extrahierten Werten zugeordnet. Zudem stehen Methoden zur Verfügung, um diese Objekte abzufragen und die benötigten Informationen abzurufen. 

Diese Bibliotheken unterstützen verschiedene Abfragen, darunter reguläre Ausdrücke, XPath-Abfragen und fortgeschrittenere Techniken wie XQuery, mit denen Sie benutzerdefinierte Abfragen unter Verwendung der XML-Syntax erstellen können. Zu den am häufigsten verwendeten Sprachen zählen Java, PHP, Python, C# .NET usw.

Im Internet stehen heute verschiedene Arten von Parsern zur Verfügung; sie funktionieren jedoch alle nach dem gleichen Prinzip: Sie wandeln den Eingabetext in eine Objektstruktur um, die die in diesem Text enthaltenen Elemente abbildet. 

Die Objekte stellen entweder Knoten oder Attribute innerhalb dieser Knoten (Elemente) dar. Wenn Sie beispielsweise ein Dokument haben, das Tags mit Inhalt enthält, stellt jedes Tag einen Objektknoten innerhalb der resultierenden Struktur dar. Sie repräsentieren alles, was sich im Inhalt dieses Elements befindet. Das Tag würde als Attributknoten dargestellt, der Informationen über sein übergeordnetes Element enthält.

In den folgenden Abschnitten werden wir einige der beliebtesten Parser vorstellen, die derzeit im Internet verfügbar sind.

HTML-Parsing-Bibliotheken.

HTML-Bibliotheken zur Datenauswertung dienen dazu, HTML-Inhalte zu analysieren und die darin enthaltenen Daten zu extrahieren. Sie werden eingesetzt, um Daten aus Webseiten, Dokumenten, E-Mails oder strukturiertem Text zu extrahieren. Diese Bibliotheken können für verschiedene Zwecke genutzt werden, beispielsweise zum Auslesen von Daten aus Websites, zum Analysieren von E-Mail-Nachrichten usw.

Beautiful Soup

Beautiful Soup ist eine Python-Bibliothek zum Parsen von HTML. Sie ist auf Benutzerfreundlichkeit und Schnelligkeit ausgelegt, dabei aber leistungsstark genug, um auch die komplexesten Dokumente zu verarbeiten. Beautiful Soup kann HTML aus vielen Quellen parsen, darunter Dateien, URLs, E-Mail-Nachrichten und sogar aus Ihrer Zwischenablage.

Das Parsen von HTML-Tags und -Attributen erfolgt schnell und präzise. Das bedeutet, dass Beautiful Soup auch die komplexesten Dokumente verarbeiten kann.

Beautiful Soup wurde so konzipiert, dass es einfach zu bedienen ist – mit einer übersichtlichen API zur Bearbeitung des Dokuments und einem umfassenden Satz an Klassen für die Arbeit mit den Elementen in Ihrem Dokument. 

Bis bald

Cheerio unterstützt das Parsen von Dokumenten im JavaScript Object Notation (JSON)-Format sowie der nativen ECMAScript-Objektnotation (ES5) von JavaScript. Neben der Unterstützung der ES5-Syntax werden auch neuere Funktionen wie Pfeilfunktionen in ES6-Codeblöcken unterstützt. Die API von Cheerio ist so konzipiert, dass sie einfach zu verwenden und in andere Bibliotheken zu integrieren ist. Sie bietet Zugriff auf die geparsten Daten als Java-Map, als ArrayList oder als Stream von JSON-Objekten.

JSoup

JSoup ist eine Bibliothek zum Parsen von HTML- und XML-Dokumenten. Sie bietet eine API, mit der Sie HTML-, XML-, JSON- und CSS-Dateien sowie DOM-Elemente parsen können. Sie können den Parser auf vielfältige Weise nutzen:

• Daten aus dem Dokument extrahieren (z. B. alle Links aus einer HTML-Seite extrahieren).
• neue Dokumente erstellen (z. B. eine neue XML-Datei von Grund auf neu erstellen oder eine vorhandene HTML-Datei in das entsprechende XHTML-Format konvertieren).
• zu Validierungszwecken (z. B. zur Überprüfung von Formularen anhand ihrer Eingabewerte).

Puppenspieler

„Puppeteer“ ist eine Browser-Erweiterung, mit der Sie das DOM einer beliebigen Website untersuchen und bearbeiten können. Sie ist derzeit für Chrome, Firefox und Opera verfügbar.

Wie verwende ich Puppeteer zur Datenauswertung?

Am einfachsten nutzen Sie die Erweiterung über das entsprechende Symbol in Ihrer Browser-Symbolleiste: Nach der Installation sehen Sie ein neues Symbol in Ihrer Browser-Symbolleiste:

Klicken Sie auf das Symbol, woraufhin Sie aufgefordert werden, die Website auszuwählen, die Sie überprüfen möchten. Beim ersten Start werden Sie um Erlaubnis gebeten, auf alle derzeit in Ihrem Browser geöffneten Websites zugreifen zu dürfen. Sie können diese Einstellung später jederzeit ändern, indem Sie auf die Schaltfläche „Optionen“ am unteren Rand des Fensters klicken:

Verwenden Sie den Puppeteer Parser anschließend wie jeden anderen DOM-Inspector. Er funktioniert genau wie die Chrome-Entwicklertools oder die Firefox-Entwicklertools, ist jedoch wesentlich leistungsfähiger als jedes dieser Tools für sich genommen.

Einen Parser selbst entwickeln oder einen Parser kaufen.

Bei der Entwicklung eines Parsers geht es nicht nur darum, den Parser selbst zu erstellen. Es geht auch darum, zu verstehen, wie man ihn einsetzt. Das bedeutet, dass Sie die Grammatik Ihrer Sprache verstehen und lernen müssen, wie man einen guten Lexer/Tokenizer schreibt (was wiederum ausreichende Kenntnisse über reguläre Ausdrücke voraussetzt).

Viele Menschen glauben, dass der Kauf eines Parsers günstiger ist, als einen von Grund auf selbst zu entwickeln. Das stimmt jedoch nicht: Wenn Sie einen Parser kaufen, wird dieser im Rahmen des Softwarepakets, das Sie gerade installieren, kostenlos auf Ihrem Computer installiert. Sie können ihn dann nutzen, ohne sich Gedanken über die Konfiguration oder die Installation weiterer Komponenten machen zu müssen. 

Das mag zwar wie ein Vorteil klingen, doch die meisten Parser weisen Einschränkungen auf, die sie für bestimmte Anwendungen ungeeignet machen (z. B. unterstützen sie keine verschachtelten Strukturen). 

Zudem gibt es zwar viele kostenlose Parser, doch deren Funktionsumfang ist in der Regel sehr begrenzt. Sie können keine komplexeren Grammatiken verarbeiten als diejenigen, die von ihren Basisbibliotheken unterstützt werden (und selbst diese Bibliotheken weisen oft Einschränkungen auf). 

Und schließlich müssen Sie beim Schreiben von Code für eine solche Bibliothek stets bedenken, dass sich verschiedene Versionen unterschiedlich verhalten können – je nachdem, wer sie geschrieben hat. Sofern also niemand Tests für die Bibliothek verfasst hat und es keine Dokumentation gibt, in der erklärt wird, was die einzelnen Elemente bewirken – und warum –, könnte die Verwendung einer solchen API durchaus frustrierend sein.

Schauen wir uns also einige Vorteile der Erstellung eines Parsers an: 

• Sie können Ihren eigenen Parser für eine Grammatik schreiben, die von keiner Bibliothek unterstützt wird. Sie sind nicht an die Einschränkungen eines bereits vorhandenen Parsers gebunden und können ihn so komplex oder einfach gestalten, wie Sie möchten. 

• Sie können es in all Ihren Projekten einsetzen, ohne sich Gedanken über Portabilitätsprobleme machen zu müssen (z. B. falls sich eines Tages jemand dazu entschließt, von der .NET Framework-Version 2.0 auf 3.5 umzusteigen). 

• Das ist viel einfacher, als Tests für einen Parser zu schreiben. Da es keine Einschränkungen hinsichtlich der Möglichkeiten gibt, haben Sie die vollständige Kontrolle darüber, was während des Parsens geschieht und wie sich die einzelnen Elemente verhalten, wenn sie auftauchen (Sie könnten sogar festlegen, dass sich bestimmte Elemente je nach Kontext unterschiedlich verhalten sollen). 

• Der Code wird übersichtlicher sein, da viele Aspekte wie Fehlerbehandlung, Ausnahmen usw. bereits vom Framework selbst übernommen werden (und auf diese Weise Ihren Code nicht unnötig überladen).
  
• Und schließlich unterliegen die meisten Parser gewissen Einschränkungen: Sie unterstützen nur bestimmte Grammatiken oder Strukturen, während Sie durch die Erstellung eines eigenen Parsers genau die Grammatik entwickeln können, die Ihren Anforderungen am besten entspricht.

Proxys für Privathaushalte. 

Wenn Sie von Websites gescrapte HTML-Daten auswerten, können Sie dazu verschiedene Automatisierungstools verwenden. 

Wussten Sie, dass die Proxy-Rotation entscheidend dafür ist, die richtigen Daten schnell abzurufen?

Viele Websites blockieren Web-Scraping-Tools, wenn diese keine rotierenden Privat-Proxys verwenden. Die Proxys verschleiern nicht nur die IP-Adresse und verhindern Sperren – sie können Anfragen auch auf Tausende von IP-Adressen verteilen. 

IPBurger bietet eine automatische Proxy-Rotation mit unbegrenzter Anzahl von Threads und gleichzeitigen Verbindungen. Das bedeutet, dass Sie die Datenerfassung rasch steigern können, ohne sich jemals Gedanken über IP-Sperren machen zu müssen. 

Weitere Informationen finden Sie unter „Unsere Web-Scraping-Proxys“.