Web-Scraping ist ein echtes Arbeitstier, das viel Zeit spart, doch das ist nur die halbe Wahrheit.

Es kann Sie auch reich machen.

(mit Daten)

Zugegeben, das war ein wenig geschmacklos – aber es ist kein Scherz: Daten sind digitales Gold.

(Tut mir leid, Bitcoin)

Bevor wir uns jedoch wie Dagobert Duck in die Welt der Binärdaten stürzen, sollten wir zunächst einige Aspekte des Web-Scrapings kurz ansprechen. Ich schlage Folgendes vor:

Was ist Web-Scraping?

Unter „Web Scraping“ versteht man das Sammeln von Daten aus dem Internet. (Stellen Sie sich das wie „Kopieren und Einfügen“ vor, nur schneller.)

Sie nutzen eine App oder ein Skript, um die Datenerfassung zu automatisieren, überflüssige Informationen zu entfernen und die Daten in einer Bibliothek zu organisieren.

Web-Scraper laden eine „robot.txt“-Datei herunter, um herauszufinden, auf welche Bereiche einer Website sie zugreifen dürfen. Anschließend folgen sie den Links zu neuen Seiten und erstellen eine Liste oder eine „Crawl-Warteschlange“.

Es ist in etwa so, als würde man auf Spotify eine Wiedergabeliste zusammenstellen, während man Songs entdeckt, die einem gefallen. Nur dass ein Web-Scraper keinen so ausgeprägten Geschmack hat und einfach alles in die Warteschlange stellt.

Während der Scraper die immer länger werdende Liste abarbeitet, verzweigt er sich auf verschiedene Seiten, bis seine Aufgabe abgeschlossen ist.

Was genau kratzt man eigentlich ab?

 

Das Internet natürlich. Genauer gesagt sammeln Sie wertvolle Informationen von Webseiten, die dazu genutzt werden können, ein Unternehmen zu gründen und zu führen, zu Forschungsprojekten beizutragen und mühsame Aufgaben zu automatisieren.

Einige weitere Beispiele sind:

• Sie können sich Nachrichten und Beiträge in den sozialen Medien ansehen, um zu erfahren, was die Wettbewerber tun.
• Erfahren Sie, welche Produkte bei eBay gerade im Trend liegen.
• Bieten Sie dank Preisaggregation die besten Preise für Flugreisen an.
• Suchen Sie nach Wertabweichungen, die zu einem Gewinn führen können.

Sie können Web-Scraper so programmieren, dass sie alles tun, was Sie online tun können – nur tausendmal schneller.

Wie erhält man einen Web-Scraper?

Sie könnten Ihren eigenen Scraper von Grund auf neu programmieren oder auf ein bereits vorhandenes Programm zurückgreifen. Wenn Sie kein Programmierer sind, sollten Sie sich wahrscheinlich für eine Lösung wie Octoparse entscheiden, die Ihnen Zeit spart und den Vorgang beschleunigt.

Ein Beispiel, das es schon seit einiger Zeit gibt, ist die YQL-API (Yahoo Query Language) von Yahoo. Sie bietet Zugriff auf viele verschiedene Arten von Datenquellen, darunter RSS-Feeds, lokale Wettervorhersagen oder Kinoprogramme – alles, was online regelmäßig aktualisiert wird, ist über diesen Dienst verfügbar, ohne dass zusätzliche Programmierarbeit erforderlich ist. Das Tolle daran ist, dass dies nicht auf Webseiten beschränkt sein muss, sondern auch Börsenkurse, die Überwachung von Newsfeeds in sozialen Medien oder Finanzberichte abgedeckt werden können.

Das ist allerdings ziemlich altmodisch.

Hier finden Sie einige Beispiele für moderne Scraping-Erweiterungen für Ihren Browser:

1. Data Scraper (Chrome)

Mit der kostenlosen Version können Sie jeden Monat Daten von bis zu 500 Seiten auslesen. Das ist zwar nicht viel, aber wenn Sie mehr benötigen, können Sie auf einen kostenpflichtigen Tarif umsteigen.

2. Web-Scraper

Dieser Scraper verfügt sowohl über eine Chrome- als auch eine Cloud-Erweiterung, die per einfachem „Point-and-Click“ bedient werden kann und keinerlei Programmierkenntnisse erfordert. Er ist mit den gängigen Websprachen kompatibel und lässt sich problemlos in Automatisierungssoftware und Proxys integrieren.

3. Scraper (Chrome)

Diese Software ist benutzerfreundlich, ich empfehle Ihnen jedoch, über gewisse Programmierkenntnisse zu verfügen. Wenn Sie auf einen beliebigen Text in einer Tabelle oder Liste klicken und anschließend im Browser-Menü die Option „Ähnliche Daten extrahieren“ auswählen, können Sie Informationen und Inhalte abrufen, indem Sie mithilfe von XPath oder jQuery neue Spalten hinzufügen.

Ich könnte noch endlos weitermachen – das Internet ist voll von Scraping-Tools. Bei der Auswahl des geeigneten Tools sollten Sie einige Dinge beachten:

Wie viel Zeit haben Sie? Machen Sie das regelmäßig oder nur einmal?

Wie hoch ist Ihr Budget? Verfügen Sie bereits über eine Software wie Google Analytics, die über integrierte Web-Crawling-Funktionen verfügt? Warum sollten Sie also mehr bezahlen, wenn das, was Sie benötigen, kostenlos ist?

Wie man mit Web-Scraping wirklich Geld verdient

Die weite Welt des Web-Scrapings lässt sich auf eine zentrale Komponente zurückführen: Informationen.

Diese Informationen können in allen Arten von geschäftlichen Transaktionen als eine Art Währung genutzt werden:

• Informationen direkt zu verkaufen oder zu verwerten
• Unterstützung der Geschäftsautomatisierung
• Handel und Wirtschaft optimieren

Der Verkauf von Informationen ist ziemlich einfach – ganze Spionagefilme drehen sich um einen USB-Stick, der wertvolle Informationen enthält.

Doch wie sieht es mit Automatisierung und Handel aus?

Betrachten Sie es einmal so:

Jedes Produkt besteht bis ins kleinste Detail aus Informationen.

1. Gründen Sie ein Unternehmen, das Informationen verkauft.

 

• Finanzguru – Stellen Sie Nachrichten und Ereignisse zusammen , die Auswirkungen auf den Aktienmarkt, den Immobilienmarkt und den Kryptowährungsmarkt haben.
• SEO-Experte – Bietet Beratung zu Keyword-Recherche und Content-Marketing.
• Unternehmensberater – Bieten Sie detaillierte Einblicke in den Wettbewerb in der Branche und in Markttrends.

In diesen Fällen würden Sie nach Informationen suchen, für die andere bereits bezahlen, und diese als Produkt verpacken. Sie könnten diese Informationen auch kostenlos auf Ihrer Website anbieten, um Besucher anzulocken, oder sie im Rahmen von Affiliate-Werbung vermarkten.

2. Web-Scraping als Vermittlungsdienst.

• Aggregation von Reisepreisen – Durchsuchen Sie das Internet nach den besten Preisen für Flugtickets, Hotels und andere Reisedienstleistungen als Service. Dies erfordert kontinuierliches Web-Scraping auf einer Vielzahl von Reise-Websites, weshalb Sie rotierende Residential-Proxys verwenden müssen. Wie Sie wahrscheinlich wissen, setzt Google „Google Spiders“ ein, um Ihnen die neuesten Informationen zu Hotels und Flugpreisen zu liefern. Andere Unternehmen wie Expedia, Skyscanner und Hostelworld bedienen unterdessen verschiedene Nischen im Reisebereich.
• Wertpapierhandel oder Hedgefonds-Management – Jeder ist ein Investment-Genie, sobald er seine erste Aktie oder Kryptowährung gekauft hat. Doch jeder, der nachweislich sein Portfolio im Plus hält, ist sich der Informationsverzerrung sehr wohl bewusst. Um das große Ganze zu überblicken, ist der Zugriff auf Big Data entscheidend. Der einzige Weg, diese zu erhalten, sind Bots, die Informationen sammeln, die frei von den einschränkenden Filtern der menschlichen Wahrnehmung sind. Mit einer solchen Unterstützung können Sie Risiken erfolgreich managen – eine Dienstleistung, für die Menschen bereit sind, ihr Geld zu investieren (sofern Sie es ihnen mit Zinsen zurückgeben können).
• Marketing und Werbung – Anstatt lediglich als Informant für Marketingagenturen und Unternehmen zu fungieren, können Sie selbst zur Informationsquelle werden. Auch hier beansprucht Google mit seinem Google Analytics eine gewisse Autorität, während Ableger wie SEMRush und AnswerThePublic die beträchtlichen Lücken füllen. Sie mögen vielleicht denken, dass es keine Lücken mehr gibt, doch das stimmt einfach nicht. Alles auf der Welt wird online übertragen und vervielfältigt, und jemand muss all diese Informationen sortieren. (Zu einem angemessenen Preis, versteht sich.)

3. Web-Scraping bei gefragten Artikeln

Sie sollten den Hype im Auge behalten. Auf diese Weise ist Ihr Risiko gering und die Rendite hoch. Mit anderen Worten: Sie werden nicht auf den Verlust sitzen bleiben und mit Verlust verkaufen müssen.

• Sneaker – Eine einzigartige Wiederverkaufsbranche, die aus der Leidenschaft der Sneakerheads heraus entstanden ist. Mit limitierten Sneaker-Modellen lässt sich das große Geld verdienen – bei manchen Yeezy- oder Jordan-Modellen ist eine Rendite vom Zehnfachen kein Problem. Für Einsteiger ist die Lernkurve jedoch steil – doch es gibt zahlreiche Anleitungen, die Sie auf den profitablen Weiterverkauf von Sneakern vorbereiten.
• Elektronik – Elektronikartikel wie die PS5 oder Grafikkarten für Computer lassen sich sehr leicht weiterverkaufen, und man kann damit sogar einen lukrativen Lebensunterhalt verdienen. Genau wie bei Sneakers ist die Konkurrenz jedoch hart.
• Veranstaltungstickets – Dies ist wohl der Ur-Artikel im Weiterverkauf. Es gibt einen Grund, warum der Ticketverkauf manipuliert wirkt – und das ist er gewissermaßen auch. Bots schnappen sich die begehrtesten Veranstaltungstickets, um sie zu einem überhöhten Preis weiterzuverkaufen.
• Nicht-fungible Token oder NFTs – Manche NFTs sind unglaublich schwer zu ergattern. Wahrscheinlich, weil die Hälfte der Gebote von Bots abgegeben wird. In diesem Fall geben Bots mehrere Gebote und Teilnahmen an Verlosungen ab, um sich so viele NFTs wie möglich zu sichern, die sie später auf Marktplätzen wie OpenSea, Solanart oder DigitalEyes mit enormen Gewinnen weiterverkaufen können.

In jedem dieser Fälle erfüllt das Web-Scraping eine etwas andere Funktion. Es werden zwar weiterhin Webseiten durchsucht und Daten erfasst, doch zusätzlich wird der Bestellvorgang automatisiert.

Wenn Sie einige Proxys einsetzen, können Sie die Anzahl dieser Zugriffe vervielfachen und so Ihre Gewinnchancen erhöhen. Tatsächlich ist es absolut notwendig, automatisierte Software – Bots und Web-Scraper – über Proxys laufen zu lassen. Tun Sie dies nicht, wird Ihr gesamter Vorgang scheitern, sobald Ihre IP-Adresse gesperrt wird.

Das Ergebnis

Für sich genommen ist jede dieser Strategien die investierte Zeit und Mühe wert. Doch was erreichen Sie, wenn Sie sie miteinander kombinieren?

Eine Art Maschine, die Informationen verschlingt und Gehaltsschecks ausspuckt.

Große.

Marktinformationen springen einem buchstäblich ins Auge, doch die schiere Menge übersteigt unsere Verarbeitungskapazitäten. Auch wenn ich gerne glauben möchte, dass wir die Matrix vorübergehend meistern können (wie Neo) – ein Web-Scraper ist doch etwas zuverlässiger.

In wenigen Sekunden können Sie:

• Analysieren Sie die aktuelle Lage auf dem Finanzmarkt
• Marktveränderungen und -trends erkennen
• Bleiben Sie über nationale und internationale Nachrichten auf dem Laufenden, die sich auf die Aktienmärkte und die Wirtschaft auswirken
• Verschaffen Sie sich einen Überblick über die Stimmung und das Verhalten der Verbraucher

Was auch immer Sie online tun können, tun Web-Scraper in weitaus größerem Umfang.

Das alles ist den Proxys zu verdanken.

(Proxys sind das, was Ihre Anwesenheit vor Agent Smith verbergen)