L'argent, la Matrice et le web scraping

Le web scraping est un véritable outil qui permet de gagner beaucoup de temps, mais ce n'est qu'une partie de l'histoire.

Cela peut aussi vous rendre riche.

(Données incluses)

Bon, c'était un peu de mauvais goût… mais ce n'est pas une blague : les données, c'est de l'or numérique.

(Désolé, Bitcoin)

Mais avant de nous plonger, à la manière de Picsou, dans les subtilités du binaire, nous devrions aborder rapidement quelques aspects du web scraping. Voici ce que je propose :

Qu'est-ce que le web scraping ?

Le « web scraping » consiste à collecter des données sur Internet. (C'est un peu comme copier-coller, mais en plus rapide.)

Ils utilisent une application ou un script pour automatiser la collecte des données, supprimer les informations superflues et les classer dans une bibliothèque.

Les robots d'exploration téléchargent un fichier robot.txt pour déterminer les parties d'un site web auxquelles ils ont accès. Ils suivent ensuite les liens vers de nouvelles pages et établissent une liste, ou « file d'attente d'exploration ».

C'est un peu comme ajouter des titres à une playlist sur Spotify au fur et à mesure que l'on découvre des chansons qui nous plaisent. Sauf qu'un robot de collecte de données n'a pas un goût aussi raffiné et ajoute tout sans distinction.

Au fur et à mesure que le scraper parcourt cette liste qui ne cesse de s'allonger, il se répartit sur différentes pages jusqu'à ce que sa tâche soit terminée.

Mais qu'est-ce qu'on gratte exactement ?

 

Internet, bien sûr. Plus précisément, vous collectez sur des pages Web des informations précieuses qui peuvent servir à créer et à gérer une entreprise, à contribuer à des projets de recherche et à automatiser des tâches fastidieuses.

Voici quelques autres exemples :

• Vous pouvez consulter les actualités et les flux des réseaux sociaux pour voir ce que font vos concurrents.
• Découvrez quels sont les produits les plus populaires sur eBay.
• Proposez les meilleurs prix pour les billets d'avion grâce à l'agrégation des prix.
• Recherchez les écarts de valeur susceptibles de générer des bénéfices.

Vous pouvez programmer des robots de collecte de données pour qu’ils effectuent toutes les tâches que vous pouvez réaliser en ligne, mais des milliers de fois plus rapidement.

Comment se procurer un outil de scraping ?

Vous pouvez créer votre propre outil de scraping à partir de zéro, ou utiliser un outil déjà développé par quelqu'un d'autre. Si vous n'êtes pas programmeur, vous devriez sans doute opter pour un outil tel qu'Octoparse, qui vous fera gagner du temps et accélérera le processus.

Un exemple qui existe depuis un certain temps est l’API YQL (Yahoo Query Language) de Yahoo. Elle donne accès à de nombreux types de sources de données, notamment des flux RSS, des prévisions météo locales ou des programmes de cinéma : tout ce qui est mis à jour régulièrement en ligne devient accessible via ce service sans nécessiter de programmation supplémentaire. Ce qui est formidable, c’est qu’elle ne se limite pas aux pages web, mais permet également d’obtenir des cotations boursières, de suivre les flux d’actualités sur les réseaux sociaux ou de consulter des rapports financiers.

Mais c'est quand même un peu « à l'ancienne ».

Voici quelques exemples d'extensions modernes de scraping pour votre navigateur :

1. Data Scraper (Chrome)

Avec la version gratuite, vous pouvez extraire jusqu’à 500 pages de données par mois. Ce n’est pas beaucoup, mais si vous souhaitez en extraire davantage, vous pouvez passer à une formule payante.

2. Outil de collecte de données sur le Web

Cet outil de scraping dispose à la fois d'une extension Chrome et d'une extension Cloud qui fonctionnent d'un simple clic, sans nécessiter aucune expérience en programmation. Il est compatible avec les langages web actuels et s'intègre facilement aux logiciels d'automatisation et aux proxys.

3. Scraper (Chrome)

Ce logiciel est facile à utiliser, mais je vous recommande d'avoir déjà une certaine expérience en programmation. Si vous cliquez sur n'importe quel texte dans un tableau ou une liste, puis que vous sélectionnez « Scrape Similar » dans le menu du navigateur, vous pouvez extraire des informations et du contenu en ajoutant de nouvelles colonnes à l'aide d'XPath ou de jQuery.

Je pourrais continuer encore et encore : le Web regorge d'outils de scraping. Lorsque vous choisissez celui que vous allez utiliser, il y a quelques éléments à prendre en compte :

Tu as combien de temps devant toi ? C'est quelque chose que tu fais régulièrement ou juste une fois ?

Quel est votre budget ? Disposez-vous déjà d'un logiciel comme Google Analytics, qui intègre des fonctionnalités d'exploration du Web ? Pourquoi payer plus cher alors que ce dont vous avez besoin est gratuit ?

Comment gagner vraiment de l'argent grâce au web scraping

Le vaste univers du web scraping se résume à un élément essentiel : l'information.

Ces informations peuvent servir de monnaie d'échange dans toutes sortes de transactions commerciales :

• Vendre directement des informations ou en tirer parti
• Soutenir l'automatisation des processus métier
• Optimiser les échanges et le commerce

La vente d'informations, c'est assez simple : il y a des films d'espionnage entiers qui tournent autour d'une clé USB contenant des informations précieuses.

Mais qu'en est-il de l'automatisation et du commerce ?

Voyez les choses sous cet angle :

Chaque produit, jusqu'au moindre pixel, est une source d'information.

1. Créer une entreprise spécialisée dans la vente d'informations.

 

• Gourou de la finance – Recueillez les actualités et les événements qui ont un impact sur la Bourse, l'immobilier et les cryptomonnaies.
• Expert en référencement naturel – Fournit des analyses de mots-clés et des conseils en marketing de contenu.
• Consultant en gestion d'entreprise – Propose des analyses approfondies de la concurrence dans le secteur et des tendances du marché.

Dans ces cas-là, vous rechercheriez des informations pour lesquelles les gens sont déjà prêts à payer, puis vous les présenteriez sous forme de produit. Vous pourriez également les proposer gratuitement sur votre site web pour générer du trafic ou les vendre dans le cadre d'un programme d'affiliation.

2. Le web scraping en tant que service intermédiaire.

• Agrégation des tarifs de voyage – Récupérez sur le Web les meilleurs prix pour les billets d'avion, les hôtels et autres services de voyage en tant que service. Cela nécessite un scraping continu sur une multitude de sites Web de voyage ; vous devrez donc utiliser des proxys résidentiels en rotation. Comme vous le savez sans doute, Google déploie des robots d'indexation (« Google Spiders ») pour vous proposer les dernières offres en matière d'hôtels et de billets d'avion. Parallèlement, d’autres entreprises telles qu’Expedia, Skyscanner et Hostelworld se positionnent sur différents créneaux du marché du voyage.
• Courtage boursier ou gestion de fonds spéculatifs : tout le monde se prend pour un génie de l’investissement dès qu’il achète sa première action ou sa première cryptomonnaie. Mais ceux qui ont fait leurs preuves en maintenant leurs portefeuilles dans le vert connaissent bien le biais d’information. Pour avoir une vue d’ensemble, il est essentiel de disposer de mégadonnées. Le seul moyen d’y parvenir est d’utiliser des bots pour collecter des informations qui échappent au filtre réducteur de la perception humaine. Grâce à ce type d’aide, vous pouvez gérer efficacement les risques – un service pour lequel les gens sont prêts à vous confier leur argent (à condition que vous puissiez le leur rendre, avec des intérêts).
• Marketing et publicité – Au lieu de vous contenter d’être un simple informateur pour les agences de marketing et les entreprises, vous pouvez devenir la source d’information. Une fois encore, Google, avec son Google Analytics, revendique une certaine autorité, tandis que des dérivés comme SEMRush et AnswerThePublic comblent le vide considérable qui subsiste. Vous pensez peut-être qu’il n’y a plus de lacunes à combler, mais ce n’est tout simplement pas vrai. Tout ce qui existe dans le monde se transpose et se multiplie en ligne, et quelqu’un doit faire le tri dans tout cela. (Pour un prix raisonnable, bien sûr.)

3. Les articles les plus recherchés en matière de web scraping

Il faut rester attentif aux effets de mode. Ainsi, vous minimiserez vos risques tout en maximisant vos gains. En d’autres termes, vous ne vous retrouverez pas coincé avec un titre sur les bras et ne serez pas obligé de le vendre à perte.

• Les baskets – Un marché de la revente unique en son genre, né de la passion des amateurs de baskets. Ce sont les modèles en édition limitée qui rapportent le plus, avec un retour sur investissement facilement décuplé pour certaines Yeezy ou Jordan. Cependant, la courbe d’apprentissage est raide pour les débutants – mais il existe de nombreux guides pour vous préparer à un commerce rentable de revente de baskets.
• Électronique – Les appareils électroniques, comme la PS5 ou les cartes graphiques d'ordinateur, sont très faciles à revendre et permettent même de gagner très bien sa vie. Tout comme pour les baskets, la concurrence est rude.
• Billets d'événements – C'est sans doute le produit de revente par excellence. Si l'on a l'impression que la vente de billets est truquée, c'est qu'il y a une raison : c'est en quelque sorte le cas. Des robots s'accaparent les billets les plus prisés pour les revendre au noir à un prix exorbitant.
• Les jetons non fongibles ou NFT – Certains NFT sont incroyablement difficiles à obtenir. Probablement parce que la moitié des enchères sont placées par des bots. Dans ce cas précis, les bots soumettent plusieurs enchères et participent à de multiples tirages au sort afin de s'assurer le plus grand nombre possible de NFT, qu'ils revendent ensuite avec des bénéfices faramineux sur des places de marché telles qu'OpenSea, Solanart ou DigitalEyes.

Dans chacun de ces cas, le web scraping remplit une fonction légèrement différente. Ces outils continuent d'explorer les pages web et d'enregistrer des données, mais ils automatisent également le processus de paiement.

Si vous utilisez des proxys, vous pouvez multiplier ces commandes afin d'augmenter vos chances de gagner. En réalité, il est absolument indispensable d'utiliser des proxys pour faire fonctionner tout logiciel automatisé (bots et outils de scraping). Si vous ne le faites pas, toute votre opération échouera dès que votre adresse IP sera bannie.

Le résultat

Prises isolément, chacune de ces stratégies mérite qu'on y consacre du temps et des efforts. Mais qu'obtient-on en les combinant ?

Une sorte de machine qui avale des informations et crache des fiches de paie.

Des gros.

Les informations sur le marché nous sautent littéralement aux yeux, mais leur volume colossal dépasse nos capacités de traitement. Même si j'aime à croire que nous pouvons temporairement maîtriser la matrice (comme Neo), un outil de scraping est tout de même un peu plus fiable.

En quelques secondes, vous pouvez :

• Analyser la situation actuelle du marché financier
• Identifier les évolutions et les tendances du marché
• Restez informé de l'actualité nationale et internationale qui influence les marchés boursiers et l'économie
• Évaluez le sentiment et le comportement des consommateurs

Tout ce que vous pouvez faire en ligne, les robots de collecte de données le font à une échelle bien plus grande.

Tout ça grâce aux proxys.

(Ce sont les « proxies » qui masquent votre présence à l'agent Smith)