Le web scraping permet de gagner du temps, mais ce n'est que la moitié de l'histoire.
Elle peut aussi vous rendre riche.
(Avec données)
D'accord, c'était un peu de mauvais goût, mais ce n'est pas une blague : les données sont de l'or numérique.
(Désolé pour le bitcoin)
Mais avant de plonger dans les pépites binaires, il convient de passer en revue quelques aspects du web scraping. Voici ce que je propose :
Qu'est-ce que le web scraping ?
Le web scraping consiste à collecter des données sur l'internet. (Pensez au copier-coller, mais en plus rapide)
Ils utilisent une application ou un script pour automatiser la collecte des données, supprimer les informations inutiles et les organiser dans une bibliothèque.
Les "web scrapers" téléchargent un fichier robot.txt pour savoir où ils peuvent aller sur un site web. Ils suivent ensuite les liens vers de nouvelles pages et compilent une liste ou "file d'attente".
C'est un peu comme mettre en file d'attente une liste de lecture sur Spotify au fur et à mesure que l'on découvre des chansons que l'on aime. Sauf que le palais d'un web scraper n'a pas un goût aussi raffiné et met tout en file d'attente.
Au fur et à mesure que le scraper descend dans la liste croissante, il se ramifie en différentes pages jusqu'à ce que son travail soit terminé.
Qu'est-ce qu'on gratte exactement ?
Le web, bien sûr. Plus précisément, vous collectez des informations précieuses à partir de pages web qui peuvent être utilisées pour créer et gérer une entreprise, contribuer à des projets de recherche et automatiser des tâches fastidieuses.
Voici quelques autres exemples :
- Vous pouvez consulter les actualités et les flux de médias sociaux pour voir ce que font les concurrents.
- Découvrez les produits qui ont le vent en poupe sur eBay.
- Proposer les meilleurs prix pour les voyages en avion grâce à l'agrégation des prix.
- Recherchez les écarts de valeur susceptibles de générer des bénéfices.
Il est possible de programmer des extracteurs de données web de sites web pour qu'ils fassent tout ce que vous pouvez faire en ligne, mais des milliers de fois plus vite.
Comment obtenir un scraper web ?
You could write your own scraper from scratch, or you could use what someone else has already written. If you’re not a coder, then you should probably opt for something like Octoparse that will save time and speed up the process.
L'API YQL (Yahoo Query Language) de Yahoo est un exemple qui existe depuis un certain temps. Elle permet d'accéder à de nombreux types de sources de données, notamment les flux RSS, les prévisions météorologiques locales ou les listes de films - tout ce qui est mis à jour régulièrement en ligne est disponible par l'intermédiaire de ce service sans qu'aucun codage supplémentaire ne soit nécessaire. Tout ce qui est mis à jour régulièrement en ligne devient disponible par l'intermédiaire de ce service sans qu'aucun codage supplémentaire ne soit nécessaire. Ce qui est formidable, c'est qu'il n'est pas nécessaire de se limiter aux pages web, mais qu'il est également possible d'obtenir des cotations boursières, de surveiller les flux de nouvelles des médias sociaux ou des rapports financiers.
C'est un peu la vieille école.
Voici quelques exemples d'extensions modernes de scraping pour votre navigateur :
1. Data Scraper (Chrome)
La version gratuite vous permet de récupérer jusqu'à 500 pages de données par mois. C'est peu, mais si vous en voulez plus, vous pouvez passer à une formule payante.
2. Web Scraper
Ce scraper dispose d'une extension chrome et cloud qui fonctionne par simple pointer-cliquer et ne nécessite aucune expérience en matière de codage. Il fonctionne avec les langages web courants et s'intègre facilement avec les logiciels d'automatisation et les proxys.
3. Scraper (Chrome)
Ce logiciel est facile à utiliser, mais je vous recommande d'avoir une certaine expérience du codage. Si vous cliquez sur un texte dans un tableau ou une liste et que vous choisissez "Scrape Similar" dans le menu du navigateur, vous pouvez obtenir des informations et du contenu en ajoutant de nouvelles colonnes à l'aide de XPath ou de JQuery.
Je pourrais continuer ainsi longtemps - le web regorge d'outils de scraping. Lorsque vous choisissez celui que vous allez utiliser, il y a quelques points à prendre en compte :
De combien de temps disposez-vous ? Est-ce quelque chose que vous faites régulièrement ou seulement une fois ?
Quel est votre budget ? Possédez-vous déjà un logiciel comme Google Analytics qui intègre des fonctionnalités d'exploration du web ? Pourquoi payer plus si ce dont vous avez besoin est gratuit ?
Comment gagner de l'argent avec le web scraping
Le vaste monde du web scraping se résume à un ingrédient principal : l'information.
Ces informations peuvent être utilisées comme une sorte de monnaie dans tous les types d'échanges commerciaux :
- Vente directe ou exploitation de l'information
- Soutenir l'automatisation des activités
- Optimiser les échanges et le commerce
La vente d'informations est assez simple - des films d'espionnage entiers tournent autour d'une clé USB contenant des informations précieuses.
Mais qu'en est-il de l'automatisation et du commerce ?
Il faut voir les choses sous cet angle :
Chaque produit, jusqu'au pixel, est une information.
1. Créer une entreprise qui vend de l'information.
- Financial guru - Compile les nouvelles et les événements qui ont un impact sur le marché boursier, l'immobilier et les crypto-monnaies.
- SEO extraordinaire - Fournir des recherches de mots clés et des conseils en matière de marketing de contenu.
- Consultant en affaires - Offre des analyses approfondies de la concurrence dans le secteur et des tendances du marché.
Dans ce cas, vous recherchez des informations pour lesquelles les gens paient déjà et vous les présentez sous forme de produit. Vous pouvez également l'offrir gratuitement sur votre site web pour attirer du trafic ou la vendre sous forme de publicité d'affiliation.
2. Le "web scraping" en tant que service intermédiaire.
- Travel fare aggregation – Scrape the web for the best prices on airfare, hotels, and other travel services as a service. This requires continuous web scraping on multitudes of travel websites, so you’ll need to use rotating residential proxies. As you probably know, Google deploys Google Spiders to bring you the latest on hotels and airfare. Meanwhile, other companies like Expedia, Skyscanner, and Hostelworld capitalize on different travel niches.
- Courtage en bourse ou gestion de fonds spéculatifs - Tout le monde est un génie de l'investissement après avoir acheté sa première action ou sa première pièce de monnaie cryptographique. Mais tous ceux qui ont réussi à maintenir leurs portefeuilles dans le vert sont bien conscients du biais d'information. Pour avoir une vue d'ensemble, il est essentiel de disposer de données importantes. Le seul moyen d'y parvenir est d'utiliser des robots pour recueillir des informations qui ne sont pas soumises au filtre étroit de la perception humaine. Avec ce type de soutien, vous pouvez gérer les risques avec succès - un service pour lequel les gens sont prêts à donner leur argent (si vous pouvez le leur rendre, avec des intérêts).
- Marketing and advertisement – Instead of just being an informant for marketing agencies and businesses, you can be the source of information. Once again, Google with their Google Analytics claim some sort of authority and offshoots like SEMRush and AnswerThePublic pick up the sizeable slack. You may think there isn’t anymore slack to be had, but that’s just not true. Everything in the world is transplants and multiplies online and someone has to sort all that stuff out. (For a reasonable price, of course)
3. Raclage de sites web : des sujets brûlants d'actualité
Vous devez être à l'affût de ce qui se fait de mieux. De cette façon, le risque est faible et la récompense élevée. En d'autres termes, vous ne risquez pas de rester les bras croisés et de vendre à perte.
- Sneakers – A unique resale industry that blossoms from the heart of sneakerheads. The limited-release sneakers are where the money’s at, with an easy 10x return on some Yeezy’s or Jordan’s. However, the learning curve is steep if you’re starting out – but there’s plenty of guides to prime you for profitable sneaker flipping.
- Produits électroniques - Les produits électroniques tels que la PS5 ou les cartes graphiques sont très faciles à revendre et permettent même de gagner sa vie de manière lucrative. Tout comme pour les baskets, la concurrence est féroce.
- Billets d'événements - Il s'agit peut-être de l'article de revente par excellence. Ce n'est pas pour rien que les ventes de billets semblent truquées - c'est en quelque sorte le cas. Des robots s'emparent des billets d'événements les plus prisés pour les revendre à prix d'or.
- Non-fungal tokens or NFTs – Some NFTs are incredibly hard to get your hands on. Probably because half the bids are made by bots. Bots in this example are entering multiple bids and raffle entries in order to secure as many NFTs for themselves to later resell for crazy profit on marketplaces like OpenSea, Solanart or DigitalEyes.
Dans tous ces cas, le web scraping a une fonction légèrement différente. Ils parcourent toujours les pages web et enregistrent des données, mais ils automatisent également le processus de paiement.
If you throw in some proxies, you can multiply these checkouts to increase your chances to win. In fact, it’s absolutely necessary to run any automated software – bots and web scrapers – with proxies. If you don’t, then your whole operation will fail when your IP address is banned.
Le résultat
Chacune de ces stratégies, prise isolément, mérite que l'on y consacre du temps et des efforts. Mais qu'obtient-on en les combinant ?
Une sorte de machine qui se nourrit d'informations et qui fait des bulles de salaire.
Les plus grands.
Les informations sur le marché vous sautent littéralement aux yeux, mais leur volume dépasse nos limites de traitement. Même si j'aime à croire que nous pouvons temporairement maîtriser la matrice (comme Néo), un scraper web est un peu plus fiable.
En quelques secondes, vous pouvez :
- Analyser la situation actuelle du marché financier
- Identifier les changements et les tendances du marché
- Suivre l'actualité nationale et mondiale qui concerne les actions et l'économie
- Connaître le sentiment et le comportement des consommateurs
Tout ce que vous pouvez faire en ligne, les web scrapers le font à une échelle bien plus grande.
All thanks to proxies.
(Les procurations permettent de dissimuler votre présence à l'agent Smith)
