Quel type de format de fichier utilisez-vous pour le web scraping ? La réponse est un peu complexe, c'est pourquoi ce guide simplifie les types de fichiers les plus courants.
Vous arrive-t-il de regarder sous le capot d' un site web ? Essayez d'appuyer sur la touche F12 de votre clavier (ne paniquez pas).
Si vous utilisez Chrome, les outils de développement apparaîtront et vous donneront un aperçu de la complexité qui sous-tend tout ce contenu facile à lire.
Il s'agit des informations que vous récupérez sur les sites web.
JavaScript, langage de balisage hypertexte, PHP et des tonnes d'autres langages utilisés par les ordinateurs pour transférer et afficher des données.
Considérez ce billet comme une tentative de réduire les langages que vous devez connaître pour explorer le web.
Qu'est-ce qu'un format de fichier ?
Un format de fichier est un plan structurel qui indique à un programme comment afficher et stocker son contenu. Il précise si le fichier est binaire ou non et vous indique comment organiser les données - par exemple, CSV stocke du texte brut dans des tableaux.
L'extension du fichier permet d'identifier le type de format de fichier.
Par exemple, si vous enregistrez un fichier au format CSV sous le nom de "document", il apparaît sous la forme "document.csv". Lorsque vous l'ouvrez, vous pouvez voir les données sous forme de tableau.
Qu'est-ce qu'un format de fichier de feuille de calcul ?
Une feuille de calcul utilise des chiffres et des lettres pour organiser et étiqueter la grille de cellules d'un document en lignes et en colonnes. Le format de fichier d'une feuille de calcul correspond à l'organisation et au stockage des données dans ces cellules.
Les formats de fichiers de feuilles de calcul les plus courants sont Comma Separated Values (.csv), Microsoft Excel Spreadsheet (.xls) et Microsoft Excel Open XML Spreadsheet (.xlsx).
Quelle est la différence entre les formats de fichier binaire et texte ?
Avez-vous déjà essayé d'ouvrir un fichier jpeg dans le Bloc-notes ?
C'est un véritable gâchis.
C'est parce que le format jpeg est un format de fichier binaire qui n'est pas lisible par l'homme et qui nécessite un ordinateur pour le décompacter. Les formats de fichiers texte, en revanche, sont lisibles par l'homme.
Les fichiers binaires sont plus rapides à transférer car il n'est pas nécessaire d'analyser quoi que ce soit. L'inconvénient est qu'il n'est pas facile de modifier les fichiers binaires. Vous devez inclure les anciennes et les nouvelles fonctions de lecture et d'écriture et intégrer un numéro de version dans le fichier.
Vous pouvez modifier un fichier texte à tout moment sans problème, mais l'organisation des fichiers ralentit le fonctionnement.
Choisir le bon format de fichier.
Lorsque vous vous lancez dans un projet de collecte de données, vous devez réfléchir au format, à la manière dont vous souhaitez présenter les données et à la manière dont vous allez les stocker.
Voici quelques autres facteurs essentiels :
- Quels sont les formats que vous et vos clients utilisez habituellement ?
- Quels sont les logiciels compatibles avec votre matériel ?
- Comment envisagez-vous d'analyser, de trier et de stocker vos données ?
- Quels sont les formats de fichiers les plus faciles à partager ?
- Comment ouvrirez-vous et lirez-vous vos données à l'avenir ?
Formats de données populaires pour le Web Scraping
Il existe d'innombrables formes de données. Certaines conviennent mieux au stockage à long terme, comme ORC et Parquet, tandis que d'autres sont plus adaptées au transfert de données entre ordinateurs.
Pour le web scraping, il faut pouvoir trouver, collecter, analyser et stocker des données.
Format de fichier des valeurs séparées par des virgules (.csv)
Le format le plus courant est le format CSV, dont la plupart des gens connaissent le fonctionnement.
Le format CSV fonctionne bien pour les données bidimensionnelles (lignes et colonnes). Cependant, de nombreuses données que nous rencontrons sont multidimensionnelles et ne fonctionnent pas bien dans une feuille de calcul bidimensionnelle.
L'un des inconvénients du CSV est qu'il n'est pas flexible en ce qui concerne les variations du nombre de colonnes pour chaque ligne du CSV.
Format de fichier Microsoft Excel Open XML (.xls ou .xlsx)
Excel est un format de fichier de feuille de calcul qui constitue une bonne option pour le traitement de données lisibles par l'homme. Les données doivent être plates (bidimensionnelles) et il est préférable d'utiliser ce format pour les petits ensembles de données ou les analyses exploratoires.
Les fichiers Excel contiennent également de nombreuses informations supplémentaires, telles que des graphiques, des tableaux, des mises en forme, des formules et des images.
Les formats XLS et XLSX sont légèrement différents. Principalement, XLS était le format de fichier par défaut pour Excel entre 1997 et 2003, tandis que XLSX est le format de fichier le plus récent à partir de 2007.
Notation d'objets JavaScript (.json)
JSON is a widely-adopted lightweight format. As a text-based tool, it’s easy for humans to read and write, but it can be challenging to read if there are many nested fields. It is easy for machines to parse as well.
JSON est idéal pour les petits ensembles de données, les données d'atterrissage ou l'intégration d'API. Si vous devez traiter de grandes quantités de données, il est préférable de les convertir dans un format plus efficace.
Il peut facilement traiter des données multidimensionnelles et semi-structurées, et vous pouvez facilement ajouter ou supprimer des champs.
La plupart des bases de données et des langages prennent en charge l'importation et l'exportation de JSON ou disposent de bibliothèques à cet effet.
Format de fichier HyperText Markup Language (.html)
Le langage de balisage se compose de lettres et de symboles invisibles qui donnent des instructions au contenu visible de la page qu'ils marquent. En d'autres termes, nous utilisons le langage HTML pour décrire la structure d'une page web en l'annotant avec des balises (lettres et symboles).
Contrairement à XML, qui permet de créer son propre langage de balisage à partir d'un cadre, il n'est pas possible de créer ses propres balises HTML. Le HTML est livré avec un ensemble de commandes prédéfinies.
Format de fichier Extensible Markup Language (.xml)
XML est un autre langage de balisage que nous pouvons utiliser pour transférer des données entre ordinateurs. Comme HTML, il s'agit d'un format de fichier textuel lisible à la fois par les humains et les ordinateurs.
La principale différence est que vous disposez d'une plus grande souplesse dans la définition des structures des pages web, car vous pouvez créer des commandes personnalisées.
Quel est le format de fichier approprié pour le web scraping ?
Même si le format CSV est plus populaire, le format le plus universel et le plus flexible pour le web scraping est JSON. Les autres formats présentent davantage de difficultés et de possibilités de personnalisation, ce qui les rend généralement plus gourmands en ressources.
Vous pouvez facilement afficher des fichiers CSV dans des feuilles de calcul Microsoft Excel, généralement en cliquant avec le bouton droit de la souris sur les fichiers et en les ouvrant dans Excel. Il s'agit donc d'un outil idéal pour organiser et présenter les données.
We hope this adds some context to your data collection strategy. If you’re ready for more, you can begin learning how to choose the right web scraping tool for your projects.
