网络搜刮使用哪种文件格式?答案有点复杂,因此本指南为您简化了最常见的类型。
你查看过网站的引擎盖吗?试试按键盘上的 F12 键(别紧张)。
如果您使用的是 Chrome 浏览器,开发者工具会弹出,让您一窥这些易读内容背后的复杂性。
这就是从网站上实际搜索到的内容。
JavaScript、超文本标记语言、PHP 以及数以吨计的其他计算机用来传输和显示数据的语言。
这篇文章试图缩小网络搜索所需的语言范围。
什么是文件格式?
文件格式是一种结构图,它告诉程序如何显示和存储其内容。它指定文件是否是二进制文件,并告诉你如何组织数据--例如,CSV 将纯文本存储在表格中。
通过查看文件扩展名,可以确定文件格式的类型。
例如,如果您以 CSV 格式将文件保存为 "document",它就会显示为 "document.csv"。打开后,可以看到表格形式的数据。
什么是电子表格文件格式?
电子表格使用数字和字母将文档中的单元格组织和标记为行和列。电子表格文件格式就是在这些单元格中组织和存储数据。

常见的电子表格文件格式有逗号分隔值(.csv)、Microsoft Excel 电子表格(.xls)和 Microsoft Excel Open XML 电子表格(.xlsx)。
二进制文件格式和文本文件格式有什么区别?
您尝试过用记事本打开jpeg文件吗?

真是一团糟。
这是因为 jpeg 是一种二进制文件格式,人类无法读取,需要计算机来解压缩。而文本文件格式则可以被人类读取。
二进制文件传输更快,因为你不需要解析任何东西。但缺点是无法轻松编辑二进制文件。你需要在文件中加入新旧读写功能,并嵌入版本号。
您可以随时编辑文本文件,不会有任何问题,但整理文件会使功能变慢。
选择正确的文件格式。
在开始数据收集项目时,您需要考虑数据的格式、如何展示数据以及如何存储数据。
以下是其他一些重要因素:
- 您和您的客户通常使用什么格式?
- 哪些软件与您的硬件兼容?
- 您打算如何分析、分类和存储数据?
- 什么文件格式最容易共享?
- 未来如何打开和读取数据?
用于网络抓取的常用数据格式
数据有无数种形式。有些更适合长期存储,如 ORC 和 Parquet,而有些则更适合在计算机之间传输数据。
对于网络刮擦,您需要能够查找、收集、分析和存储数据。
逗号分隔值文件格式 (.csv)
最常见的格式是 CSV 格式,大多数人都知道它的工作原理。
CSV 可以很好地处理二维数据(行和列)。不过,我们遇到的很多数据都是多维数据,无法在二维电子表格中很好地运行。
CSV 的一个缺点是不能灵活处理 CSV 中每一行的列数变化。

Microsoft Excel Open XML 文件格式(.xls 或 .xlsx)
Excel 是一种电子表格文件格式,是处理人类可读数据的不错选择。数据必须是平面的(二维),使用这种格式处理较小的数据集或进行探索性分析比较好。
Excel 文件还包含大量额外信息,如图表、格式、公式和图片。
XLS 和 XLSX 有一点区别。主要是 XLS 是 1997 年至 2003 年 Excel 的默认文件格式,而 XLSX 是 2007 年以后的最新文件格式。

JavaScript 对象符号 (.json)
JSON 是一种被广泛采用的轻量级格式。作为一种基于文本的工具,它便于人类阅读和编写,但如果存在大量嵌套字段,阅读起来可能会比较困难。同时,它也便于机器解析。
JSON 非常适合小型数据集、登陆数据或 API 集成。如果需要处理大量数据,最好转换为更有效的格式。
它可以轻松处理多维和半结构化数据,而且可以轻松添加或删除任何字段。
大多数数据库和语言都支持或有现成的库用于导入和导出 JSON。

超文本标记语言文件格式(.html)
标记语言由不可见的字母和符号组成,这些字母和符号指示其所标记的可见页面内容。换句话说,我们使用 HTML 通过标记(字母和符号)来描述网页结构。
与 XML 不同的是,HTML 标记不能自己制作,你可以在一个框架内制作自己的标记语言。HTML 有一套预定义的命令。

可扩展标记语言文件格式(.xml)
XML 是另一种标记语言,我们可以用它在计算机之间传输数据。与 HTML 一样,它是一种基于文本的文件格式,人类和计算机都能读取。
主要区别在于,由于可以创建自定义命令,因此在定义网页结构时可以更加灵活。

什么是适合网络搜索的文件格式?
尽管 CSV 更为流行,但用于网络搜刮的最通用、最灵活的格式是 JSON。其他格式有更多的挑战和定制,通常使它们更耗费资源。
您可以在 Microsoft Excel 电子表格中轻松显示 CSV 文件,通常只需右击文件并在 Excel 中打开即可。这使它成为整理和展示数据的理想工具。
希望这些内容能为您的数据采集策略提供一些参考。如果您准备深入了解,可以开始学习如何为您的项目选择合适的网页抓取工具。
