网页抓取

解析 html：使用什么库？

AJ·泰特
2025年1月1日

解析库有成千上万种。哪些最适合解析网站上的HTML？

您可能已经知道如何使用 HTML 在网站上显示内容，但您是否知道，其实有工具可以在无需编写任何代码的情况下，帮您提取所需的数据？这些库的功能非常全面，从提取页面标题和元描述，到识别图片、链接，甚至电话号码和电子邮件地址，几乎无需您额外费力。

本文介绍了最常用的解析库，并根据您需要解析的内容类型以及网站使用的编程语言，给出了相应的建议。

什么是解析？

“解析”是“语法分析”的另一种说法，即分析句子各部分——或者就我们而言——分析一段代码的过程。如果你在解析 HTML，就是在分析网页上的标签和元素，并从中提取数据。

什么是HTML解析？

超文本标记语言（HTML）是一种用于格式化网站文本的计算语言。除非处于开发者模式，否则你无法看到它，但HTML会在后台向访问的计算机发出指令，告知其如何显示网页文本。

解析器将HTML代码行拆分为更小的部分，并根据其所属类别为其分配相应的标签。根据所使用的解析库不同，您可以采用不同的标记系统，并解析由不同网站编程语言生成的HTML代码。

它们在网页抓取中非常有用，因为它们能让你将庞大且难以阅读的网站分解成易于处理的小块。如果你想了解自己喜欢的网店是如何运作的，不妨从查看它们的HTML代码入手。

什么是语法分析库？

解析库是用于读取、分析和整理网络数据的框架。它们就像钥匙一样，能将代码行转换为各种有价值的输出结果。例如，若要从一个使用 C# 构建的网站中抓取并处理数据，你就需要一个 C# 解析库。

下面，我们将探讨几种在网络爬虫过程中可能用到的最常见编程语言的语法分析库，包括 Java、Python、C# 和 JavaScript。

在 Java 中解析 HTML。

大多数开发者都知道，Java 是一种用于构建 API 和后端系统的流行语言，但很少有人意识到它在编写解析器时也非常实用。目前有几个 Java 解析库正在开发中，包括 Jsoup、Lagarto 和 HTMLCleaner。现在，您可以利用对 Java 语法的了解，使用 C# 和 Node.js 进行网页抓取。对于开发大规模应用程序的开发者而言，这三种工具各具优势。

Jsoup

Jsoup 是一个用于处理真实网页的 Java 库。它提供了一个便捷的 API，可通过最佳的 DOM、CSS 以及类似 jQuery 的方法来提取和处理数据。

Jsoup 基于 jsoup.dom 从头开始实现了 HTMLParser。您可以将该解析器与其他流行的框架（如 Xpath、JQuery 等）配合使用。在编写网页时，只需几行代码，即可轻松将其转换为 XML 文档，从中提取元素，并进一步操作其内容。

拉加托

Lagarto 是一款数据提取工具和网络爬虫。它同时提供 Java 和 JavaScript 实现版本。它能够从 HTML、XML、CSV、JSON 以及 OpenDocument 电子表格文件中提取数据。Lagarto 专为希望完全掌控从非结构化内容中提取信息的开发者而设计。其主要设计目标是开发简便和速度快，但绝不以牺牲性能或正确性为代价。Lagarto 的入门门槛较低，即使是解析经验有限的开发者，也能利用其现有的正则表达式或 CSS 选择器知识，快速上手并构建适用于自定义输入格式的解析器，甚至可以从零开始创建全新的输入格式。

HTMLCleaner

HTMCleaner 是一款 Web 内容解析器，它使用类似 CSS 的语法从 HTML 中提取数据。借助 HTMCleaner，您可以通过多种实用方式对文档进行解析、修改和重新解析。与 Lagarto 或 Jsoup 相比，HTMCleaner 不提供用于自定义解析的 API；它仅用于从 HTML 源代码中提取数据（但其方法更接近 DOM API）。对于那些需要比使用 DOM API 更精细地控制解析过程的开发者而言，这一特性可能是一个优势。HTMCleaner 的主要目的是在保持表现层与结构层（HTML）分离的同时，实现轻松的内容提取。这意味着您可以基于现有的文档结构来构建表现层。

在 Python 中解析 HTML。

目前最流行的 Python 解析库包括 Scrapy、Beautiful Soup 和 lxml。它们各有优缺点，建议根据您的需求进行选择。最佳选择取决于网站的编程语言、动态程度以及需要抓取的页面数量等因素。

废料

Scrapy 功能强大且运行迅速；它支持多种编程语言，如 Python、Java 和 Ruby，但如果你是网络爬虫的新手，编写 Scrapy 爬虫可能会有些棘手。

美丽汤

Beautiful Soup 非常适合初学者，因为它提供了一种使用正则表达式从 HTML 页面中提取数据的简单方法。此外，Beautiful Soup 背后有一个活跃的社区，这使得获得支持变得很容易。

LXML

如果你想要更灵活的解决方案，那么 lxml 是一个绝佳的选择。它是一个基于 C 语言的网页抓取解析器，利用 XPath 和 CSS 选择器实现快速解析。如果您的网站使用 PHP 或 ASP 等语言构建，lxml 可能是个不错的选择。尽管它不像 Beautiful Soup 那样简单易用，但如果您需要实现超出其标准功能范围的操作，可以为 lxml 编写自定义规则。此外，它与 Nokogiri 无缝集成，这使其比 Beautiful Soup 更强大、更灵活。不过，这也需要付出代价——与 BS 或 Scrapy 相比，它的运行速度明显较慢，且学习难度更高。

如果您是网页抓取的新手，我们建议您先尝试使用 Beautiful Soup。等您准备好使用更快、更高级的工具时，不妨试试 Scrapy。如果您（由于某些特定的业务需求）不得不处理 XML 文档，那么使用 XML 解析器会使工作变得更简单。

在 C# 中解析 HTML。

需要注意的是，当您需要为 C# 选择 HTML 解析器时，可选方案寥寥无几，而且它们彼此之间可以互换使用。如果您处理的是现代网页，那么这些库中很可能会有一个能轻松满足您的需求，无需费心费力。但如果您需要从较旧的网站（例如使用 ASP Classic 甚至 JSP 构建的网站）中进行数据挖掘，情况就会变得稍微复杂一些，而且很遗憾，操作起来也会比较麻烦。

AngleSharp

AngleSharp 是一个相对较新的开源项目，当前版本为 1.4.4，同时支持 Web 客户端和 Windows 桌面应用程序。该项目正在积极维护中，功能强大，并提供了一个易于使用的 API。

不过，AngleSharp 目前仍不支持 Silverlight 或 JSP 等较旧的平台，且缺乏其他库所提供的某些额外功能。例如，其框架内并未提供任何内置的 XML 处理功能，这意味着如果 XML 处理对您的应用程序至关重要，您将需要使用另一个解析器来处理这一部分。

HtmlAgilityPack

HtmlAgilityPack 在许多方面与 AngleSharp 相似。它支持跨平台，且维护和开发工作都很活跃。它还提供了许多功能和服务，用户可以通过易于使用的 API 进行调用。它唯一真正的问题是，其文档不如 AngleSharp 的完善，这使得没有解析库使用经验的新手更难弄清楚各项功能的运作原理。此外，它不具备 XML 处理等额外功能。这意味着，如果你需要同时处理来自多个来源的数据，就必须另找一个 XML 解析器。除此之外，HtmlAgilityPack 几乎在所有其他方面都能胜过 AngleSharp，甚至表现更佳；如果你正在寻找一个可靠的 C# HTML 解析器，它绝对值得一试。

在 JavaScript 中解析 HTML。

jQuery

jQuery 能帮助你以非常直观的方式选择、查找和修改 HTML 元素。你可以相当快地上手并开始使用 jQuery；如果你有 jQuery 的使用经验，那么将这些知识应用到 C# 中会非常容易。虽然某些函数的实现比 jQuery 的内置方法需要多花一点功夫，但这就是解析库派上用场的地方！

Node.js

Node.js 是一个基于 Chrome 构建的平台，它允许你在浏览器环境之外运行 JavaScript 代码，这有助于创建命令行工具或解析网站数据。它非常适合在你的计算机上运行网站，但不太适合解析运行在外部服务器（如 Facebook 或亚马逊）上的代码。

对于这些情况，您需要一个能够使用 Java 进行服务器端网页抓取的 API。如果您既需要网页抓取，又需要收集和过滤操作系统信息（例如，根据数据来源进行过滤），那么 Htmlparser2 是理想的选择。它兼具灵活性和高性能。其功能之一还支持调用各种第三方库，当某个问题存在多种解决方案时，这使其在数据处理方面非常实用。