有成千上万个解析库。哪些库最适合解析网站的 html？
您可能已经知道如何使用 html 在网站上显示内容，但您是否知道有一些工具可以在不编写任何代码的情况下提取所需的数据？从提取页面标题和元描述，到识别图片、链接，甚至电话号码和电子邮件地址，这些库都能做到，而你几乎不需要付出额外的努力。
本文将介绍顶级解析库，并根据您要解析的内容类型和网站使用的编程语言给出建议。
什么是解析？
解析是句法分析的另一个词，或者说是分析句子部分内容的过程，在我们的例子中就是一串代码。 如果你在解析 html，你就是在分析网页上的标签和元素，并从中提取数据。
什么是 html 解析？
超文本标记语言（html）是一种用于格式化网站文本的计算语言。除非在开发模式下，否则你看不到它，但 html 在后台向访问的计算机发出如何显示网页文本的指令。
解析器会将 HTML 行分解成更小的部分，并为它们分配相应类别的标签。根据您使用的解析库，您可以使用不同的标签系统，解析来自不同网站编程语言的 html。
它们在网络搜刮中非常有用，因为它们可以让你将庞大、难以阅读的网站分割成一小块一小块的部分。如果你想弄清自己喜欢的商店是如何运作的，不妨从它们的 html 开始。
什么是解析库？
解析库是用于读取、分析和组织网络数据的框架。它们就像一把钥匙，能将一行行代码转化为各种有价值的输出。例如，你需要一个 C# 解析库来从一个使用 C# 构建的网站中抓取和处理数据。
下面，我们将研究几种最常见编程语言的解析库，包括 Java、Python、C# 和 JavaScript。
用 Java 解析 html
大多数开发人员都知道 Java 是构建应用程序接口和后端系统的常用语言，但很少有人意识到它在编写解析器时也能派上用场。目前正在开发几个 Java 解析库，包括 Jsoup、Lagarto 和 HTMLCleaner。现在，您可以利用 Java 语法知识，使用 C# 和 Node.js 运行网络刮擦。对于构建大型应用程序的开发人员来说，这两种语言都具有明显的优势。
Jsoup
Jsoup 是一个用于处理真实网页的 Java 库。它提供了一个方便的 API，可使用最佳 DOM、CSS 和类似 jquery 的方法提取和处理数据。
Jsoup 在 jsoup.dom 的基础上实现了 HTMLParser。您可以将该解析器与 Xpath、JQuery 等其他流行框架一起使用。在编写网页时，您只需几行代码就能轻松地将其转换为 XML 文档，从中提取元素并进一步处理其内容。
拉加尔托
Lagarto 是一款数据提取工具和网络爬虫。它有 java 和 javascript 两种实现方式。它可以从 HTML、XML、CSV、JSON 和 OpenDocument 电子表格文件中提取数据。Lagarto 适用于希望完全控制从非结构化内容中提取信息的开发人员。设计的主要目标是简化和加快开发速度，但不以牺牲性能或正确性为代价。Lagarto 的入门门槛很低，只需利用现有的正则表达式或 CSS 选择器知识，就能为自定义输入格式构建自己的解析器，甚至从头开始创建全新的输入格式，让解析经验有限的开发人员也能轻松上手。
HTMLCleaner
HTMCleaner 是一款网页内容解析器，它使用类似 CSS 的语法从 html 中提取数据。使用 HTMCleaner，你可以通过多种有价值的方式解析、修改和重新解析文档。 与 Lagarto 或 Jsoup 相比，HTMCleaner 不提供用于自定义解析的 API；它只能从 html 源代码中提取数据（但其方法更类似于 DOM API）。对于需要对解析过程进行更多控制而不是使用 DOM API 的开发人员来说，这一特性可能是一个优势。HTMLCleaner 的主要目的是允许轻松提取内容，同时保持表现形式与结构（html）之间的分离。这意味着您可以在现有文档结构的基础上构建表现层。
用 Python 解析 html。
当今最流行的 Python 解析库是Scrapy、BeautifulSoup 和lxml。它们各有优缺点；您需要根据自己的需求选择一个。最佳选择取决于您的网站是用什么语言编写的、动态程度如何、需要抓取多少页面等。
废料
Scrapy 功能强大、速度快，支持 Python、Java 和 Ruby 等多种编程语言，但如果你是网络刮擦新手，为 Scrapy 编写蜘蛛程序可能会很棘手。
美丽汤
Beautiful Soup 非常适合初学者，因为它提供了一种使用正则表达式从 HTML 页面提取数据的简单方法。此外，Beautiful Soup 背后还有一个活跃的社区，可以轻松获得支持。
LXML
如果你需要更灵活的工具，那么 lxml 是一个很好的选择。它是一个基于 C 语言的网络搜刮解析器，使用 XPath 和 CSS 选择器进行快速解析。如果你的网站是用 PHP 或 ASP 等语言构建的，那么 lxml 也许是个不错的选择。尽管它不像 Beautiful Soup 那样简单，但如果你需要实现超出其标准功能范围的功能，你可以为 lxml 编写自定义规则。此外，它还能与 Nokogiri 无缝集成，这使得它比 Beautiful Soup 更强大、用途更广泛。不过，它也是有代价的--与 BS 或 Scrapy 相比，它的学习速度明显更慢，难度也更大。
如果你是网络搜刮新手，我们建议你先试用 Beautiful Soup。当你准备好使用更快、更先进的工具时，可以试试 Scrapy。如果你别无选择，只能使用 XML 文档（因为某些特殊的业务需求），那么使用 XML 解析器可以简化工作。
用 C# 解析 html。
需要注意的是，当你需要 C# 的 html 解析器时，只有几种选择，而且它们都可以互换。如果你要处理的是现代网页，那么这些库中的一个很有可能就能满足你的需求，而不会有任何麻烦。如果您的工作是从旧版网站（如使用 ASP Classic 甚至 JSP 构建的网站）中进行数据挖掘，那么情况就会变得复杂一些，而且不幸的是，也会变得棘手。
角度锐
AngleSharp 是一个相对较新的开源项目，版本为 1.4.4，为网络客户端和 Windows 桌面应用程序提供跨平台支持。它得到了积极的维护，拥有一套强大的功能，并配备了易于使用的 API。
不过，AngleSharp 仍然不支持 Silverlight 或 JSP 等旧平台，也没有其他库提供的一些额外功能。例如，AngleSharp 没有在其框架内为 XML 提供任何内置处理功能，这意味着如果您的应用程序需要处理 XML，您需要另一个解析器来处理这方面的问题。
HtmlAgilityPack
HtmlAgilityPack 在许多方面与 AngleSharp 相似。它跨平台、维护积极、开发活跃。它还提供了许多功能和服务，你可以通过简单易用的 API 访问这些功能和服务。它唯一的问题是文档没有 AngleSharp 那么强大，如果新用户没有解析库方面的经验，就很难弄清一切是如何工作的。此外，它还不具备任何额外功能，如 XML 处理。这意味着，如果你想同时处理多个来源的数据，就需要另一个 XML 解析器。除此之外，HtmlAgilityPack 还能完成其他几乎所有工作，甚至比 AngleSharp 做得更好，如果你正在寻找一款可靠的 C# html 解析器，HtmlAgilityPack 绝对值得你一试。
用 JavaScript 解析 html。
jQuery
jQuery 可以帮助你以非常易读的方式选择、查找和更改 HTML 元素。你可以很快上手并运行 jQuery；如果你来自 jQuery，很容易将你的知识转化为 C#。有些功能需要比jQuery内置方法更多的努力，但这正是解析库的用武之地！
Node.js
Node.js 是建立在 Chrome 浏览器上的一个平台，它允许你在浏览器环境之外运行 JavaScript 代码，这有助于创建命令行工具或解析网站数据。它非常适合在电脑上运行网站，但不太适合解析在外部服务器（如 Facebook 或亚马逊）上运行的代码。
在这种情况下，你需要一个能用 Java 进行服务器端网络抓取的 API。如果您既需要网络抓取，又需要操作系统信息收集和过滤（例如，根据数据来源过滤数据），那么 Htmlparser2 就是您的理想选择。它具有灵活性和高性能。它的一个功能还允许访问各种第三方库，因此当一个问题可能有不止一种解决方案时，它在数据处理中就非常有用。
加油
与 jQuery 不同，Cheerio 是一个更精简的框架，只需编写更少的代码就能完成很多任务。它不包含太多的功能，但包括异步 Ajax 引擎和缓存支持（非常方便）、轻松添加回调和事件处理程序等。如果你正在寻找快速但功能强大的框架，那么这个轻量级框架是个不错的选择。
除此之外，它还支持客户端模板，用户可以通过它对数据进行实时过滤。有一些插件可用于处理模板中的 CSS 选择器，这样用户就可以轻松地以相关方式格式化输出，并与大多数解析库兼容。
代理轮换，方便数据收集。
虽然您只需使用一个住宅代理就能完成一些网络搜刮工作，但在很多情况下需要使用多个代理。如果您需要访问多个 URL 或查询不同的内部搜索引擎，使用多个代理可确保您的搜索不会触发全站禁止。另一种情况是，您需要持续从同一目标搜刮数据。代理轮换每次都从一个新的 IP 地址发送请求，有助于避免触发禁令。
For high-quality IP rotation of the fastest and most reliable residential proxies, contact the IPBurger team.
