网页抓取确实是节省时间的得力助手，但这只是故事的一半。
它还能让你发家致富。
（附数据）
好吧，这话听起来有点俗气——但这可不是开玩笑——数据就是数字黄金。
（抱歉了，比特币）
但在我们像史高治·麦克鸭一样深入探讨任何二进制“金块”之前，我们应该先简单了解一下网络爬虫的相关知识。我的建议如下：
什么是网络搜索？
网络爬虫是指从互联网上收集数据的行为。（可以理解为“复制粘贴”，但速度更快）
他们使用应用程序或脚本来自动收集数据，剔除任何不必要的信息，并将数据整理到一个库中。
网络爬虫会下载robot.txt文件，以确定可以在网站上访问哪些页面。随后，它们会沿着链接访问新页面，并生成一份列表或“爬取队列”。
这有点像在Spotify上发现喜欢的歌曲时将它们加入播放列表。只不过，网络爬虫的“品味”没那么挑剔，它会把所有内容都加入播放列表。
随着爬虫程序沿着不断增长的列表继续向下爬取，它会分支到不同的页面，直到完成任务。
到底要刮什么呢？
当然是互联网。更具体地说，你可以从网页中收集有价值的信息，这些信息可用于创办和运营企业、为研究项目做出贡献，以及实现繁琐任务的自动化。
其他一些例子包括：
- 你可以浏览新闻和社交媒体动态，了解竞争对手的动向。
- 了解eBay上哪些产品最热门。
- 通过价格聚合功能，提供最优惠的机票价格。
- 扫描可能带来利润的价值差异。
你可以编程让网络爬虫完成你在网上能做的任何事情——而且速度要快上数千倍。
如何获取一个网页爬虫？
你可以从头开始编写自己的数据抓取工具，也可以使用别人已经编写好的工具。如果你不是程序员，那么最好选择像Octoparse这样的工具，这样既能节省时间，又能加快处理速度。
一个已经存在一段时间的例子就是雅虎的 YQL（雅虎查询语言）API。它提供了对多种不同数据源的访问，包括 RSS 订阅源、本地天气预报或电影排片表——任何在网上定期更新的内容，都可以通过这项服务获取，而无需任何额外的编码工作。最棒的是，它不仅限于网页，还可以获取股票行情、社交媒体新闻动态监控或财务报告。
不过这可真是老派了。
以下是一些适用于您浏览器的现代数据抓取扩展程序示例：
1. 数据抓取工具（Chrome）
使用免费版，您每月最多可抓取 500 页数据。虽然数量不多，但如果您需要更多，可以升级到付费套餐。
2. 网页抓取工具
该数据抓取工具同时提供 Chrome 和 Cloud 扩展程序，只需简单地“点击即可”操作，完全不需要任何编程经验。它支持当前的网页语言，并能轻松与自动化软件和代理服务器集成。
3. Scraper（Chrome）
这款软件虽然易于使用，但我建议您具备一定的编程经验。如果您点击表格或列表中的任意文本，然后从浏览器菜单中选择“抓取相似内容”，就可以通过使用XPath或JQuery添加新列来获取信息和内容。
我还可以继续说下去——网上充斥着各种爬虫工具。在选择使用哪一款时，有几点需要考虑：
你有多少时间？这是你经常做的事，还是只做一次？
您的预算是多少？您是否已经拥有像 Google Analytics 这样内置网页爬取功能的软件？既然您需要的功能是免费的，何必多花钱呢？
如何通过网络爬虫真正赚钱
网络爬虫这一广阔领域归根结底取决于一个关键要素：信息。
这些信息可以在各种商业往来中作为一种“货币”使用：
- 直接出售或利用信息
- 支持业务自动化
- 优化贸易与商业
信息交易其实很简单——许多间谍电影的情节都围绕着一个存有重要信息的U盘展开。
那么，自动化和商业方面又如何呢？
换个角度想想：
每一件产品，哪怕是一个像素，都是信息。
1. 创办一家销售信息的公司。
- 财经专家——汇总 影响股市、房地产和加密货币市场的新闻和事件。
- SEO专家——提供关键词研究和内容营销建议。
- 商业顾问——深入剖析行业竞争格局和市场趋势。
在这种情况下，你可以寻找人们已经付费购买的信息，并将其打包成产品。你也可以在自己的网站上免费提供这些信息以吸引流量，或者作为联盟广告进行销售。
2. 作为中介服务的网络爬虫。
- 旅游票价聚合——作为一项服务，从网络上抓取机票、酒店及其他旅游服务的最优价格。这需要对大量旅游网站进行持续的网页抓取，因此您需要使用轮换的住宅代理。您可能已经知道，谷歌会部署“谷歌蜘蛛”（Google Spiders）来为您提供最新的酒店和机票信息。 与此同时，Expedia、Skyscanner 和 Hostelworld 等其他公司则分别在不同的旅游细分领域占据一席之地。
- 证券经纪或对冲基金管理——只要买了第一只股票或加密货币，人人都自诩为投资天才。但任何拥有让投资组合持续盈利记录的人，都深知信息偏见的存在。要想把握全局，拥有大数据至关重要。 获得大数据的唯一途径，就是借助机器人来收集信息，使其不受人类感知这一狭隘过滤器的影响。有了这种支持，你就能成功管理风险——这正是人们愿意为此掏钱的服务（前提是你能把钱连本带利还给他们）。
- 营销与广告——与其 仅仅充当营销机构和企业的信息提供者，不如 成为信息源头。谷歌凭借其Google Analytics再次宣称拥有某种权威地位，而SEMRush和AnswerThePublic等衍生工具则填补了相当大的空白。你可能会认为已经没有可填补的空白了，但事实并非如此。 世间万物在网络上都会被移植和复制，总得有人来梳理这些信息。（当然，要收取合理的费用）
3. 网络爬取热门商品
你要留意市场炒作。这样一来，你的风险就低，回报就高。换句话说，你就不会被套牢，也不必亏本抛售。
- 运动鞋——一个源自球鞋爱好者心中的独特转售行业。限量版运动鞋才是赚钱的门道，某些Yeezy或乔丹鞋甚至能轻松实现10倍的回报。不过，对于初入行者来说，学习曲线相当陡峭——但市面上有大量指南，能帮助你做好准备，从而在球鞋转售中获利。
- 电子产品——像PS5或电脑显卡这样的电子产品非常容易转卖，甚至可以靠此赚取可观的收入。不过，就像运动鞋一样，竞争非常激烈。
- 活动门票——这 或许是转售市场的元老级商品。人们总觉得门票销售存在舞弊，这并非没有道理——事实上确实如此。机器人程序会抢购大部分最抢手的活动门票，然后以高价转卖。
- 非同质化代币（NFT）——有些NFT简直难如登天。这大概是因为一半的出价都来自机器人。在这个例子中，机器人会进行多次出价并参与多次抽奖，以此尽可能多地获取NFT，以便日后在OpenSea、Solanart或DigitalEyes等交易平台上转售，从而赚取惊人的利润。
在上述任何一种情况下，网络爬虫的功能都略有不同。它们仍然会爬取网页并记录数据，但同时还能实现结账流程的自动化。
如果你使用一些代理服务器，就可以增加这些下单次数，从而提高中奖几率。事实上，运行任何自动化软件——无论是机器人还是网页抓取工具——都必须使用代理服务器。否则，一旦你的IP地址被封禁，整个操作就会失败。
结果
单就这些策略而言，每一项都值得投入时间和精力。但如果将它们结合起来，又能带来什么呢？
一种能吞下信息、吐出薪水的机器。
大个儿的。
市场洞察其实就在眼前，但海量的信息却超出了我们的处理能力。虽然我愿意相信我们能像尼奥一样暂时掌控这个“矩阵”，但网络爬虫还是更可靠一些。
只需几秒钟，您就可以：
- 分析当前金融市场的状况
- 识别市场变化和趋势
- 及时了解影响股市和经济形势的国内及国际新闻
- 了解消费者情绪和行为
无论你在网上能做什么，网络爬虫都能以更大规模地完成。
这都要归功于代理。
（代理服务器正是用来隐藏你的行踪，不让史密斯探员察觉的）
