网络搜索是一个真正省时的工具，但这只是故事的一半。
它还能让你致富。
(有数据）
好吧，这有点无趣--但这不是玩笑--数据是数字黄金。
(对不起，比特币）
But before we Scrooge McDuck dive into any binary nuggets, we should gloss over a few things web scraping. Here’s what I propose:
我将开门见山地告诉你什么是网络刮分，以及它如何让你赚得盆满钵满。(素食友好）。
什么是网络搜索？
网络搜索是指有人从互联网上收集数据。(想想复制和粘贴，但速度更快）
他们使用一个应用程序或脚本来自动收集数据，删除任何不必要的信息，并将其整理到资料库中。
网络抓取程序会下载 robot.txt 文件，以了解网站上可以抓取的内容。然后，它们会跟踪新页面的链接，并编制一个列表或 "抓取队列"。
这有点类似于在发现自己喜欢的歌曲时在 Spotify 上排列播放列表。只不过网络搜刮器的口味没那么讲究，什么都要排队。
当搜索器继续向下搜索不断增长的列表时，它会分支到不同的页面，直到完成任务。
刮的到底是什么？
当然是网络。更具体地说，你可以从网页中收集有价值的信息，这些信息可以用来创业和经营企业，为研究项目做贡献，以及将繁琐的任务自动化。
其他几个例子包括
- 您可以查看新闻和社交媒体，了解竞争对手在做什么。
- 了解 eBay 上的热门产品。
- 通过价格汇总提供最优惠的航空旅行价格。
- 扫描价值差异，从中获利。
你可以给网络刮擦程序编程，让它做任何你在网上能做的事，但速度要快上数千倍。
如何获得网络刮刀？
你可以从头开始编写自己的 scraper，也可以使用别人已经编写好的 scraper。如果你不是一个程序员，那么你可能应该选择像Octoparse这样的工具，它可以节省时间并加快进程。
雅虎的 YQL（雅虎查询语言）API 就是一个历史悠久的例子。它可以访问多种不同类型的数据源，包括 RSS 源、本地天气预报或电影列表--任何定期在线更新的内容都可以通过这项服务获得，无需额外编码。最棒的是，它不需要局限于网页，还可以获取股票市场报价、社交媒体新闻源监控或财务报告。
不过这也太老派了。
下面是一些用于浏览器的现代搜刮扩展示例：
1.数据抓取器（Chrome 浏览器）
免费版本每月最多可搜索 500 页数据。这不算多，但如果你想要更多，可以升级到付费计划。
2.网络抓取器
该搜索器有 Chrome 浏览器和云扩展，只需简单点击即可运行，完全不需要编码经验。它适用于当前的网络语言，并可轻松与自动化软件和代理集成。
3.刮刀（铬）
这个软件很容易使用，但我建议你有一定的编码经验。如果你点击表格或列表中的任何文本，然后从浏览器菜单中选择 "Scrape Similar"，就可以通过使用 XPath 或 JQuery 添加新列来获取信息和内容。
我还可以继续说下去--网络上到处都是搜索工具。在选择使用哪种工具时，有几件事需要考虑：
您有多少时间？您是经常做这件事，还是只做一次？
您的预算是多少？您是否已经拥有了像 Google Analytics 这样内置网络抓取功能的软件，如果您需要的是免费的，为什么还要多花钱？
如何通过网络搜刮真正赚钱
浩瀚的网络搜索世界可以归结为一个主要成分：信息。
这些信息可以作为一种货币，用于各种形式的商业交流：
- 直接出售或利用信息
- 支持业务自动化
- 优化贸易和商业
信息买卖非常直接--整部间谍电影都围绕着一个装有宝贵信息的优盘展开。
但是，自动化和商务又如何呢？
这样来看
每一件产品，小到一个像素，都是信息。
1.创办一家出售信息的企业。
- 金融大师 - 汇总影响股市、房地产和加密货币的新闻和事件。
- 搜索引擎优化专家 -提供关键词研究和内容营销建议。
- 业务顾问 -深入研究行业竞争和市场趋势。
在这种情况下，你可以寻找人们已经付费购买的信息，并将其包装成产品。您还可以在自己的网站上免费提供这些信息，以获取流量，或将其作为联盟广告出售。
2.作为中间人服务的网络刮削。
- 旅游票价聚合 -在网上搜索机票、酒店和其他旅游服务的最优惠价格。这需要在众多旅游网站上进行持续的网络搜索，因此您需要使用轮流居住代理。你可能知道，Google 通过 Google Spiders为你提供最新的酒店和机票信息。与此同时，Expedia、Skyscanner 和Hostelworld等其他公司也在利用不同的旅游利基市场。
- 股票经纪或对冲基金管理--每个人在购买第一支股票或加密货币后，都会成为投资天才。但是，任何有保持投资组合绿色记录的人都很清楚信息偏差。要看清全局，拥有大数据至关重要。而获得大数据的唯一方法就是使用机器人来收集信息，使其不受人类感知的限制。有了这样的支持，您就可以成功地管理风险--这是人们愿意为之付出金钱的服务（如果您能把钱连本带利地还给他们的话）。
- 营销和广告-- 你可以成为信息来源，而不仅仅是营销机构和企业的信息提供者。同样，谷歌及其谷歌分析系统（GoogleAnalytics）声称具有某种权威性，而SEMRush和AnswerThePublic等分支机构则承担了相当大的责任。你可能会认为已经没有什么可利用的了，但事实并非如此。世界上所有的东西都在网上移植和繁殖，必须有人把这些东西整理出来。(当然，价格要合理）
3.网络搜刮热门项目
你要留意炒作。这样，你的风险就低，回报就高。换句话说，你不会被套牢而亏本卖出。
- 运动鞋 -一个独特的转售行业，从运动鞋爱好者的心中绽放。限量发售的运动鞋是赚钱的地方，一些 Yeezy 或 Jordan 运动鞋可以轻松获得 10 倍的回报。不过，初学者的学习曲线比较陡峭--但有很多指南 可以让你轻松炒卖球鞋，从中获利。
- 电子产品 -PS5 或电脑显卡等电子产品很容易转售，甚至可以从中赚取丰厚的利润。就像运动鞋一样，竞争非常激烈。
- 活动门票-- 这可能是最古老的转售物品。门票销售被操纵是有原因的。机器人以高价抢购最珍贵的活动门票。
- 非真菌代币或 NFT -有些 NFT 难以获得。这可能是因为有一半的出价是由机器人完成的。在这个例子中，机器人通过多次竞价和抽奖，为自己获得尽可能多的 NFT，然后在OpenSea、Solanart或 DigitalEyes 等市场上疯狂转售。
在上述任何一种情况下，网络搜刮的功能都略有不同。它们仍然会抓取网页并记录数据，但也会自动执行结账流程。
如果您使用代理服务器，您就可以成倍增加结帐次数，从而增加获胜的机会。事实上，使用代理运行任何自动软件--机器人和网络搜刮器--都是绝对必要的。否则，当您的 IP 地址被禁止时，您的整个操作就会失败。
结果
单独来看，这些策略中的每一个都值得花费时间和精力。但如果把它们结合起来，你会得到什么呢？
某种吃信息、拉工资的机器。
大的
市场洞察力就在你眼前，但庞大的信息量超出了我们的处理极限。虽然我愿意相信我们能暂时驾驭矩阵（就像尼奥一样），但网络搜刮器更可靠一些。
只需几秒钟，您就可以
- 分析金融市场现状
- 确定市场变化和趋势
- 了解影响股票和经济的国内和全球新闻
- 了解消费者情绪和行为
你能在网上做的任何事情，网络清除者都能在更大的范围内做到。
这一切都要归功于代理。
(代理可以向史密斯特工隐瞒你的存在）。
