网络搜索是一个真正省时的工具，但这只是故事的一半。
它还能让你致富。
(有数据）
好吧，这有点无趣--但这不是玩笑--数据是数字黄金。
(对不起，比特币）
不过，在我们深入探讨二进制金块之前，我们应该先了解一下网络刮削的一些情况。以下是我的建议：
什么是网络搜索？
网络搜索是指有人从互联网上收集数据。(想想复制和粘贴，但速度更快）
他们使用一个应用程序或脚本来自动收集数据，删除任何不必要的信息，并将其整理到资料库中。
网络抓取程序会下载 robot.txt 文件，以了解网站上可以抓取的内容。然后，它们会跟踪新页面的链接，并编制一个列表或 "抓取队列"。
这有点类似于在发现自己喜欢的歌曲时在 Spotify 上排列播放列表。只不过网络搜刮器的口味没那么讲究，什么都要排队。
当搜索器继续向下搜索不断增长的列表时，它会分支到不同的页面，直到完成任务。
刮的到底是什么？
当然是网络。更具体地说，你可以从网页中收集有价值的信息，这些信息可以用来创业和经营企业，为研究项目做贡献，以及将繁琐的任务自动化。
其他几个例子包括
- 您可以查看新闻和社交媒体，了解竞争对手在做什么。
- 了解 eBay 上的热门产品。
- 通过价格汇总提供最优惠的航空旅行价格。
- 扫描价值差异，从中获利。
你可以给网络刮擦程序编程，让它做任何你在网上能做的事，但速度要快上数千倍。
如何获得网络刮刀？
You could write your own scraper from scratch, or you could use what someone else has already written. If you’re not a coder, then you should probably opt for something like Octoparse that will save time and speed up the process.
雅虎的 YQL（雅虎查询语言）API 就是一个历史悠久的例子。它可以访问多种不同类型的数据源，包括 RSS 源、本地天气预报或电影列表--任何定期在线更新的内容都可以通过这项服务获得，无需额外编码。最棒的是，它不需要局限于网页，还可以获取股票市场报价、社交媒体新闻源监控或财务报告。
不过这也太老派了。
下面是一些用于浏览器的现代搜刮扩展示例：
1. Data Scraper (Chrome)
免费版本每月最多可搜索 500 页数据。这不算多，但如果你想要更多，可以升级到付费计划。
2. Web Scraper
该搜索器有 Chrome 浏览器和云扩展，只需简单点击即可运行，完全不需要编码经验。它适用于当前的网络语言，并可轻松与自动化软件和代理集成。
3. Scraper (Chrome)
这个软件很容易使用，但我建议你有一定的编码经验。如果你点击表格或列表中的任何文本，然后从浏览器菜单中选择 "Scrape Similar"，就可以通过使用 XPath 或 JQuery 添加新列来获取信息和内容。
我还可以继续说下去--网络上到处都是搜索工具。在选择使用哪种工具时，有几件事需要考虑：
您有多少时间？您是经常做这件事，还是只做一次？
您的预算是多少？您是否已经拥有了像 Google Analytics 这样内置网络抓取功能的软件，如果您需要的是免费的，为什么还要多花钱？
如何通过网络搜刮真正赚钱
浩瀚的网络搜索世界可以归结为一个主要成分：信息。
这些信息可以作为一种货币，用于各种形式的商业交流：
- 直接出售或利用信息
- 支持业务自动化
- 优化贸易和商业
信息买卖非常直接--整部间谍电影都围绕着一个装有宝贵信息的优盘展开。
但是，自动化和商务又如何呢？
这样来看
每一件产品，小到一个像素，都是信息。
1.创办一家出售信息的企业。
- 金融大师 - 汇总影响股市、房地产和加密货币的新闻和事件。
- 搜索引擎优化专家 -提供关键词研究和内容营销建议。
- 业务顾问 -深入研究行业竞争和市场趋势。
在这种情况下，你可以寻找人们已经付费购买的信息，并将其包装成产品。您还可以在自己的网站上免费提供这些信息，以获取流量，或将其作为联盟广告出售。
2.作为中间人服务的网络刮削。
- Travel fare aggregation – Scrape the web for the best prices on airfare, hotels, and other travel services as a service. This requires continuous web scraping on multitudes of travel websites, so you’ll need to use rotating residential proxies. As you probably know, Google deploys Google Spiders to bring you the latest on hotels and airfare. Meanwhile, other companies like Expedia, Skyscanner, and Hostelworld capitalize on different travel niches.
- 股票经纪或对冲基金管理--每个人在购买第一支股票或加密货币后，都会成为投资天才。但是，任何有保持投资组合绿色记录的人都很清楚信息偏差。要看清全局，拥有大数据至关重要。而获得大数据的唯一方法就是使用机器人来收集信息，使其不受人类感知的限制。有了这样的支持，您就可以成功地管理风险--这是人们愿意为之付出金钱的服务（如果您能把钱连本带利地还给他们的话）。
- Marketing and advertisement – Instead of just being an informant for marketing agencies and businesses, you can be the source of information. Once again, Google with their Google Analytics claim some sort of authority and offshoots like SEMRush and AnswerThePublic pick up the sizeable slack. You may think there isn’t anymore slack to be had, but that’s just not true. Everything in the world is transplants and multiplies online and someone has to sort all that stuff out. (For a reasonable price, of course)
3.网络搜刮热门项目
你要留意炒作。这样，你的风险就低，回报就高。换句话说，你不会被套牢而亏本卖出。
- Sneakers – A unique resale industry that blossoms from the heart of sneakerheads. The limited-release sneakers are where the money’s at, with an easy 10x return on some Yeezy’s or Jordan’s. However, the learning curve is steep if you’re starting out – but there’s plenty of guides to prime you for profitable sneaker flipping.
- 电子产品 -PS5 或电脑显卡等电子产品很容易转售，甚至可以从中赚取丰厚的利润。就像运动鞋一样，竞争非常激烈。
- 活动门票-- 这可能是最古老的转售物品。门票销售被操纵是有原因的。机器人以高价抢购最珍贵的活动门票。
- Non-fungal tokens or NFTs – Some NFTs are incredibly hard to get your hands on. Probably because half the bids are made by bots. Bots in this example are entering multiple bids and raffle entries in order to secure as many NFTs for themselves to later resell for crazy profit on marketplaces like OpenSea, Solanart or DigitalEyes.
在上述任何一种情况下，网络搜刮的功能都略有不同。它们仍然会抓取网页并记录数据，但也会自动执行结账流程。
If you throw in some proxies, you can multiply these checkouts to increase your chances to win. In fact, it’s absolutely necessary to run any automated software – bots and web scrapers – with proxies. If you don’t, then your whole operation will fail when your IP address is banned.
结果
单独来看，这些策略中的每一个都值得花费时间和精力。但如果把它们结合起来，你会得到什么呢？
某种吃信息、拉工资的机器。
大的
市场洞察力就在你眼前，但庞大的信息量超出了我们的处理极限。虽然我愿意相信我们能暂时驾驭矩阵（就像尼奥一样），但网络搜刮器更可靠一些。
只需几秒钟，您就可以
- 分析金融市场现状
- 确定市场变化和趋势
- 了解影响股票和经济的国内和全球新闻
- 了解消费者情绪和行为
你能在网上做的任何事情，网络清除者都能在更大的范围内做到。
All thanks to proxies.
(代理可以向史密斯特工隐瞒你的存在）。
