什么是刮屏？这里为您解答所有问题。
在现代社会，我们越来越依赖屏幕来提供所需的信息。
无论是手机、电脑还是电视，我们都习惯于从屏幕上获取新闻、娱乐甚至工作信息。
但是，如果屏幕上的信息已经过时，甚至是错误的，该怎么办呢？这就是屏幕扫描的用武之地。
屏幕抓取是从屏幕上提取数据，无论是网站、软件程序还是 PDF。虽然听起来很复杂，但实际上非常简单。
因此，无论你是想从一个没有 API 的网站获取信息，还是想从一个没有源代码的软件程序中提取数据，屏幕刮擦都是一个有用的工具。
什么是刮屏？
屏幕抓取是从网页中提取数据的过程。它可以手动完成，但通常使用脚本或程序。
在计算机领域，屏幕抓取是从不打算由计算机访问或读取的源中提取数据。它与数据挖掘类似，但不是从数据库中提取数据，而是从用户界面（如网页或 PDF 文档）中提取数据。
屏幕刮擦通常用于访问无法通过应用程序接口获取的数据，例如来自没有应用程序接口的网站的数据。它还可用于访问付费墙或登录后的数据。
屏幕搜刮的三个主要组成部分是网页搜刮、数据搜刮和文本搜刮。
- 网络搜索是从网站中提取信息的过程。
- 数据搜刮是指从非人类访问或使用的来源（如数据库）中提取数据。
- 文本搜索是从非人类访问或使用的来源（如电子邮件）中提取文本。
屏幕搜索与数据搜索：三大关键区别。
1.屏幕抓取是从网站的 HTML 代码中提取数据。相比之下，数据搜刮是指从任何来源（包括网站、数据库和文档）提取数据。
2.屏幕刮擦通常由人工完成，而数据刮擦则可以使用工具和软件自动完成。
3.屏幕搜刮可以从搜刮者无意访问或使用的网站中提取数据，而数据搜刮则可用于从任何公开来源中提取数据。
屏幕搜索与网络搜索。
网页抓取和屏幕抓取之间有细微的差别。网页抓取指的是从网站上提取数据，而屏幕抓取指的是从计算机屏幕上提取数据。网络搜刮通常更常见，是指从网站上提取数据。
为什么屏幕刮擦有用？
当没有其他方法来访问所需数据时，屏幕刮擦就能派上用场。例如，如果一个网站没有 API 或其他访问数据的方法，就可以使用屏幕刮擦来获取数据。
如何刮屏？
屏幕抓取是从网站中提取数据的过程。可以通过手动方式将数据从网站复制并粘贴到电子表格或数据库中，也可以使用屏幕抓取工具自动完成。
有哪些常见的屏幕刮擦工具？
There are many common screen scraping tools, including web scraping services like Scrapy and import.io and browser extensions like Data Miner and Web Scraper.
如何合乎道德地使用屏幕刮擦技术？
有几种方法可以合乎道德地使用屏幕刮擦：
- 用它来收集你有权访问的公开数据：屏幕刮擦可用于收集公众可获得的数据，如公共网站的数据。这种类型的数据搜刮是合法和合乎道德的。
- 用于收集个人使用的数据：屏幕刮擦也可用于个人用途。例如，您可以使用屏幕搜刮来收集有关您正在考虑购买的产品的数据。这种类型的数据搜刮是合法和合乎道德的。
- 用于收集研究数据： 屏幕刮擦可用于为研究目的收集数据。例如，你可以使用屏幕刮擦来收集有关网站如何设计或用户如何交互的数据。这种类型的数据挖掘是合法和合乎道德的。
如何不道德地使用屏幕刮擦技术？
屏幕刮擦的使用可能是不道德的，如未经所有者许可提取数据，使用自动化手段过于频繁地从网站请求数据，从而导致网站超载，或者刮擦受版权保护的数据。
有哪些常见的屏幕刮擦法律？
一些常见的屏幕刮擦法律包括《计算机欺诈和滥用法》、《数字千年版权法》和《垃圾邮件法》。
计算机欺诈和滥用法》 （CFAA）是一部禁止未经授权访问计算机或计算机网络的联邦法律。CFAA 还禁止未经授权使用计算机或网络实施欺诈或其他犯罪。CFAA 规定了刑事和民事处罚。
数字千年版权法》 （DMCA）是美国的一部版权法，为数字时代的版权保护建立了一个框架。它于 1998 年 10 月 28 日颁布，2000 年 10 月 28 日生效。
数字千年版权法》修订了《美国法典》中管辖美国版权法的第 17 篇。数字千年版权法》为在线服务提供商创建了一种新的版权保护形式，称为 "安全港"。
如果服务提供商采取某些措施防止或减少其系统上的侵权行为，安全港可保护服务提供商免于承担版权侵权责任。
要获得安全港保护，服务提供商必须指定一名代理人接收侵权通知，并采取和实施终止重复侵权者账户的政策。
数字千年版权法》还新增了一项名为 "规避版权保护系统 "的罪行，禁止规避控制版权作品访问的技术措施。
DMCA 规定，制造、销售或分发旨在规避版权保护系统的设备或服务均属非法行为。
包括图书馆和信息科学专业人士在内的各种团体对《数字千年版权法》提出了批评，认为它损害了信息的获取。
CAN-SPAM 法案》是一部为商业电子邮件制定规则的法律，规定了对商业信息的要求，赋予客户要求您停止向其发送电子邮件的权利，并对违规行为规定了严厉的惩罚措施。
如何防止屏幕刮伤
虽然没有万无一失的方法来防止屏幕刮擦，但可以采取一些措施来增加难度：
1.使用验证码
CAPTCHAs（区分计算机和人类的完全自动化公共图灵测试）是一种挑战-响应测试，可用于验证用户是否为人类。它们通常由一个扭曲的文本图像组成，人类可以轻松读取，但计算机却无法读取。
2.使用登录系统
登录系统可用于限制访问付费墙后的内容，或只供注册用户访问的内容。
3.使用蜜罐
蜜罐是对用户隐藏的信息，但机器人很容易发现。这可以诱使机器人暴露自己，然后就可以阻止它们。
4.使用速率限制
速率限制是一种用于限制来自单个 IP 地址的流量的措施。这可用于防止机器人在短时间内发出过多请求。
有哪些常见的屏幕刮擦最佳实践？
- 使用专用的屏幕抓取工具： 屏幕抓取工具旨在从网页中提取数据。它具有使提取过程更简单、更准确的功能，如处理 AJAX 和 Javascript 以及自动填写表格字段。
- 使用最高质量的源数据：源数据应格式规范、准确无误。避免使用已知存在错误的网站或经常更新的网站（如天气网站）的数据。
- 测试、测试、测试： 始终在少量数据样本上测试你的屏幕刮擦代码，以确保其工作符合预期。
- 代理轮换： 防止 IP 禁止的最简单方法是使用轮换的住宅代理。
- 刮擦数据时要尊重他人： 务必尊重网站的服务条款和搜刮政策。
有哪些常见的屏幕刮擦难题？
一些常见的屏幕刮擦难题包括
- 捕捉以非标准格式显示的数据
- 处理动态生成的页面
- 处理身份验证和 cookie
- 避免被网络服务器屏蔽
如何克服网络服务器的 IP 禁止。
The three ways to avoid being blocked by web servers while screen scraping is using a VPN, a proxy server, or a TOR browser.
使用代理服务器避免被网络服务器封杀是一种常见的技术。使用代理可以通过不同的 IP 地址路由流量，从而避免被网络服务器禁止。
在进行屏幕刮擦时，必须使用轮流居住的代理，以避免被检测和阻止。每次请求都使用不同的代理会使网站更难跟踪和阻止你的活动。此外，使用住宅代理还能确保您的 IP 地址不会被列入黑名单。
