用 R 简化网络抓取，实现商业洞察

在数据丰富的数字世界中穿梭，需要一些精明的工具，尤其是当你想从浩瀚的互联网中获取金矿般的信息时。网络搜刮是我们不知道的英雄，它是提取数据瑰宝并将其打磨成可操作见解的完美工具。现在，如果一提到网络搜刮就会联想到编码魔法和 Python 的神秘咒语，那么请抓紧你们的帽子。我们将绕道进入 R 的世界。

Why R, you ask? Imagine R as the cool, slightly nerdy cousin of Python who knows all about data. It’s not just for statisticians anymore. With its powerhouse libraries designed for web scraping, R is optimal for data extraction, minus the complexity.

在本教程中，我们将用 R 进行一次数据探险，从静态页面的宁静山谷到动态网站的繁华都市。无论你是经验丰富的数据分析师，还是充满好奇心的新手，都请带上你的装备。我们将用 R 来简化网页抓取，让所有人都能使用它。让我们一起潜入数字世界的深处，发掘隐藏在其中的宝藏。

安装要点：R 和 RStudio

在开始探索数字海洋之前，我们需要建造自己的船。这就是 R 和 RStudio。下面介绍如何使用这些工具：

安装 R

R is our foundation, the base layer of our scraping toolkit. Head over to CRAN (the Comprehensive R Archive Network) to download the latest version of R. Choose the version compatible with your operating system. If you’re a fan of shortcuts and using macOS or Windows, consider using package managers:

• macOS：打开终端，运行 "brew install r"。

• 视窗：启动 PowerShell 并运行 "choco install r.project"。

启航

安装完成后，启动 RStudio。它就是你这次探险的驾驶舱。界面乍一看可能令人生畏，但不用担心，它比看上去更友好。

召集你的团队安装图书馆

No captain can sail alone. We need a crew, and in our case, that’s the rvest and dplyr libraries. These tools are the muscles and brains behind our web scraping with r operation.

1.通过 RStudio 进行招聘

• 导航至 RStudio 中的 "软件包 "选项卡。

• 点击 "安装"。

• In the Install Packages dialog, type rvest, dplyr.

• 点击 "安装"，然后看着 RStudio 为你带来新成员。

2.命令行征兵

如果您喜欢直接的方式，可以用以下方式召唤您的图书馆：

install.packages ("rvest")

install.packages ("dplyr")

为什么选择这些图书馆？

• rvest"就是你的鱼叉，专门用来锁定网页并提取数据。

• dplyr"是你的导航器，帮助你轻松组织和操作数据。

安装好 R 和 RStudio，准备好各种库，你就可以开始用 R 进行网络搜索了。不过，在出发之前，我们先来了解一下这些工具之所以能如此强大的基本原理。在接下来的章节中，我们将深入探讨使用 R 提取数据的艺术，敬请期待。

设置课程：使用 rvest 进行网络抓取

现在，我们的船已经造好，我们的船员也已经上船，是时候扬帆起航，驶入浩瀚的数据海洋了。rvest"图书馆将成为我们的指南针和地图，指引我们穿越网页的险滩，找到我们的宝藏：数据。

1.发现海岸：发送 GET 请求

我们的旅程始于心中的目的地。对于使用 r 进行网页搜刮来说，目的地就是我们想要探索的网页的 URL。我们的目标是一个包含有价值数据的网页--把它想象成一个充满宝藏的小岛。我们使用 "rvest"发送一个 GET 请求，这就好比在岸边抛锚：

library(rvest)

link <- "https://en.wikipedia.org/wiki/List_of_ISO_3166_country_codes"

page <- read_html(link)

2.导航地形：解析 HTML 内容

网页已经加载到我们的飞船上，现在是浏览其结构的时候了。网页由 HTML 组成，是一系列嵌套的元素，就像一个又一个的宝箱。我们的目标是找到装有宝藏的箱子。

rvest"允许我们指定对页面的哪些部分感兴趣。比方说，我们需要一个国家代码表。我们可以使用 CSS 选择器或 XPath 来确定目标：

table <- page %>%

 html_element(css = "table.wikitable") %>%

 html_table()

该命令将获取表格，打开箱子，显示里面的珠宝（数据）。

3.收集战利品：提取数据

现在我们有了自己的桌子，但我们的宝藏却混杂着沙子。我们需要对其进行筛选，只提取精华。使用 "rvest"，我们可以细化搜索，针对特定的行和列，提取出我们最看重的数据。

codes <- table %>%

 dplyr::select(Country, Code) %>%

 slice(1:10)

在此，我们选择国家和代码列的前十个条目，将最容易获取的宝藏收入囊中。

4.设置 Rvest 代理（可选）

有时，我们的探索可能会惊动岛上的守卫。为了避免被发现，我们可以使用代理。虽然 "rvest"不能直接处理代理，但我们可以在 R 中设置代理：

Sys.setenv(http_proxy = "http://proxyserver:port")

This line tells R to route our requests through a proxy server, disguising our ship as a local fishing boat.

What do the perfect proxies for web scraping with r cost? Check prices here.

我们的探险不会止步于静态网页。许多岛屿（网站）都使用魔法（JavaScript）来隐藏它们的宝藏，只有懂得正确咒语的人才能看到它们。对于动态显示的内容，我们需要采用不同的策略，下一节我们将探讨这些策略。

Embarking on a web scraping with R and ‘rvest‘ journey unlocks a world of data at your fingertips. Whether it’s static pages filled with tables or dynamic content hidden behind JavaScript, the treasure of knowledge is yours for the taking. Ready to navigate the data-rich seas? IPBurger’s proxies can provide the cover of night, ensuring your scraping adventure goes undetected. Set sail with us, and let’s uncover the internet’s hidden treasures together.

驾驭动态海洋：用 R 搜索 JavaScript 渲染的内容

迄今为止，我们在使用 r 进行网页抓取时，已经涉足了静态网页的平静水域。但是，数字海洋是广阔的，其中有一些区域的水域是动态的，在 JavaScript 的波涛背后隐藏着宝藏。不用担心，只要通过一些巧妙的导航，这些难以捉摸的宝藏也会在我们的触手可及之处。

1.了解挑战

动态网站通常会根据用户操作或从服务器获取数据后即时加载内容。依赖于初始 HTML 源的传统刮擦方法可能会发现这些水域很浑浊。但是，有了正确的工具，我们就能找到解决之道。

2.发现隐藏的 API：海盗的望远镜

许多动态网站都从 API（应用程序接口）中获取数据。只要有一双敏锐的眼睛，我们就能利用浏览器的开发工具发现这些隐藏的 API。通过这种方法，我们可以直接访问数据，而无需与 JavaScript 渲染的页面进行交互。

# Example: Discovering an API endpoint

# Not actual R code – just illustrative

"https://example.com/api/data?page=1"

通过监控与网站交互时的网络流量，我们可以发现这些 API 调用，并利用它们直接获取数据。

3.RSelenium：航行在充满活力的水域

对于无法找到应用程序接口的网站，我们会求助于 RSelenium。RSelenium 允许我们以编程方式控制网络浏览器，使 R 能够像用户一样在网络上执行操作。这样，我们就可以浏览网页、与元素交互，并抓取动态加载的内容。

# Setting sail with RSelenium

library(RSelenium)

driver <- rsDriver(browser = "chrome")

remote_driver <- driver[["client"]]

remote_driver$navigate("https://example-dynamic-site.com")

4.从深海中提取数据

一旦 RSelenium 将动态内容显示出来，我们就可以使用 rvest 来提取数据，从而结合这两种工具的优势来访问全方位的网络宝藏。

# Extracting data with rvest after loading with RSelenium

html_content <- remote_driver$getPageSource()[[1]]

page <- read_html(html_content)

data <- page %>% html_node("selector") %>% html_text()

5.道德导航的重要性

当我们涉足这些动态领域时，道德导航至关重要。始终尊重网站的 robots.txt 规则和服务条款。将其视为互联网的海盗守则--与其说是规则，不如说是 "指南"，但仍需遵守。

装备您的船舶，应对动态海况

Ready to tackle the dynamic challenges of web scraping with r? With IPBurger’s proxies, you can ensure your scraping activities remain undetected, maintaining your stealth as you navigate through both static and dynamic content. Upgrade your scraping toolkit with IPBurger and RSelenium, and let no data treasure, static or dynamic, remain beyond your reach.

描绘新领域：实际用途与道德指南针

R 能带你去哪里？

• • Market Intelligence: It’s like having X-ray vision. Peek into competitors’ strategies, pricing, and what the crowd’s cheering or booing at. It’s not about copying homework –– it’s about being smart and staying ahead.

• • Social Media Analysis: Ever wanted to know what the world thinks about, well, anything? Scrape social platforms, and voilà, you have a goldmine of public opinion at your fingertips. Just remember, with great data comes great responsibility.

• • Academic Research: For the scholars among us, web scraping is like having an army of robots combing through digital archives, fetching data that fuels groundbreaking research. It’s about making those late-night library sessions a thing of the past.

• • Lead Generation: Imagine fishing where you know the fish are biting. Scrape contact info and leads from across the web. Just ensure you’re not spamming; nobody likes a spammer.

• • Content Aggregation: For content creators, it’s about keeping your finger on the pulse. Aggregate news, blog posts, and videos, providing your audience with the freshest, most relevant content. It’s like being a DJ for information.

荣誉起航道德准则

使用 r 进行网络搜刮功能强大，但我们不要变成数字海盗。以下是如何保持道德指南针指向北方的方法：

• Privacy is King: Don’t be creepy. Steer clear of personal data unless you’ve got explicit permission. Think of it as being a respectful guest at a party.

• Legality: Different waters, different rules. Make sure you’re not crossing into forbidden seas by keeping abreast of laws like GDPR.

• Robots.txt: This little file is like the doorman of a website, telling you which doors are open and which are off-limits. Respect the doorman.

• Don’t Rock the Boat: Bombarding a site with requests is bad manners. Space out your scraping to keep websites happy and functioning.

• Give Credit: Found something useful? Tip your hat to the source. It’s about building a community, not just taking from it.

精准导航，目标明确

Web scraping with R, powered by IPBurger’s stealth and speed, opens up a universe of data. Whether you’re in it for insights, research, or creating connections, remember to sail these digital seas with respect and integrity. Ready to harness the power of R for web scraping? Keep it smart, keep it ethical, and let the adventures begin. Get proxies now.

超越抓取：分析和可视化数据

恭喜您，您已经用 R 浏览了波涛汹涌的网络，但您的旅程并没有就此结束。当你把辛苦得来的数据转化为可操作的洞察力时，真正的冒险才刚刚开始。就像把矿石变成黄金一样。

将数据转化为洞察力

• Clean and Prepare: Your data might look like a treasure chest after a storm—valuable but in disarray. Use dplyr to tidy up. Filter out the noise, select the gems, and arrange your findings. It’s like preparing the main ingredients for a gourmet meal.

• Analyze for Patterns: With your data shipshape, it’s time to dive deeper. Looking for trends, anomalies, or correlations? Functions in dplyr and statistical tests in base R can help you uncover the story your data is eager to tell.

• The Power of Prediction: Got a grasp on the current state? Why not predict future trends? Packages like forecast and prophet allow you to use your current data to forecast future possibilities. It’s like having a crystal ball, but backed by science.

让数据栩栩如生：可视化

一张图片胜过千言万语，在数据领域，这一点再正确不过了。可视化不仅能使您的发现易于消化，还能揭示您可能忽略的隐藏模式。

• ggplot2: The Artist’s Palette: Part of the tidyverse, ggplot2 is your go-to for crafting stunning, informative visualizations. Whether it’s histograms, scatter plots, or line charts, ggplot2 turns your data into visual stories. Imagine painting where your brush strokes are your data points.

• Shiny: Interactive and Engaging: Want to take your data visualization up a notch? Shiny allows you to build interactive web applications directly from R. It’s like turning your data visualization into a video game, where users can interact and explore the data themselves.

• Plotly: Adding Dimensions: For a more dynamic touch, plotly offers 3D visualizations and interactive plots that can be embedded in web pages. It’s like giving your audience a data-powered telescope to explore the stars.

用数据描绘新世界

有了这些工具和技术，您从数据收集到分析和可视化的过程就不仅仅是获得洞察力的途径，而是一次探索之旅。无论您是要影响商业战略、贡献学术知识，还是仅仅满足自己的好奇心，R 的强大功能都会让您不仅成为领航员，而且成为讲故事的人。

Remember, the seas of data are vast and ever-changing. With R and IPBurger’s proxies, you’re well-equipped to explore these digital oceans, uncover hidden treasures, and tell tales of your adventures in data. Set your sights beyond the horizon, where your insights can chart new worlds.

最终想法

当我们在使用 R 进行网络搜索、数据分析和可视化的广阔而充满活力的海洋中航行即将结束时，很明显，我们的旅程已经发生了巨大的变化。从使用 "rvest"收集数据到通过 ggplot2 和 Shiny 揭示引人入胜的叙述，掌握了如何利用 R 的强大功能，你就站在了数据科学未知领域的门槛上。 

请记住，您遇到的每一个数据集都是一次新的冒险，都是一个等待讲述的故事，都是一个开启洞察力的机会，可以影响决策、激发创新，并照亮以前隐藏的道路。有了 IPBurger 代理的坚定陪伴，确保您的旅程顺利且不被发现，数字领域任您探索。因此，请规划航线，扬帆起航，让好奇之风指引您实现下一个数据发现。

常见问题

r 能否像 Python 一样有效地处理动态网站上的网络搜索？

完全正确。Python 因其网络刮擦功能而广受赞誉，尤其是 BeautifulSoup 和 Selenium 等库，而 R 也不甘落后。有了用于静态网站的 rvest 软件包和用于动态内容的 RSelenium，R 完全具备了从静态和动态网络环境中浏览和提取数据的能力。

使用 r 从任何网站抓取网络数据是否合法？

网络搜刮的合法性更多地取决于你搜刮的内容和使用数据的方式，而不是你使用的搜刮工具（本例中为 R）。请务必检查网站的 robots.txt 文件是否有权限，并注意版权法和隐私法规（如 GDPR）。如有疑问，请咨询法律专家。

如何避免使用 r 搜索网站时被拦截？

使用 IPBurger 的代理服务器是一个良好的开端。代理可以掩盖您的 IP 地址，使您的搜索活动不易被发现。此外，在进行搜刮时要注意礼貌：不要用快速的请求使服务器超负荷，并考虑在非高峰时段进行搜刮。

数据可视化的最佳 R 软件包有哪些？

ggplot2 被广泛认为是 R 语言数据可视化的黄金标准，以其多功能性和美观性著称。对于交互式网络应用，Shiny 提供了一个强大的框架。其他值得一提的软件包包括用于交互式绘图的 plotly 和用于制图的 leaflet。

如何保持网络搜索活动的道德性？

尊重网站的服务条款，遵守 robots.txt 指南，确保不侵犯隐私权或违反版权法。合乎道德的搜刮意味着在收集公开数据时不会对数据源造成伤害或破坏。