网络抓取

如何在 Puppeteer 中使用代理

AJ Tait
2025年1月9日

揭开在 Puppeteer 中使用代理之谜的终极指南。

您是否正在寻找一种安全、私密的网络浏览方式？那么，你来对地方了！

有了功能强大的节点库 Puppeteer，你就可以使用代理服务器匿名上网，保护自己的身份。

在本文中，我们将向你展示如何在 Puppeteer 中准确使用代理，请继续阅读了解详情！

什么是代理？

A proxy is a computer or software program that acts as an intermediary between a user’s computer and the internet. It allows users to access websites their network may have blocked or restricted by routing web requests from the user’s computer to the internet. It can also be used to hide the user’s IP address, providing a measure of anonymity.

什么是 Puppeteer？

Puppeteer 是一个 Node 库，它提供了一个高级 API，用于通过 DevTools 协议控制无头 Chrome 或 Chromium。它还可以配置为使用完整（非无头版）Chrome 浏览器或 Chromium 浏览器。有了 Puppeteer，你可以通过自己的代码以编程方式启动和控制 Chrome 浏览器。你还可以用它来自动执行各种任务，如生成网页截图和 PDF、捕获性能数据、运行单元测试等。

为什么在 Puppeteer 中使用代理？

Puppeteer 使用代理服务器隐藏用户的 IP 地址，允许用户匿名浏览网络。这对网络搜刮等任务非常有用，因为它允许用户绕过网站上任何基于 IP 的限制。此外，代理还能保护用户免受坏人追踪其网上活动。

在 Puppeteer 中设置代理

选择代理类型

在 Puppeteer 中配置代理时，第一步是选择要使用的代理类型。根据代理的使用目的，用户可以从多种选项中进行选择，例如 HTTP、SOCKS5 和VPN。每种代理类型都有其独特的优势，可能更适合特定的任务。

获取代理

在 Puppeteer 中配置代理的第一步是获取代理。可选方案众多，包括IPBurger、Proxyrack 等免费和付费服务。注册前请务必阅读各服务的条款与条件。

配置代理

获得代理后，必须配置 Puppeteer 以使用它。为此，你需要在 Puppeteer 脚本的 launch() 方法中添加以下代码：

const proxy = 'http://<PROXY_IP_ADDRESS>:<PROXY_PORT>';

const browser = await puppeteer.launch({

  args: ['--proxy-server=${proxy}'] ,

});

一旦添加了这段代码，Puppeteer 就会开始使用代理来处理它发出的所有请求。现在你可以开始使用 Puppeteer 的新代理了。

在 Puppeteer 中实施代理

要在 Puppeteer 中设置代理，需要向 Puppeteer 类的 launch() 方法传递一个 ProxySettings 类型的对象。该对象应包含以下属性：

• 主机：代理服务器的主机名或 IP 地址

- 端口：代理服务器的端口

- 用户名：用于身份验证的用户名（可选）

- 密码：验证密码（可选）

例如

const puppeteer = require('puppeteer');

(async () => {

    const browser = await puppeteer.launch({

        proxy: {

            host: '127.0.0.1',

            port: '8080',

            username: 'username',

            password: 'password'

        }

    });

    const page = await browser.newPage();

    await page.goto('https://www.example.com');

    await browser.close();

})();

使用代理

你可以使用 "page.setProxy() "方法在 Puppeteer 中实现代理。该方法允许你为页面发出的所有请求指定一个代理服务器。该方法的语法如下：

page.setProxy({

    server: '<IP Address of Proxy Server>',

    port: <Port Number>,

    username: '<Username (if required)>',

    password: '<Password (if required)>'

});

您还可以指定协议和旁路列表等其他选项。有关此方法的更多详情，请参阅 Puppeteer 文档。

测试代理

设置好代理后，对其进行测试以确保其正常工作非常重要。可以使用 Browserleaks 等工具检查 IP 地址，确保其与代理服务器相同。这对确保代理正常工作和用户数据安全非常重要。

排除 Puppeteer 上的代理问题

常见的代理问题：

代理凭据不正确：如果输入的代理凭据不正确，Puppeteer 将无法连接代理服务器。

代理阻止访问：如果代理服务器被配置为阻止访问某些网站，Puppeteer 可能无法访问这些网站。

防火墙问题：防火墙有时会阻止某些类型的流量，如来自 Puppeteer 的流量。

DNS 问题：如果 DNS 服务器配置不当，Puppeteer 可能无法正确解析域名。

故障排除步骤：

验证代理证书：如果使用代理服务器，请确保凭据正确无误。

检查防火墙设置：确保防火墙配置正确，允许来自 Puppeteer 的流量。

检查 DNS 设置：确保 DNS 服务器配置正确，并能正确解析域名。

使用不同的代理服务器进行测试：如果问题仍然存在，请尝试使用不同的代理服务器。