Веб-скрапинг: Puppeteer против Selenium

Веб-скрейпинг — это процесс извлечения данных с веб-сайтов. Скрейпинг можно выполнять вручную с помощью веб-браузеров или автоматизировать с помощью библиотек, таких как Selenium и Puppeteer.

Selenium — это инструмент с открытым исходным кодом, который позволяет автоматизировать работу веб-приложений и тестировать функциональность вашего сайта без необходимости написания кода прямо в браузере. Он также поддерживает работу с другими языками программирования, такими как Java, Python, C# и т. д.

Puppeteer — это библиотека JavaScript для автоматизации тестирования браузера Chrome на системах Linux без графического интерфейса. Puppeteer поддерживает Chrome и прошел тестирование на Ubuntu 16.04 LTS, 18.04 LTS, а также Debian 9 Stretch/Buster/Siduction (64-разрядная версия). 

В этой статье мы узнаем, как использовать Selenium WebDriver в Node.js вместе с Puppeteer для автоматизации приложений с помощью браузера Chrome.

Что такое Puppeteer?

Puppeteer — это библиотека JavaScript, позволяющая управлять браузером с помощью puppeteer.js. Библиотека предоставляет API для создания веб-страниц, управления ими и взаимодействия с ними без использования сторонних решений. Она также поддерживает перехват событий мыши и ввода с клавиатуры, что позволяет взаимодействовать со страницей.

Как работает Puppeteer?

Puppeteer — это библиотека Node.js для управления браузером Chrome. Она позволяет управлять браузером с помощью JavaScript и взаимодействовать с ним способами, недоступными при использовании только HTML, CSS и JS.

С его помощью можно имитировать события мыши и клавиатуры, делать снимки экрана, манипулировать элементами DOM, отправлять HTTP-запросы и т. д. Puppeteer также предоставляет API, позволяющий писать собственные скрипты для работы с Puppeteer без прямого использования каких-либо его API. Подробнее об этом API можно прочитать здесь: https://github.com/puppeteerjs/puppeteer-api.

Puppeteer решает следующую задачу: как управлять браузером, не имея возможности запускать JavaScript? Puppeteer позволяет имитировать события мыши и клавиатуры, делать снимки экрана, манипулировать элементами DOM, отправлять HTTP-запросы и многое другое. Кроме того, можно писать скрипты для работы с Puppeteer, не используя напрямую ни один из его API. Это полезно, если вы хотите создать собственное расширение для Chrome, которое взаимодействует с браузером нестандартным образом.

Сложность и условия автоматизации меняются с каждым днём, поэтому один инструмент может оказаться не универсальным решением. У Puppeteer есть некоторые ограничения. Он поддерживает только браузер Chrome. Работа над версией Puppeteer для Firefox ещё продолжается.

В чём заключаются преимущества использования Puppeteer? 

Puppeteer позволяет легко запускать скрипты в браузере, не прибегая к их самостоятельной написанию. Это простой, лёгкий и расширяемый инструмент. Его можно использовать с любыми языками программирования или фреймворками (NodeJS, Python, Java). У него есть собственный API, поэтому вам не придётся осваивать ещё один API только для целей веб-парсинга.

Для использования Puppeteer не обязательно разбираться в принципах работы Selenium, но при этом вы получаете все его преимущества: автоматизацию, тестируемость и переносимость!

Каковы недостатки использования Puppeteer?

Puppeteer — это совсем новый фреймворк. Он пока находится в бета-версии и поддерживает не все браузеры (только Chrome, Firefox, Opera и Safari). Однако со временем Puppeteer сможет поддерживать больше браузеров. API также не так хорошо отлажено, как у Selenium, поэтому поначалу у вас могут возникнуть некоторые трудности, но со временем ситуация улучшится. Множество примеров использования Puppeteer можно найти на его официальном сайте: puppeteerjs.com/docs/getting-started/. 

Как установить Puppeteer? 

Вы можете установить Puppeteer, скачав пакет с веб-сайта или выполнив установку вручную. Перейдите на страницу репозитория Puppeteer и загрузите последнюю версию для вашей операционной системы. Для запуска на вашем компьютере должен быть установлен NodeJS. Если вы не знаете, с чего начать, перейдите по ссылке: nodejs.org/en/download. Выполните команду npm install -g puppet. Это загрузит все необходимые зависимости для запуска puppetserver. Теперь откройте окно терминала в вашем домашнем каталоге и введите puppetserver. 

Если всё пройдёт нормально, вы должны увидеть примерно следующее: 

$ node server Starting server… done! http://localhost:4200 Connecting…done! http://localhost:4200 Disconnected / Connected http://localhost:4200 <– Start scraping now! 

Чтобы завершить работу, нажмите Ctrl+C, а затем введите exit. 

Что такое Selenium?

Selenium — это мощный инструмент, который можно использовать для автоматизации веб-приложений. Его также часто называютWebDriver. Selenium существует уже довольно давно и стал одним из самых популярных инструментов в ИТ-индустрии. 

Чем занимается Selenium?

Selenium позволяет автоматизировать работу с веб-сайтами путем выполнения различных действий, таких как нажатие кнопок, заполнение форм или даже переход по страницам. Основная цель этого программного обеспечения — сделать автоматическое тестирование простым и эффективным без необходимости самостоятельного написания кода. Вы можете использовать это программное обеспечение в браузере (Chrome/Firefox) или в рамках таких языков программирования, как Java, C#, Python и т. д. После установки на компьютер необходимо загрузить сервер Selenium, который работает на порту 4444 (по умолчанию). Затем откройте Chrome/Firefox и введите chrome://extensions в адресную строку, где вы увидите список доступных расширений; выберите«Управление расширениями», а затем нажмите кнопку«Загрузить распакованное расширение».

С помощью Selenium можно тестировать веб-сайты, мобильные приложения и настольные приложения. Этот инструмент прост в использовании и позволяет автоматизировать веб-приложения без каких-либо знаний в области программирования. Кроме того, с помощью Selenium IDE можно создавать собственные тесты — этот инструмент оснащён визуальным интерфейсом, упрощающим разработку тестов.

Преимущества Selenium

• Он работает во всех веб-браузерах (Chrome, Firefox, IE) и на мобильных устройствах (Android). Selenium является кроссплатформенным. Достаточно установить IDE для выбранной вами платформы и начать использовать API. Вам не нужно изучать новые API или разные языки для каждой платформы — просто используйте один язык, который работает на всех платформах. 

• Selenium поддерживает большинство существующих языков программирования, включая Java, C#, Python и многие другие. Если вы хотите автоматизировать какой-либо процесс на JavaScript, вы можете использовать Node.js вместе с библиотекой selenium-nodejs. 

• Selenium поддерживает несколько фреймворков, таких как Protractor, WebDriver и т. д. Главное преимущество этих фреймворков заключается в том, что они предоставляют удобный уровень абстракции, который упрощает работу по сравнению с написанием чистого кода для автоматизации непосредственно в самом браузере. Например, если мы хотим, чтобы наши тесты запускались одновременно в нескольких браузерах, мы можем сделать это с помощью selenium-webdriver и selenium-webdriver2. Это означает, что у нас не возникнет никаких проблем при одновременном тестировании в нескольких браузерах, поскольку всем займётся сам фреймворк, а не нам придётся вручную писать собственный код для каждого браузера (что значительно усложнило бы наш набор тестов). 

• Для Selenium доступно множество плагинов, таких как расширения для Google Chrome, дополнения для Firefox и так далее. Что ещё? Множество примеров! И не только из проектов с открытым исходным кодом, но и из коммерческих, таких как Appium, Sauce Labs или Watir. Так что, если вы ищете что-то быстрое и простое, попробуйте их! Это отличные инструменты! Они также поддерживают асинхронное тестирование, а это значит, что даже если ваш тест займет больше времени, чем ожидалось, это не повлияет на другие тесты, запущенные одновременно, и они не будут блокировать друг друга (асинхронный режим). Таким образом, мы можем писать быстрые тесты пользовательского интерфейса, не беспокоясь о замедлении работы нашего приложения. 

Тенденции рынка Selenium и Puppeteer: почему это важно? 

Тенденции рынка Selenium и Puppeteer свидетельствуют о значительном росте их использования за последние несколько лет, особенно после выпуска Selenium 2 в 2014 году. С тех пор популярность Selenium продолжает расти, и это означает, что в обозримом будущем она, вероятно, будет расти такими же темпами. 

Каково будущее веб-тестирования? 

Сообщество разработчиков с открытым исходным кодом продолжает разрабатывать новые технологии и совершенствовать существующие, и в ближайшее время не наблюдается никаких признаков замедления этого процесса. Пока мы продолжаем внедрять инновации и создавать новые инструменты, можно ожидать дальнейшего совершенствования технологий веб-тестирования.

Инструменты для автоматизации веб-процессов: почему их стоит использовать? 

Когда членам вашей команды предстоит работать над своими проектами или когда им понадобится помощь в тестировании кода с помощью автоматизированных тестов, доступ к инструменту автоматизации, такому как WebDriver, значительно упростит им задачу по сравнению с тем, чтобы каждый раз пробовать ручные методы, когда им нужно что-то протестировать вручную. 

Если у вас есть инструмент для автоматизации веб-приложений, такой как WebDriver, вы можете использовать его для автоматизации тестов и написания тестов на разных языках. Кроме того, с его помощью можно взаимодействовать с браузером и тестировать определенные функции приложения, которые сложно или невозможно проверить вручную. Возможности безграничны!

Использование инструмента автоматизации значительно упростит вам жизнь, поскольку позволит писать автоматизированные тесты для вашего кода, не задумываясь о том, как всё устроено «под капотом». 

Selenium или Puppeteer: что лучше подходит для веб-парсинга?

Основное отличие между ними заключается в том, что Puppeteer работает в Node.js, а Selenium — в браузере.

Puppeteer можно использовать для веб-парсинга и тестирования API, однако он не так широко поддерживается, как Selenium. Кроме того, в нем отсутствует встроенный модуль запуска тестов пользовательского интерфейса, поэтому вам придётся написать его самостоятельно, если вы хотите использовать Puppeteer с браузером без графического интерфейса, таким как PhantomJS или NightwatchJS.

Selenium имеет более широкую поддержку со стороны браузеров, чем Puppeteer, а его средство запуска тестов пользовательского интерфейса работает «из коробки» с большинством популярных браузеров (включая Chrome). Однако по сравнению с Puppeteer в Selenium по-прежнему отсутствуют некоторые функции. В частности, это касается API WebDriver для взаимодействия с элементами на странице — а это означает, что с помощью одной только этой библиотеки сложнее автоматизировать сложные взаимодействия, охватывающие несколько страниц, доменов или приложений (например, переход по ссылкам).