¿Qué es un navegador headless? ¿Ayudan o dificultan la expedición de recolección de datos?
Un navegador headless es un navegador web sin interfaz gráfica de usuario (GUI). No tiene ninguna ventana visible ni ningún elemento de interfaz de usuario.
Sólo tienes que utilizar scripts para manejar el contenido de la página.
Esto significa que puedes hacer de todo.
Pero hoy sólo vamos a hablar de las cosas de sombrero blanco.
¿Qué tiene de especial un navegador sin cabeza?
- Interacciones más rápidas con el contenido web, lo que significa que puede obtener más datos de los que necesita.
- No requiere tanto ancho de banda ni tiempo para cargar una página, lo que significa que no tiene que esperar.
- Suena genial en el sentido de Sleepy Hollow, lo que es genial.
¿Para qué sirve un navegador headless?
Headless browsers provide easy access to the webpage DOM (document object model), which is helpful for front-end developers using JavaScript frameworks such as AngularJS.
También se suelen utilizar para cargar y ejecutar páginas web funcionales en un servidor sin cabeza durante pruebas automatizadas. Es lo que se conoce como pruebas de navegador sin cabeza.
Pruebas de navegadores sin cabeza
Las pruebas sin cabeza son una técnica de pruebas de automatización utilizada para la validación de páginas web. Un programa controla un navegador web mediante automatización, scripts u otras herramientas sin renderizar gráficos ni ejecutar componentes visibles de la interfaz de usuario. El objetivo de las pruebas de navegador sin cabeza puede incluir:
- Comprobación de la validez del marcado, el contenido y el estilo de una página HTML/XHTML.
- Validación de un formulario web o de inicio de sesión.
- Evaluating JavaScript for event handlers and AJAX operations.
Sirve para comprobar que los contenidos dinámicos se visualizan en la pantalla con una posición correcta, etc.
Los navegadores sin cabeza también funcionan bien con otros programas. Además de para pruebas y desarrollo web, pueden facilitar la recopilación de datos.
Headless browser scraping
Headless scraping is an automated data extraction technique you can use in conjunction with a web scraper.
Un navegador en modo headless:
- Raspa sitios web y almacena los datos de la web en un directorio local en un disco.
- Recupera varias páginas de la mayoría de los sitios web modernos.
- Imitates a user agent profile that is necessary to execute javascript rendering.
- Scrapes más eficientes con argumentos de línea de comandos.
Por ejemplo, los navegadores sin cabeza se utilizan habitualmente para extraer datos de catálogos en línea, información sobre precios de sitios web de comercio electrónico o widgets/iconos de redes sociales incrustados en el sitio web de la empresa.
¿Cuáles son los navegadores headless más populares?
Cromo sin cabeza
La versión headless del navegador Chrome de Google.
Firefox sin cabeza
A Mozilla project that aims to create a headless build of their latest web browser with enabled support for WebGL and JavaScript.
HtlmUnit
Un marco de pruebas funcionales que utiliza navegadores sin cabeza para cargar y validar páginas web.
SimpleBrowser
Un navegador sin cabeza realizado con el software Net 4 capaz de llevar a cabo actividades de automatización del navegador. No permite JavaScript, pero puede modificar el agente de usuario, el referente, las cabeceras de las peticiones, los valores de los formularios y otros antes del envío o la navegación.
SlimerJS
Un proyecto de Mozilla cuyo objetivo es permitir JavaScript y HTML5 en un entorno similar a un sistema de archivos. Utiliza Gecko (el motor de navegación de Firefox) como núcleo. Esto le permitirá ser totalmente compatible con todas las API de JavaScript (por ejemplo, aunque no estén implementadas o estén incompletas de algún modo).
ZombieJS
Zombie provides a JavaScript API and uses Chromium. Chromium can run on various web pages, but it is mainly used to test the DOM APIs and website behavior automatically.
¿Cómo utilizar la navegación headless para hacer web scrape?
El propósito de un navegador headless es la automatización (de pruebas funcionales, desarrollo web, etc.). También son excelentes herramientas para el web scraping debido a su facilidad de uso y capacidad para realizar tareas sin supervisión/sin intervención humana.
Cuando se utilizan navegadores headless para hacer web scrape, es necesario alimentar el navegador con una lista de URLs y luego esperar a que se cargue. Cuando se carga en el navegador sin cabeza, esto puede ser automatizado mediante el envío de su navegador sin cabeza comandos desde la línea de comandos.
Le ofrece un control total sobre cuándo y cómo se introducen las URL en su navegador sin cabeza.
Para scrapear sitios web con un navegador headless, necesitarás añadir librerías a tu aplicación para que el navegador pueda comunicarse con ellas. Esta comunicación puede tener lugar a través de una línea de comandos o mediante la conexión a un servidor web.
Las bibliotecas más comunes son:
Solicitudes
A necessary Python library to interact with web servers by an HTTP request.
jsdom
Esta biblioteca también requiere un paquete llamado jsdom-global, que se utiliza para crear los objetos globales que necesita el navegador sin cabeza.
Puppeteer
The puppeteer library makes it easier to control Chrome and Chromium than other libraries such as Selenium/WebDriver. You can install it with npm or yarn in NodeJS applications to run tests or scrape data from web pages. It provides you with methods to specify the URL, download resources, handle cookies, etc.
Debemos recordar que Puppeteer es una libreria basada en promesas: Realiza llamadas asíncronas a la instancia headless de Chrome en el compartimento del motor.
Pesadilla
This library is used for Electron applications. It provides Electron with automation tools that can be used by an application to drive Electron’s browser process via a remote connection.
Selenium
Un puñado de bibliotecas están disponibles para JavaScript sin cabeza utilizando Selenium bindings como webdriver js y selenium-web driver.
Quizá pienses que debe ser difícil crear una biblioteca, pero no lo es. Veamos un ejemplo.
Tutorial básico del titiritero
Primero, necesita instalar Puppeteer en el directorio del proyecto.
Instalación de Puppeteer
Para utilizar Puppeteer en un navegador headless, ejecute:
npm i puppeteer
# or "yarn add puppeteer"O para una versión lite de Puppeteer, ejecute:
npm i puppeteer-core
# or "yarn add puppeteer-core"Como se mencionó anteriormente, todo el código del titiritero se ejecuta en NodeJS. Lo exportas como una función de fábrica que devolverá un objeto con métodos para controlar Chrome. Puedes usarlo para crear nuevas instancias del navegador a través del método launch, navegar a URLs, manejar eventos, etc.
El siguiente fragmento de código es para el script Puppeteer.
Si quieres navega a https://example.com y guarda una captura de pantalla como example.png:
Guardar el archivo como example.js
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({ path: 'example.png' });
await browser.close();
})();Ejecuta el script en la línea de comandos:
node example.js
Si quieres crear un PDF:
Guarda el archivo como hn.js.
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://news.ycombinator.com', {
waitUntil: 'networkidle2',
});
await page.pdf({ path: 'hn.pdf', format: 'a4' });
await browser.close();
})();Pan comido, ¿verdad?
El ejemplo anterior es sólo un fragmento de código. Puedes encontrar un tutorial ampliado de Puppeteer para más información aquí.
¿Cuáles son las limitaciones de utilizar un raspador web con un navegador headless?
You generally have less control with a headless server since many tasks require additional plugins or configurations handled by a standard web browser. For example, some headless browsers don’t support CSS selectors, which makes scraping data from the DOM more difficult.
Even though a headless browser is efficient, web blocks may slow you down. Depending on how many pages you plan to scrape, you need to think about using a proxy service. A proxy service will help to save your IP address from a potential block.
Los mejores proxies para usar en modo headless
Si todas sus llamadas API y peticiones HTTP se realizan desde la misma dirección IP, todo el proceso se cerrará.
Los mejores proxies para usar con los raspadores web son los proxies rotativos. De esta manera, cada instancia del navegador es con una dirección IP diferente.
Rotating residential proxies, or backconnect proxies, are ideal for automation testing and web applications that harvest data.
Want to know more about proxies for web scraping with a headless browser? Check out this article on how many proxies you need.
En este artículo, hablamos sobre qué son los navegadores headless y por qué pueden ser útiles para aquellos que quieran utilizarlos como herramienta de scraping.
Si tienes más preguntas sobre los navegadores sin cabeza o sobre cualquier otro tema relacionado con el web scraping, ¡no dudes en comentarlas a continuación!
FAQS
¿Cómo puedo empezar?
Simplemente elija un navegador headless que funcione bien para sus necesidades de automatización web. Hay una gran variedad de navegadores headless disponibles, como Headless Chromium y SlimerJS. También necesitarás una librería. Si planea usar Chrome, por ejemplo, necesitará instalar la librería Puppeteer.
¿Por qué el nombre de navegador "sin cabeza"?
Un navegador headless no tiene interfaz gráfica de usuario (GLU); lo único que verás cuando se esté ejecutando es una interfaz de línea de comandos (CLI). Los desarrolladores web lo utilizan para ejecutar tareas automatizadas como pruebas funcionales y web scraping.
El CLI de tu navegador headless te permite cargar sitios web e interactuar con ellos, entre otras cosas. Esencialmente actúa como un proxy altamente configurable entre usted y el sitio web (s) que se carga en el servidor headless. Si eres nuevo en el web scraping o en los navegadores headless, este artículo te enseñará lo básico. Puede ser útil si estás empezando.
¿Quién creó Headless Chrome?
Headless Chrome es un proyecto de código abierto liderado por Google.
¿Puedo utilizarlo para otros fines que no sean el raspado automático de páginas web?
Sí, puede utilizarlo para realizar pruebas automatizadas y funcionales. Debe considerar todas las opciones antes de decidir qué servidor headless se adapta mejor a sus necesidades.
Dado que su propósito es la automatización, los navegadores sin cabeza son excelentes herramientas de scraping, especialmente cuando se combinan con una interfaz de línea de comandos.
¿Puedo ejecutar navegadores headless desde la línea de comandos?
Sí. Muchos servidores headless te permiten ejecutarlos desde su respectiva CLI o a través de una interfaz de usuario web, como Chrome. En algunos casos, es posible que tenga que utilizar ambos para obtener un control completo sobre su navegador sin cabeza.
¿Cómo puedo saber si un navegador headless funciona en mi máquina?
Puedes buscar en qué arquitectura se ejecuta tu sistema local y compararla con la arquitectura de los navegadores headless que quieras utilizar. Algunos servidores headless son multiplataforma o soportan múltiples arquitecturas, pero no todos funcionan así. Deberías comprobarlo antes de utilizar uno.
¿Es cierto que los navegadores headless no soportan selectores CSS?
Esto es cierto para algunos (pero no todos) los servidores headless; en particular, PhantomJS no soporta selectores CSS mientras que Headless Chrome sí. Los desarrolladores de cada navegador headless pueden optar por añadir y/o eliminar diferentes características en un momento dado, por lo que siempre debes comprobarlo antes de asumir nada.
¿Funcionan los navegadores headless con código javascript?
En la mayoría de los casos, los navegadores headless no tienen problemas para ejecutar código javascript. Muchos desarrolladores web utilizan navegadores sin cabeza para automatizar sus tareas, necesitando soporte completo para JavaScript para lograr sus objetivos.
Dado que no todos los navegadores headless soportan JavaScript, deberá investigar cada uno de ellos y determinar si satisfarán o no sus necesidades específicas.
¿Es cierto que algunos servidores headless tienen API?
Yes! Some headless servers have APIs which allow you to utilize them in different ways than simply loading websites through a proxy server. You can check what types of APIs any given headless browser offers by reading up on their documentation. This is a good way of determining whether or not you should use them with web scrapers, especially if a proxy API is available.
¿Qué navegadores headless soportan selectores CSS?
Headless Chrome currently supports CSS selectors, while PhantomJS’ WebKit engine does not. For more information on system dependencies, you can check out this website.
¿Por qué no todas las herramientas de web scraping se consideran navegadores headless?
Las herramientas de scraping web como Scrapy imitan la interfaz de usuario (UI) de un navegador web normal para extraer datos de sitios web. Sin embargo, como estas herramientas no cargan las páginas en su propia ventana, no las clasificamos como navegadores headless.
¿Es cierto que no se pueden utilizar navegadores headless para scrapear sitios web para móviles?
No está garantizado que los navegadores headless funcionen con todas las páginas web, pero pueden ejecutar sin problemas la mayoría de ellas. Los sitios específicos para móviles tienden a no cargarse correctamente en los servidores headless, aunque puedan mostrar la página.
¿Puedo probar mis propios navegadores headless?
Deberías poder hacerlo, pero no hay garantías de que el navegador headless funcione. Dado que cada servidor headless tiene funcionalidades y características diferentes, es posible que tengas que modificar tu propia herramienta antes de que se ejecute correctamente.
For a basic example, headless Chrome requires Javascript, while PhantomJS requires CORS headers for web pages to load correctly.
¿Cuáles son algunas de las mejores prácticas que puedo utilizar cuando hago scraping con un navegador headless?
El objetivo del web scraping suele ser extraer datos de sitios web total o parcialmente inaccesibles sin introducir manualmente ningún dato web en formularios o botones.
If you’d like to learn more about how web scraping works, check out this article.
Debes usar éticamente tu navegador sin cabeza. Ser capaz de extraer datos de páginas total o parcialmente inaccesibles no es necesariamente algo malo. Sin embargo, puede serlo si el propietario del sitio no quiere que lo hagas.
Asegúrese de comprobar todos los acuerdos de las Condiciones de servicio y la Política de privacidad antes de rascar cualquier página de un sitio web, ya que estas condiciones pueden cambiar sin previo aviso.
¿Qué navegadores headless son mejores para el web scraping?
Headless Chrome y PhantomJS son excelentes opciones para el web scraping porque son fáciles de usar y relativamente rápidas.
¿Por qué algunos desarrolladores prefieren utilizar un navegador headless en lugar de uno normal?
A veces puede ser necesario o más conveniente utilizar un navegador headless en lugar de uno normal, pero esto suele depender de las especificidades del proyecto. Por ejemplo, supongamos que desea extraer datos de sitios web que requieren Javascript para funcionar correctamente. En ese caso, le resultará más fácil utilizar Headless Chrome que Google Chrome normal.
Headless Chrome ofrece mejores capacidades de seguimiento que otras herramientas similares; es beneficioso cuando se trabaja con varios proyectos.
