¿Qué es un navegador headless? ¿Ayudan o dificultan la expedición de recolección de datos?
Un navegador headless es un navegador web sin interfaz gráfica de usuario (GUI). No tiene ninguna ventana visible ni ningún elemento de interfaz de usuario.
Sólo tienes que utilizar scripts para manejar el contenido de la página.
Esto significa que puedes hacer de todo.
Pero hoy sólo vamos a hablar de las cosas de sombrero blanco.
¿Qué tiene de especial un navegador sin cabeza?
- Interacciones más rápidas con el contenido web, lo que significa que puede obtener más datos de los que necesita.
- No requiere tanto ancho de banda ni tiempo para cargar una página, lo que significa que no tiene que esperar.
- Suena genial en el sentido de Sleepy Hollow, lo que es genial.
¿Para qué sirve un navegador headless?
Los navegadores sin cabeza facilitan el acceso al DOM (modelo de objetos del documento) de la página web, lo que resulta útil para los desarrolladores front-end que utilizan frameworks de JavaScript como AngularJS.
También se suelen utilizar para cargar y ejecutar páginas web funcionales en un servidor sin cabeza durante pruebas automatizadas. Es lo que se conoce como pruebas de navegador sin cabeza.
Pruebas de navegadores sin cabeza
Las pruebas sin cabeza son una técnica de pruebas de automatización utilizada para la validación de páginas web. Un programa controla un navegador web mediante automatización, scripts u otras herramientas sin renderizar gráficos ni ejecutar componentes visibles de la interfaz de usuario. El objetivo de las pruebas de navegador sin cabeza puede incluir:
- Comprobación de la validez del marcado, el contenido y el estilo de una página HTML/XHTML.
- Validación de un formulario web o de inicio de sesión.
- Evaluación de JavaScript para manejadores de eventos y operaciones AJAX.
Sirve para comprobar que los contenidos dinámicos se visualizan en la pantalla con una posición correcta, etc.
Los navegadores sin cabeza también funcionan bien con otros programas. Además de para pruebas y desarrollo web, pueden facilitar la recopilación de datos.
Headless browser scraping
Headless scraping es una técnica de extracción de datos automatizada que puede utilizar junto con un raspador web.
Un navegador en modo headless:
- Raspa sitios web y almacena los datos de la web en un directorio local en un disco.
- Recupera varias páginas de la mayoría de los sitios web modernos.
- Imita un perfil de agente de usuario necesario para ejecutar el renderizado de javascript.
- Scrapes más eficientes con argumentos de línea de comandos.
Por ejemplo, los navegadores sin cabeza se utilizan habitualmente para extraer datos de catálogos en línea, información sobre precios de sitios web de comercio electrónico o widgets/iconos de redes sociales incrustados en el sitio web de la empresa.
¿Cuáles son los navegadores headless más populares?
Cromo sin cabeza
La versión headless del navegador Chrome de Google.
Firefox sin cabeza
Un proyecto de Mozilla que pretende crear una versión headless de su último navegador web con soporte habilitado para WebGL y JavaScript.
HtlmUnit
Un marco de pruebas funcionales que utiliza navegadores sin cabeza para cargar y validar páginas web.
SimpleBrowser
Un navegador sin cabeza realizado con el software Net 4 capaz de llevar a cabo actividades de automatización del navegador. No permite JavaScript, pero puede modificar el agente de usuario, el referente, las cabeceras de las peticiones, los valores de los formularios y otros antes del envío o la navegación.
SlimerJS
Un proyecto de Mozilla cuyo objetivo es permitir JavaScript y HTML5 en un entorno similar a un sistema de archivos. Utiliza Gecko (el motor de navegación de Firefox) como núcleo. Esto le permitirá ser totalmente compatible con todas las API de JavaScript (por ejemplo, aunque no estén implementadas o estén incompletas de algún modo).
ZombieJS
Zombie proporciona una API JavaScript y utiliza Chromium. Chromium puede ejecutarse en varias páginas web, pero se utiliza principalmente para probar las API DOM y el comportamiento de los sitios web de forma automática.
¿Cómo utilizar la navegación headless para hacer web scrape?
El propósito de un navegador headless es la automatización (de pruebas funcionales, desarrollo web, etc.). También son excelentes herramientas para el web scraping debido a su facilidad de uso y capacidad para realizar tareas sin supervisión/sin intervención humana.
Cuando se utilizan navegadores headless para hacer web scrape, es necesario alimentar el navegador con una lista de URLs y luego esperar a que se cargue. Cuando se carga en el navegador sin cabeza, esto puede ser automatizado mediante el envío de su navegador sin cabeza comandos desde la línea de comandos.
Le ofrece un control total sobre cuándo y cómo se introducen las URL en su navegador sin cabeza.
Para scrapear sitios web con un navegador headless, necesitarás añadir librerías a tu aplicación para que el navegador pueda comunicarse con ellas. Esta comunicación puede tener lugar a través de una línea de comandos o mediante la conexión a un servidor web.
Las bibliotecas más comunes son:
Solicitudes
Una librería Python necesaria para interactuar con servidores web mediante una petición HTTP.
jsdom
Esta biblioteca también requiere un paquete llamado jsdom-global, que se utiliza para crear los objetos globales que necesita el navegador sin cabeza.
Puppeteer
La librería puppeteer hace más fácil controlar Chrome y Chromium que otras librerías como Selenium/WebDriver. Puedes instalarla con npm o yarn en aplicaciones NodeJS para ejecutar pruebas o scrapear datos de páginas web. Te proporciona métodos para especificar la URL, descargar recursos, manejar cookies, etc.
Debemos recordar que Puppeteer es una libreria basada en promesas: Realiza llamadas asíncronas a la instancia headless de Chrome en el compartimento del motor.
Pesadilla
Esta biblioteca se utiliza para aplicaciones Electron. Proporciona a Electron herramientas de automatización que pueden ser utilizadas por una aplicación para conducir el proceso del navegador de Electron a través de una conexión remota.
Selenium
Un puñado de bibliotecas están disponibles para JavaScript sin cabeza utilizando Selenium bindings como webdriver js y selenium-web driver.
Quizá pienses que debe ser difícil crear una biblioteca, pero no lo es. Veamos un ejemplo.
Tutorial básico del titiritero
Primero, necesita instalar Puppeteer en el directorio del proyecto.
Instalación de Puppeteer
Para utilizar Puppeteer en un navegador headless, ejecute:
npm i puppeteer
# or "yarn add puppeteer"O para una versión lite de Puppeteer, ejecute:
npm i puppeteer-core
# or "yarn add puppeteer-core"Como se mencionó anteriormente, todo el código del titiritero se ejecuta en NodeJS. Lo exportas como una función de fábrica que devolverá un objeto con métodos para controlar Chrome. Puedes usarlo para crear nuevas instancias del navegador a través del método launch, navegar a URLs, manejar eventos, etc.
El siguiente fragmento de código es para el script Puppeteer.
Si quieres navega a https://example.com y guarda una captura de pantalla como example.png:
Guardar el archivo como example.js
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({ path: 'example.png' });
await browser.close();
})();Ejecuta el script en la línea de comandos:
node example.js
Si quieres crear un PDF:
Guarda el archivo como hn.js.
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://news.ycombinator.com', {
waitUntil: 'networkidle2',
});
await page.pdf({ path: 'hn.pdf', format: 'a4' });
await browser.close();
})();Pan comido, ¿verdad?
El ejemplo anterior es sólo un fragmento de código. Puedes encontrar un tutorial ampliado de Puppeteer para más información aquí.
¿Cuáles son las limitaciones de utilizar un raspador web con un navegador headless?
Generalmente se tiene menos control con un servidor headless ya que muchas tareas requieren plugins adicionales o configuraciones manejadas por un navegador web estándar. Por ejemplo, algunos navegadores headless no admiten selectores CSS, lo que dificulta la extracción de datos del DOM.
Aunque un navegador headless es eficiente, los bloqueos web pueden ralentizarte. Dependiendo de la cantidad de páginas que planees raspar, debes pensar en utilizar un servicio proxy. Un servicio proxy te ayudará a salvar tu dirección IP de un posible bloqueo.
Los mejores proxies para usar en modo headless
Si todas sus llamadas API y peticiones HTTP se realizan desde la misma dirección IP, todo el proceso se cerrará.
Los mejores proxies para usar con los raspadores web son los proxies rotativos. De esta manera, cada instancia del navegador es con una dirección IP diferente.
Los proxies residenciales rotativos, o proxies backconnect, son ideales para pruebas de automatización y aplicaciones web que recopilan datos.
¿Quieres saber más sobre proxies para web scraping con un navegador headless? Consulta este artículo sobre cuántos proxies necesitas.
En este artículo, hablamos sobre qué son los navegadores headless y por qué pueden ser útiles para aquellos que quieran utilizarlos como herramienta de scraping.
Si tienes más preguntas sobre los navegadores sin cabeza o sobre cualquier otro tema relacionado con el web scraping, ¡no dudes en comentarlas a continuación!
FAQS
¿Cómo puedo empezar?
Simplemente elija un navegador headless que funcione bien para sus necesidades de automatización web. Hay una gran variedad de navegadores headless disponibles, como Headless Chromium y SlimerJS. También necesitarás una librería. Si planea usar Chrome, por ejemplo, necesitará instalar la librería Puppeteer.
¿Por qué el nombre de navegador "sin cabeza"?
Un navegador headless no tiene interfaz gráfica de usuario (GLU); lo único que verás cuando se esté ejecutando es una interfaz de línea de comandos (CLI). Los desarrolladores web lo utilizan para ejecutar tareas automatizadas como pruebas funcionales y web scraping.
El CLI de tu navegador headless te permite cargar sitios web e interactuar con ellos, entre otras cosas. Esencialmente actúa como un proxy altamente configurable entre usted y el sitio web (s) que se carga en el servidor headless. Si eres nuevo en el web scraping o en los navegadores headless, este artículo te enseñará lo básico. Puede ser útil si estás empezando.
¿Quién creó Headless Chrome?
Headless Chrome es un proyecto de código abierto liderado por Google.
¿Puedo utilizarlo para otros fines que no sean el raspado automático de páginas web?
Sí, puede utilizarlo para realizar pruebas automatizadas y funcionales. Debe considerar todas las opciones antes de decidir qué servidor headless se adapta mejor a sus necesidades.
Dado que su propósito es la automatización, los navegadores sin cabeza son excelentes herramientas de scraping, especialmente cuando se combinan con una interfaz de línea de comandos.
¿Puedo ejecutar navegadores headless desde la línea de comandos?
Sí. Muchos servidores headless te permiten ejecutarlos desde su respectiva CLI o a través de una interfaz de usuario web, como Chrome. En algunos casos, es posible que tenga que utilizar ambos para obtener un control completo sobre su navegador sin cabeza.
¿Cómo puedo saber si un navegador headless funciona en mi máquina?
Puedes buscar en qué arquitectura se ejecuta tu sistema local y compararla con la arquitectura de los navegadores headless que quieras utilizar. Algunos servidores headless son multiplataforma o soportan múltiples arquitecturas, pero no todos funcionan así. Deberías comprobarlo antes de utilizar uno.
¿Es cierto que los navegadores headless no soportan selectores CSS?
Esto es cierto para algunos (pero no todos) los servidores headless; en particular, PhantomJS no soporta selectores CSS mientras que Headless Chrome sí. Los desarrolladores de cada navegador headless pueden optar por añadir y/o eliminar diferentes características en un momento dado, por lo que siempre debes comprobarlo antes de asumir nada.
¿Funcionan los navegadores headless con código javascript?
En la mayoría de los casos, los navegadores headless no tienen problemas para ejecutar código javascript. Muchos desarrolladores web utilizan navegadores sin cabeza para automatizar sus tareas, necesitando soporte completo para JavaScript para lograr sus objetivos.
Dado que no todos los navegadores headless soportan JavaScript, deberá investigar cada uno de ellos y determinar si satisfarán o no sus necesidades específicas.
¿Es cierto que algunos servidores headless tienen API?
Yes! Some headless servers have APIs which allow you to utilize them in different ways than simply loading websites through a proxy server. You can check what types of APIs any given headless browser offers by reading up on their documentation. This is a good way of determining whether or not you should use them with web scrapers, especially if a proxy API is available.
¿Qué navegadores headless soportan selectores CSS?
Actualmente Headless Chrome soporta selectores CSS, mientras que el motor WebKit de PhantomJS no. Para más información sobre las dependencias del sistema, puedes consultar este sitio web.
¿Por qué no todas las herramientas de web scraping se consideran navegadores headless?
Las herramientas de scraping web como Scrapy imitan la interfaz de usuario (UI) de un navegador web normal para extraer datos de sitios web. Sin embargo, como estas herramientas no cargan las páginas en su propia ventana, no las clasificamos como navegadores headless.
¿Es cierto que no se pueden utilizar navegadores headless para scrapear sitios web para móviles?
No está garantizado que los navegadores headless funcionen con todas las páginas web, pero pueden ejecutar sin problemas la mayoría de ellas. Los sitios específicos para móviles tienden a no cargarse correctamente en los servidores headless, aunque puedan mostrar la página.
¿Puedo probar mis propios navegadores headless?
Deberías poder hacerlo, pero no hay garantías de que el navegador headless funcione. Dado que cada servidor headless tiene funcionalidades y características diferentes, es posible que tengas que modificar tu propia herramienta antes de que se ejecute correctamente.
Para un ejemplo básico, Chrome sin cabeza requiere Javascript, mientras que PhantomJS requiere cabeceras CORS para que las páginas web se carguen correctamente.
¿Cuáles son algunas de las mejores prácticas que puedo utilizar cuando hago scraping con un navegador headless?
El objetivo del web scraping suele ser extraer datos de sitios web total o parcialmente inaccesibles sin introducir manualmente ningún dato web en formularios o botones.
Si quieres saber más sobre cómo funciona el web scraping, consulta este artículo.
Debes usar éticamente tu navegador sin cabeza. Ser capaz de extraer datos de páginas total o parcialmente inaccesibles no es necesariamente algo malo. Sin embargo, puede serlo si el propietario del sitio no quiere que lo hagas.
Asegúrese de comprobar todos los acuerdos de las Condiciones de servicio y la Política de privacidad antes de rascar cualquier página de un sitio web, ya que estas condiciones pueden cambiar sin previo aviso.
¿Qué navegadores headless son mejores para el web scraping?
Headless Chrome y PhantomJS son excelentes opciones para el web scraping porque son fáciles de usar y relativamente rápidas.
¿Por qué algunos desarrolladores prefieren utilizar un navegador headless en lugar de uno normal?
A veces puede ser necesario o más conveniente utilizar un navegador headless en lugar de uno normal, pero esto suele depender de las especificidades del proyecto. Por ejemplo, supongamos que desea extraer datos de sitios web que requieren Javascript para funcionar correctamente. En ese caso, le resultará más fácil utilizar Headless Chrome que Google Chrome normal.
Headless Chrome ofrece mejores capacidades de seguimiento que otras herramientas similares; es beneficioso cuando se trabaja con varios proyectos.
¿Cansado de que te bloqueen y baneen?
Obtenga la guía gratuita que le mostrará exactamente cómo utilizar proxies para evitar bloqueos, prohibiciones y captchas en su negocio.
¡Envíame la guía gratuita ahora!
