El raspado web es un verdadero caballo de batalla que ahorra tiempo, pero eso es sólo la mitad de la historia.
También puede hacerte rico.
(Con datos)
Vale, ha sido un poco insípido, pero no es broma: los datos son oro digital.
(Lo siento bitcoin)
But before we Scrooge McDuck dive into any binary nuggets, we should gloss over a few things web scraping. Here’s what I propose:
Haz las paces con cualquier humor de padre que ronde estas páginas, y yo iré directo al grano de qué es exactamente el web scraping y cómo puede traer a casa el bacon... o la col. (Apto para veganos).
¿Qué es el web scraping?
Web scraping es cuando alguien recopila datos de Internet. (Piensa en copiar y pegar, pero más rápido)
Utilizan una app o un script para automatizar la recogida de datos, eliminar cualquier información innecesaria y organizarla en una biblioteca.
Los rastreadores web descargan un archivo robot.txt para averiguar dónde pueden entrar en un sitio web. Luego, siguen enlaces a nuevas páginas y compilan una lista o "cola de rastreo".
Es algo parecido a poner en cola una lista de reproducción en Spotify a medida que descubres canciones que te gustan. Salvo que el paladar de un web scraper no tiene un gusto tan refinado y lo pone todo en cola.
A medida que el scraper sigue bajando por la lista creciente, se ramifica en diferentes páginas hasta completar su trabajo.
¿Qué es exactamente lo que se raspa?
La web, por supuesto. Más concretamente, recopilas información valiosa de páginas web que puede utilizarse para crear y dirigir una empresa, contribuir a proyectos de investigación y automatizar tareas tediosas.
Otros ejemplos son:
- Puede consultar las noticias y las redes sociales para ver qué hacen sus competidores.
- Averigüe qué productos están de moda en eBay.
- Ofrezca los mejores precios para viajes en avión con la agregación de precios.
- Busque discrepancias de valor que puedan reportarle beneficios.
Se pueden programar raspadores web para hacer cualquier cosa que se pueda hacer en línea, pero miles de veces más rápido.
¿Cómo se consigue un raspador web?
Puedes escribir tu propio scraper desde cero, o puedes utilizar lo que alguien ya ha escrito. Si no eres un programador, probablemente deberías optar por algo como Octoparse, que te ahorrará tiempo y acelerará el proceso.
Un ejemplo que existe desde hace tiempo es la API YQL (Yahoo Query Language) de Yahoo. Proporciona acceso a muchos tipos diferentes de fuentes de datos, como fuentes RSS, previsiones meteorológicas locales o listas de películas: cualquier cosa que se actualice regularmente en línea está disponible a través de este servicio sin necesidad de codificación adicional. Lo mejor es que no tiene por qué limitarse a páginas web, sino que también puede obtener cotizaciones bursátiles, seguimiento de fuentes de noticias en redes sociales o informes financieros.
Aunque eso es bastante de la vieja escuela.
He aquí algunos ejemplos de extensiones modernas de scraping para su navegador:
1. Rascador de datos (Chrome)
Con la versión gratuita, puedes raspar hasta 500 páginas de datos al mes. No es mucho, pero si quieres más puedes pasarte a un plan de pago.
2. Web Scraper
Este raspador tiene tanto una extensión para Chrome como para la nube que funciona con un simple apuntar y hacer clic que no requiere ninguna experiencia en codificación. Funciona con los lenguajes web actuales y se integra fácilmente con software de automatización y proxies.
3. Rascador (Cromo)
Este software es fácil de usar, pero te recomiendo que tengas algo de experiencia con la codificación. Si haces clic en cualquier texto de una tabla o lista y luego eliges "Scrape Similar" en el menú del navegador, puedes obtener información y contenido añadiendo nuevas columnas mediante XPath o JQuery.
Podría seguir y seguir: la Web está llena de herramientas de scraping. A la hora de elegir una, hay que tener en cuenta varias cosas:
¿De cuánto tiempo dispone? ¿Es algo que haces regularmente o sólo una vez?
¿Cuál es su presupuesto? ¿Posee ya software como Google Analytics, que tiene incorporadas funciones de rastreo web, así que por qué pagar más si lo que necesita es gratis?
Cómo ganar dinero realmente con el web scraping
El vasto mundo del web scraping se reduce a un ingrediente principal: la información.
Esa información puede utilizarse como moneda de cambio en todo tipo de intercambios comerciales:
- Venta directa o aprovechamiento de la información
- Apoyo a la automatización empresarial
- Optimizar la negociación y el comercio
La venta de información es bastante sencilla: películas enteras de espías giran en torno a una memoria USB que contiene información valiosa.
Pero, ¿qué pasa con la automatización y el comercio?
Míralo de esta manera:
Cada producto, hasta el píxel, es información.
1. Crear una empresa que venda información.
- Gurú financiero - Recopila las noticias y acontecimientos que afectan al mercado bursátil, inmobiliario y de criptomonedas.
- SEO extraordinaire - Proporcionar investigación de palabras clave y asesoramiento de marketing de contenidos.
- Consultor de empresas - Ofrece profundas inmersiones en la competencia del sector y las tendencias del mercado.
En estos casos, usted buscaría información por la que la gente ya paga y la empaquetaría como un producto. También podrías ofrecerla gratis en tu sitio web para captar tráfico o venderla como publicidad de afiliación.
2. Web scraping como servicio intermediario.
- Agregación de tarifas de viajes - Raspe la web en busca de los mejores precios de billetes de avión, hoteles y otros servicios de viajes como servicio. Esto requiere un raspado continuo de la web en multitud de sitios web de viajes, por lo que tendrás que utilizar proxies residenciales rotativos. Como probablemente sepas, Google despliega Google Spiders para ofrecerte lo último sobre hoteles y tarifas aéreas. Mientras tanto, otras empresas como Expedia, Skyscanner y Hostelworld capitalizan diferentes nichos de viajes.
- Todo el mundo es un genio de la inversión cuando compra su primera acción o criptomoneda. Pero cualquiera con un historial de mantener sus carteras en verde conoce bien el sesgo de información. Para tener una visión de conjunto, es crucial disponer de grandes datos. La única forma de conseguirlo es con bots que recopilen información libre del filtro estrecho de la percepción humana. Con ese tipo de apoyo, se puede gestionar con éxito el riesgo, un servicio por el que la gente entregará su dinero (si se lo puedes devolver, con intereses).
- Marketing y publicidad: en lugar de ser un mero informador para las agencias de marketing y las empresas, puedes ser la fuente de información. Una vez más, Google con su Google Analytics reclama una especie de autoridad y ramas como SEMRush y AnswerThePublic recogen la holgura considerable. Puede que pienses que ya no queda nada por hacer, pero no es cierto. Todo en el mundo se trasplanta y multiplica online y alguien tiene que ordenar todo eso. (Por un precio razonable, claro)
3. Web scraping hot-ticket items
Hay que estar atento a los bombos y platillos. De este modo, el riesgo es bajo y la recompensa alta. En otras palabras, no se quedará con las manos en la masa y venderá con pérdidas.
- Sneakers - Una industria de reventa única que florece en el corazón de los sneakerheads. El dinero está en las zapatillas de lanzamiento limitado, que pueden multiplicarse por 10 con unas Yeezy o unas Jordan. Sin embargo, la curva de aprendizaje es empinada si estás empezando, pero hay un montón de guías para prepararte para una reventa de zapatillas rentable.
- Electrónica - La electrónica, como la PS5 o las tarjetas gráficas de ordenador, es realmente fácil de revender, e incluso de ganarse la vida lucrativamente con ella. Al igual que ocurre con las zapatillas, la competencia es feroz.
- Entradas para eventos: este puede ser el artículo de reventa original. Hay una razón por la que la venta de entradas parece amañada: en cierto modo lo está. Los robots se hacen con las entradas más preciadas para revenderlas a un precio superior.
- Fichas no fungibles o NFT - Algunas NFT son increíblemente difíciles de conseguir. Probablemente porque la mitad de las pujas las hacen bots. En este ejemplo, los bots realizan múltiples pujas y participaciones en sorteos para asegurarse la mayor cantidad de NFT y revenderlos más tarde en mercados como OpenSea, Solanart o DigitalEyes.
En cualquiera de estos casos, el web scraping tiene una función ligeramente diferente. Siguen rastreando páginas web y registrando datos, pero también automatizan el proceso de pago.
Si añade algunos proxies, puede multiplicar estas comprobaciones para aumentar sus posibilidades de ganar. De hecho, es absolutamente necesario ejecutar cualquier software automatizado - bots y web scrapers - con proxies. Si no lo haces, toda tu operación fracasará cuando tu dirección IP sea baneada.
El resultado
Por sí solas, cada una de estas estrategias merece su tiempo y esfuerzo. Pero, ¿qué se consigue si se combinan?
Una especie de máquina que come información y caga cheques.
Los grandes.
Los datos del mercado nos miran literalmente a la cara, pero su volumen desborda nuestros límites de procesamiento. Aunque me gusta creer que podemos dominar temporalmente la matriz (como Neo), un raspador web es un poco más fiable.
En segundos, puedes:
- Analizar la situación actual del mercado financiero
- Identificar los cambios y tendencias del mercado
- Manténgase al día de las noticias nacionales y mundiales que afectan a la bolsa y la economía
- Conozca el sentimiento y el comportamiento de los consumidores
Todo lo que se puede hacer en línea, los web scrapers lo hacen a una escala mucho mayor.
Todo gracias a los proxies.
(Los proxies son los que ocultan tu presencia al Agente Smith)
