El raspado web es un verdadero caballo de batalla que ahorra tiempo, pero eso es sólo la mitad de la historia.
También puede hacerte rico.
(Con datos)
Vale, ha sido un poco insípido, pero no es broma: los datos son oro digital.
(Lo siento bitcoin)
Pero antes de zambullirnos en cualquier pepita binaria, deberíamos glosar algunas cosas del web scraping. Esto es lo que propongo:
¿Qué es el web scraping?
Web scraping es cuando alguien recopila datos de Internet. (Piensa en copiar y pegar, pero más rápido)
Utilizan una app o un script para automatizar la recogida de datos, eliminar cualquier información innecesaria y organizarla en una biblioteca.
Los rastreadores web descargan un archivo robot.txt para averiguar dónde pueden entrar en un sitio web. Luego, siguen enlaces a nuevas páginas y compilan una lista o "cola de rastreo".
Es algo parecido a poner en cola una lista de reproducción en Spotify a medida que descubres canciones que te gustan. Salvo que el paladar de un web scraper no tiene un gusto tan refinado y lo pone todo en cola.
A medida que el scraper sigue bajando por la lista creciente, se ramifica en diferentes páginas hasta completar su trabajo.
¿Qué es exactamente lo que se raspa?
La web, por supuesto. Más concretamente, recopilas información valiosa de páginas web que puede utilizarse para crear y dirigir una empresa, contribuir a proyectos de investigación y automatizar tareas tediosas.
Otros ejemplos son:
- Puede consultar las noticias y las redes sociales para ver qué hacen sus competidores.
- Averigüe qué productos están de moda en eBay.
- Ofrezca los mejores precios para viajes en avión con la agregación de precios.
- Busque discrepancias de valor que puedan reportarle beneficios.
Se pueden programar raspadores web para hacer cualquier cosa que se pueda hacer en línea, pero miles de veces más rápido.
¿Cómo se consigue un raspador web?
You could write your own scraper from scratch, or you could use what someone else has already written. If you’re not a coder, then you should probably opt for something like Octoparse that will save time and speed up the process.
Un ejemplo que existe desde hace tiempo es la API YQL (Yahoo Query Language) de Yahoo. Proporciona acceso a muchos tipos diferentes de fuentes de datos, como fuentes RSS, previsiones meteorológicas locales o listas de películas: cualquier cosa que se actualice regularmente en línea está disponible a través de este servicio sin necesidad de codificación adicional. Lo mejor es que no tiene por qué limitarse a páginas web, sino que también puede obtener cotizaciones bursátiles, seguimiento de fuentes de noticias en redes sociales o informes financieros.
Aunque eso es bastante de la vieja escuela.
He aquí algunos ejemplos de extensiones modernas de scraping para su navegador:
1. Data Scraper (Chrome)
Con la versión gratuita, puedes raspar hasta 500 páginas de datos al mes. No es mucho, pero si quieres más puedes pasarte a un plan de pago.
2. Web Scraper
Este raspador tiene tanto una extensión para Chrome como para la nube que funciona con un simple apuntar y hacer clic que no requiere ninguna experiencia en codificación. Funciona con los lenguajes web actuales y se integra fácilmente con software de automatización y proxies.
3. Scraper (Chrome)
Este software es fácil de usar, pero te recomiendo que tengas algo de experiencia con la codificación. Si haces clic en cualquier texto de una tabla o lista y luego eliges "Scrape Similar" en el menú del navegador, puedes obtener información y contenido añadiendo nuevas columnas mediante XPath o JQuery.
Podría seguir y seguir: la Web está llena de herramientas de scraping. A la hora de elegir una, hay que tener en cuenta varias cosas:
¿De cuánto tiempo dispone? ¿Es algo que haces regularmente o sólo una vez?
¿Cuál es su presupuesto? ¿Posee ya software como Google Analytics, que tiene incorporadas funciones de rastreo web, así que por qué pagar más si lo que necesita es gratis?
Cómo ganar dinero realmente con el web scraping
El vasto mundo del web scraping se reduce a un ingrediente principal: la información.
Esa información puede utilizarse como moneda de cambio en todo tipo de intercambios comerciales:
- Venta directa o aprovechamiento de la información
- Apoyo a la automatización empresarial
- Optimizar la negociación y el comercio
La venta de información es bastante sencilla: películas enteras de espías giran en torno a una memoria USB que contiene información valiosa.
Pero, ¿qué pasa con la automatización y el comercio?
Míralo de esta manera:
Cada producto, hasta el píxel, es información.
1. Crear una empresa que venda información.
- Gurú financiero - Recopila las noticias y acontecimientos que afectan al mercado bursátil, inmobiliario y de criptomonedas.
- SEO extraordinaire - Proporcionar investigación de palabras clave y asesoramiento de marketing de contenidos.
- Consultor de empresas - Ofrece profundas inmersiones en la competencia del sector y las tendencias del mercado.
En estos casos, usted buscaría información por la que la gente ya paga y la empaquetaría como un producto. También podrías ofrecerla gratis en tu sitio web para captar tráfico o venderla como publicidad de afiliación.
2. Web scraping como servicio intermediario.
- Travel fare aggregation – Scrape the web for the best prices on airfare, hotels, and other travel services as a service. This requires continuous web scraping on multitudes of travel websites, so you’ll need to use rotating residential proxies. As you probably know, Google deploys Google Spiders to bring you the latest on hotels and airfare. Meanwhile, other companies like Expedia, Skyscanner, and Hostelworld capitalize on different travel niches.
- Todo el mundo es un genio de la inversión cuando compra su primera acción o criptomoneda. Pero cualquiera con un historial de mantener sus carteras en verde conoce bien el sesgo de información. Para tener una visión de conjunto, es crucial disponer de grandes datos. La única forma de conseguirlo es con bots que recopilen información libre del filtro estrecho de la percepción humana. Con ese tipo de apoyo, se puede gestionar con éxito el riesgo, un servicio por el que la gente entregará su dinero (si se lo puedes devolver, con intereses).
- Marketing and advertisement – Instead of just being an informant for marketing agencies and businesses, you can be the source of information. Once again, Google with their Google Analytics claim some sort of authority and offshoots like SEMRush and AnswerThePublic pick up the sizeable slack. You may think there isn’t anymore slack to be had, but that’s just not true. Everything in the world is transplants and multiplies online and someone has to sort all that stuff out. (For a reasonable price, of course)
3. Web scraping hot-ticket items
Hay que estar atento a los bombos y platillos. De este modo, el riesgo es bajo y la recompensa alta. En otras palabras, no se quedará con las manos en la masa y venderá con pérdidas.
- Sneakers – A unique resale industry that blossoms from the heart of sneakerheads. The limited-release sneakers are where the money’s at, with an easy 10x return on some Yeezy’s or Jordan’s. However, the learning curve is steep if you’re starting out – but there’s plenty of guides to prime you for profitable sneaker flipping.
- Electrónica - La electrónica, como la PS5 o las tarjetas gráficas de ordenador, es realmente fácil de revender, e incluso de ganarse la vida lucrativamente con ella. Al igual que ocurre con las zapatillas, la competencia es feroz.
- Entradas para eventos: este puede ser el artículo de reventa original. Hay una razón por la que la venta de entradas parece amañada: en cierto modo lo está. Los robots se hacen con las entradas más preciadas para revenderlas a un precio superior.
- Non-fungal tokens or NFTs – Some NFTs are incredibly hard to get your hands on. Probably because half the bids are made by bots. Bots in this example are entering multiple bids and raffle entries in order to secure as many NFTs for themselves to later resell for crazy profit on marketplaces like OpenSea, Solanart or DigitalEyes.
En cualquiera de estos casos, el web scraping tiene una función ligeramente diferente. Siguen rastreando páginas web y registrando datos, pero también automatizan el proceso de pago.
If you throw in some proxies, you can multiply these checkouts to increase your chances to win. In fact, it’s absolutely necessary to run any automated software – bots and web scrapers – with proxies. If you don’t, then your whole operation will fail when your IP address is banned.
El resultado
Por sí solas, cada una de estas estrategias merece su tiempo y esfuerzo. Pero, ¿qué se consigue si se combinan?
Una especie de máquina que come información y caga cheques.
Los grandes.
Los datos del mercado nos miran literalmente a la cara, pero su volumen desborda nuestros límites de procesamiento. Aunque me gusta creer que podemos dominar temporalmente la matriz (como Neo), un raspador web es un poco más fiable.
En segundos, puedes:
- Analizar la situación actual del mercado financiero
- Identificar los cambios y tendencias del mercado
- Manténgase al día de las noticias nacionales y mundiales que afectan a la bolsa y la economía
- Conozca el sentimiento y el comportamiento de los consumidores
Todo lo que se puede hacer en línea, los web scrapers lo hacen a una escala mucho mayor.
All thanks to proxies.
(Los proxies son los que ocultan tu presencia al Agente Smith)
