Web kazıma zaman kazandıran gerçek bir iş gücüdür, ancak bu hikayenin sadece yarısıdır.
Ayrıca sizi zengin de edebilir.
(Verilerle birlikte)
Tamam, bu biraz tatsız oldu - ama şaka değil - veri dijital altındır.
(Üzgünüm bitcoin)
Ancak Scrooge McDuck olarak herhangi bir ikili külçeye dalmadan önce, web kazıma konusunda birkaç şeyi gözden geçirmeliyiz. İşte önerim:
Web kazıma nedir?
Web kazıma, birisinin internetten veri toplamasıdır. (Kopyala ve yapıştır gibi düşünün ama daha hızlı)
Veri toplamayı otomatikleştirmek, gereksiz bilgileri kaldırmak ve bunları bir kütüphanede düzenlemek için bir uygulama veya komut dosyası kullanırlar.
Web kazıyıcılar bir web sitesinde nereye gidebileceklerini öğrenmek için bir robot.txt dosyası indirirler. Ardından, yeni sayfalara giden bağlantıları takip ederek bir liste veya "tarama kuyruğu" oluştururlar.
Bu, Spotify'da sevdiğiniz şarkıları keşfettikçe bir çalma listesini sıraya koymaya benzer. Ancak bir web kazıyıcının damak tadı bu kadar rafine değildir ve her şeyi sıraya koyar.
Kazıyıcı, büyüyen listede aşağı doğru devam ettikçe, işi tamamlanana kadar farklı sayfalara dalar.
Kazınan şey tam olarak nedir?
Elbette web. Daha spesifik olarak, bir iş kurmak ve yürütmek, araştırma projelerine katkıda bulunmak ve sıkıcı görevleri otomatikleştirmek için kullanılabilecek web sayfalarından değerli bilgiler toplarsınız.
Diğer birkaç örnek ise şunlardır:
- Rakiplerin ne yaptığını görmek için haberlere ve sosyal medya akışlarına bakabilirsiniz.
- eBay'de hangi ürünlerin popüler olduğunu öğrenin.
- Fiyat toplama ile uçak seyahati için en iyi fiyatları sunun.
- Kâra dönüşebilecek değer tutarsızlıklarını tarayın.
Web kazıyıcılarını çevrimiçi olarak yapabileceğiniz her şeyi yapacak şekilde programlayabilirsiniz - ancak binlerce kat daha hızlı.
Bir web kazıyıcı nasıl edinilir?
You could write your own scraper from scratch, or you could use what someone else has already written. If you’re not a coder, then you should probably opt for something like Octoparse that will save time and speed up the process.
Bir süredir kullanılmakta olan bir örnek Yahoo'nun YQL (Yahoo Query Language) API'si olabilir. RSS beslemeleri, yerel hava durumu tahminleri veya film listeleri dahil olmak üzere birçok farklı veri kaynağına erişim sağlar - çevrimiçi olarak düzenli olarak güncellenen her şey, herhangi bir ek kodlama gerektirmeden bu hizmet aracılığıyla kullanılabilir hale gelir. İşin en güzel yanı, sadece web sayfalarıyla sınırlı kalmayıp borsa fiyatlarını, sosyal medya haber akışlarını ya da finansal raporları da alabiliyor olmanız.
Bu oldukça eski moda.
İşte tarayıcınız için modern kazıma uzantılarından bazı örnekler:
1. Data Scraper (Chrome)
Ücretsiz sürümle, her ay 500 sayfaya kadar veri kazıyabilirsiniz. Bu çok fazla değil, ancak daha fazlasını istiyorsanız ücretli bir plana yükseltebilirsiniz.
2. Web Scraper
Bu kazıyıcı, hiçbir kodlama deneyimi gerektirmeyen basit bir işaretle ve tıkla ile çalışan hem krom hem de bulut uzantısına sahiptir. Mevcut web dilleriyle çalışır ve otomatikleştirme yazılımı ve proxy'lerle kolayca entegre olur.
3. Scraper (Chrome)
Bu yazılımın kullanımı kolaydır, ancak kodlama konusunda biraz deneyim sahibi olmanızı tavsiye ederim. Bir tablo veya listedeki herhangi bir metne tıklayıp tarayıcı menüsünden "Scrape Similar" seçeneğini seçerseniz, XPath veya JQuery kullanarak yeni sütunlar ekleyerek bilgi ve içerik elde edebilirsiniz.
Daha da devam edebilirim - web kazıma araçlarıyla dolu. Hangisini kullanacağınızı seçerken düşünmeniz gereken birkaç şey var:
Ne kadar zamanınız var? Bu düzenli olarak yaptığınız bir şey mi yoksa sadece bir kez mi?
Bütçeniz ne kadar? Google Analytics gibi yerleşik web tarama özelliklerine sahip bir yazılıma zaten sahip misiniz, öyleyse ihtiyacınız olan şey ücretsizse neden daha fazla ödeyesiniz?
Web kazıyarak gerçekten nasıl para kazanılır
Web kazımanın engin dünyası tek bir ana bileşene dayanır: bilgi.
Bu bilgi, her türlü iş alışverişinde bir tür para birimi olarak kullanılabilir:
- Bilgiyi doğrudan satmak veya kullanmak
- İş otomasyonunu destekleyin
- Ticareti ve ticareti optimize edin
Bilgi satışı oldukça basittir - tüm casus filmleri değerli bilgiler içeren bir flash bellek etrafında döner.
Peki ya otomasyon ve ticaret?
Bir de şu açıdan bak:
Pikseline kadar her ürün bilgidir.
1. Bilgi satan bir iş kurun.
- Financial guru - Borsa, emlak ve kripto para birimlerini etkileyen haberleri ve olayları derleyin.
- SEO extraordinaire - Anahtar kelime araştırması ve içerik pazarlama tavsiyeleri sağlayın.
- İş danışmanı - Sektördeki rekabet ve pazar eğilimleri hakkında derinlemesine bilgi sunun.
Bu durumlarda, insanların zaten para ödediği bilgileri arar ve bunları bir ürün olarak paketlersiniz. Ayrıca trafik çekmek için web sitenizde ücretsiz olarak sunabilir veya satış ortaklığı reklamı olarak satabilirsiniz.
2. Bir aracı hizmet olarak web kazıma.
- Travel fare aggregation – Scrape the web for the best prices on airfare, hotels, and other travel services as a service. This requires continuous web scraping on multitudes of travel websites, so you’ll need to use rotating residential proxies. As you probably know, Google deploys Google Spiders to bring you the latest on hotels and airfare. Meanwhile, other companies like Expedia, Skyscanner, and Hostelworld capitalize on different travel niches.
- Hisse senedi komisyonculuğu veya hedge fon yönetimi - İlk hisse senedini veya kripto parasını satın aldıktan sonra herkes bir yatırım dehasıdır. Ancak portföylerini yeşil renkte tutma geçmişine sahip herkes bilgi yanlılığının farkındadır. Büyük resmi görebilmek için büyük veriye sahip olmak çok önemlidir. Bunu elde etmenin tek yolu, insan algısının daraltıcı filtresinden arınmış bilgi toplayan botlardır. Bu tür bir destekle riski başarılı bir şekilde yönetebilirsiniz - insanların paralarını teslim edecekleri bir hizmet (eğer onlara faiziyle birlikte geri verebilirseniz).
- Marketing and advertisement – Instead of just being an informant for marketing agencies and businesses, you can be the source of information. Once again, Google with their Google Analytics claim some sort of authority and offshoots like SEMRush and AnswerThePublic pick up the sizeable slack. You may think there isn’t anymore slack to be had, but that’s just not true. Everything in the world is transplants and multiplies online and someone has to sort all that stuff out. (For a reasonable price, of course)
3. Web kazıma sıcak bilet öğeleri
Yutturmaca için gözünüzü açık tutmak istersiniz. Bu şekilde riskiniz düşük ve ödülünüz yüksek olur. Başka bir deyişle, elinizde çanta kalmayacak ve zararına satış yapmayacaksınız.
- Sneakers – A unique resale industry that blossoms from the heart of sneakerheads. The limited-release sneakers are where the money’s at, with an easy 10x return on some Yeezy’s or Jordan’s. However, the learning curve is steep if you’re starting out – but there’s plenty of guides to prime you for profitable sneaker flipping.
- Elektronik - PS5 veya bilgisayar grafik kartları gibi elektronik eşyaları yeniden satmak ve hatta bunlardan kazançlı bir yaşam elde etmek gerçekten kolaydır. Tıpkı spor ayakkabılarda olduğu gibi, rekabet çok çetin.
- Etkinlik biletleri - Bu, OG yeniden satış öğesi olabilir. Bilet satışlarının hileli gibi görünmesinin bir nedeni var - bir bakıma öyle. Botlar, çok değerli etkinlik biletlerini yüksek bir fiyattan karaborsaya düşürmek için topluyor.
- Non-fungal tokens or NFTs – Some NFTs are incredibly hard to get your hands on. Probably because half the bids are made by bots. Bots in this example are entering multiple bids and raffle entries in order to secure as many NFTs for themselves to later resell for crazy profit on marketplaces like OpenSea, Solanart or DigitalEyes.
Bu durumların herhangi birinde, web kazıma biraz farklı bir işleve sahiptir. Hala web sayfalarını tarar ve verileri kaydederler, ancak aynı zamanda ödeme sürecini de otomatikleştirirler.
If you throw in some proxies, you can multiply these checkouts to increase your chances to win. In fact, it’s absolutely necessary to run any automated software – bots and web scrapers – with proxies. If you don’t, then your whole operation will fail when your IP address is banned.
Sonuç
Bu stratejilerin her biri tek başına zaman ve çaba harcamaya değer. Ancak bunları birleştirirseniz ne elde edersiniz?
Bilgi yiyen ve maaş çeklerini kusan bir tür makine.
Büyük olanlardan.
Piyasa içgörüleri kelimenin tam anlamıyla gözünüzün içine bakıyor, ancak büyük hacim işlem sınırlarımızı aşıyor. Matrise geçici olarak hakim olabileceğimize inanmak istesem de (Neo gibi) - bir web kazıyıcı biraz daha güvenilirdir.
Saniyeler içinde yapabilirsiniz:
- Finans piyasasının mevcut durumunu analiz etmek
- Pazar değişikliklerini ve trendlerini belirleme
- Hisse senetlerini ve ekonomiyi etkileyen ulusal ve küresel haberleri takip edin
- Tüketici duyarlılığı ve davranışı hakkında bilgi edinin
İnternette yapabileceğiniz her şeyi web kazıyıcılar çok daha büyük ölçekte yaparlar.
All thanks to proxies.
(Vekiller varlığınızı Ajan Smith'ten gizleyen şeydir)
