Web kazıma zaman kazandıran gerçek bir iş gücüdür, ancak bu hikayenin sadece yarısıdır.
Ayrıca sizi zengin de edebilir.
(Verilerle birlikte)
Tamam, bu biraz tatsız oldu - ama şaka değil - veri dijital altındır.
(Üzgünüm bitcoin)
But before we Scrooge McDuck dive into any binary nuggets, we should gloss over a few things web scraping. Here’s what I propose:
Web kazıma nedir?
Web kazıma, birisinin internetten veri toplamasıdır. (Kopyala ve yapıştır gibi düşünün ama daha hızlı)
Veri toplamayı otomatikleştirmek, gereksiz bilgileri kaldırmak ve bunları bir kütüphanede düzenlemek için bir uygulama veya komut dosyası kullanırlar.
Web kazıyıcılar bir web sitesinde nereye gidebileceklerini öğrenmek için bir robot.txt dosyası indirirler. Ardından, yeni sayfalara giden bağlantıları takip ederek bir liste veya "tarama kuyruğu" oluştururlar.
Bu, Spotify'da sevdiğiniz şarkıları keşfettikçe bir çalma listesini sıraya koymaya benzer. Ancak bir web kazıyıcının damak tadı bu kadar rafine değildir ve her şeyi sıraya koyar.
Kazıyıcı, büyüyen listede aşağı doğru devam ettikçe, işi tamamlanana kadar farklı sayfalara dalar.
Kazınan şey tam olarak nedir?
Elbette web. Daha spesifik olarak, bir iş kurmak ve yürütmek, araştırma projelerine katkıda bulunmak ve sıkıcı görevleri otomatikleştirmek için kullanılabilecek web sayfalarından değerli bilgiler toplarsınız.
Diğer birkaç örnek ise şunlardır:
- Rakiplerin ne yaptığını görmek için haberlere ve sosyal medya akışlarına bakabilirsiniz.
- eBay'de hangi ürünlerin popüler olduğunu öğrenin.
- Fiyat toplama ile uçak seyahati için en iyi fiyatları sunun.
- Kâra dönüşebilecek değer tutarsızlıklarını tarayın.
Web kazıyıcılarını çevrimiçi olarak yapabileceğiniz her şeyi yapacak şekilde programlayabilirsiniz - ancak binlerce kat daha hızlı.
Bir web kazıyıcı nasıl edinilir?
Sıfırdan kendi kazıyıcınızı yazabilir ya da başka birinin daha önce yazdıklarını kullanabilirsiniz. Eğer bir kodlayıcı değilseniz, muhtemelen Octoparse gibi zaman kazandıracak ve süreci hızlandıracak bir şeyi tercih etmelisiniz.
Bir süredir kullanılmakta olan bir örnek Yahoo'nun YQL (Yahoo Query Language) API'si olabilir. RSS beslemeleri, yerel hava durumu tahminleri veya film listeleri dahil olmak üzere birçok farklı veri kaynağına erişim sağlar - çevrimiçi olarak düzenli olarak güncellenen her şey, herhangi bir ek kodlama gerektirmeden bu hizmet aracılığıyla kullanılabilir hale gelir. İşin en güzel yanı, sadece web sayfalarıyla sınırlı kalmayıp borsa fiyatlarını, sosyal medya haber akışlarını ya da finansal raporları da alabiliyor olmanız.
Bu oldukça eski moda.
İşte tarayıcınız için modern kazıma uzantılarından bazı örnekler:
1. Veri Kazıyıcı (Chrome)
Ücretsiz sürümle, her ay 500 sayfaya kadar veri kazıyabilirsiniz. Bu çok fazla değil, ancak daha fazlasını istiyorsanız ücretli bir plana yükseltebilirsiniz.
2. Web Kazıyıcı
Bu kazıyıcı, hiçbir kodlama deneyimi gerektirmeyen basit bir işaretle ve tıkla ile çalışan hem krom hem de bulut uzantısına sahiptir. Mevcut web dilleriyle çalışır ve otomatikleştirme yazılımı ve proxy'lerle kolayca entegre olur.
3. Kazıyıcı (Krom)
Bu yazılımın kullanımı kolaydır, ancak kodlama konusunda biraz deneyim sahibi olmanızı tavsiye ederim. Bir tablo veya listedeki herhangi bir metne tıklayıp tarayıcı menüsünden "Scrape Similar" seçeneğini seçerseniz, XPath veya JQuery kullanarak yeni sütunlar ekleyerek bilgi ve içerik elde edebilirsiniz.
Daha da devam edebilirim - web kazıma araçlarıyla dolu. Hangisini kullanacağınızı seçerken düşünmeniz gereken birkaç şey var:
Ne kadar zamanınız var? Bu düzenli olarak yaptığınız bir şey mi yoksa sadece bir kez mi?
Bütçeniz ne kadar? Google Analytics gibi yerleşik web tarama özelliklerine sahip bir yazılıma zaten sahip misiniz, öyleyse ihtiyacınız olan şey ücretsizse neden daha fazla ödeyesiniz?
Web kazıyarak gerçekten nasıl para kazanılır
Web kazımanın engin dünyası tek bir ana bileşene dayanır: bilgi.
Bu bilgi, her türlü iş alışverişinde bir tür para birimi olarak kullanılabilir:
- Bilgiyi doğrudan satmak veya kullanmak
- İş otomasyonunu destekleyin
- Ticareti ve ticareti optimize edin
Bilgi satışı oldukça basittir - tüm casus filmleri değerli bilgiler içeren bir flash bellek etrafında döner.
Peki ya otomasyon ve ticaret?
Bir de şu açıdan bak:
Pikseline kadar her ürün bilgidir.
1. Bilgi satan bir iş kurun.
- Financial guru - Borsa, emlak ve kripto para birimlerini etkileyen haberleri ve olayları derleyin.
- SEO extraordinaire - Anahtar kelime araştırması ve içerik pazarlama tavsiyeleri sağlayın.
- İş danışmanı - Sektördeki rekabet ve pazar eğilimleri hakkında derinlemesine bilgi sunun.
Bu durumlarda, insanların zaten para ödediği bilgileri arar ve bunları bir ürün olarak paketlersiniz. Ayrıca trafik çekmek için web sitenizde ücretsiz olarak sunabilir veya satış ortaklığı reklamı olarak satabilirsiniz.
2. Bir aracı hizmet olarak web kazıma.
- Seyahat ücreti toplama - Uçak bileti, otel ve diğer seyahat hizmetlerinde en iyi fiyatlar için web'i bir hizmet olarak kazıyın. Bu, çok sayıda seyahat web sitesinde sürekli web kazıma gerektirir, bu nedenle dönen yerleşim proxy'leri kullanmanız gerekir. Muhtemelen bildiğiniz gibi Google, otel ve uçak biletlerindeki en son gelişmeleri size ulaştırmak için Google Örümceklerini kullanır. Bu arada Expedia, Skyscanner ve Hostelworld gibi diğer şirketler de farklı seyahat nişlerinden yararlanıyor.
- Hisse senedi komisyonculuğu veya hedge fon yönetimi - İlk hisse senedini veya kripto parasını satın aldıktan sonra herkes bir yatırım dehasıdır. Ancak portföylerini yeşil renkte tutma geçmişine sahip herkes bilgi yanlılığının farkındadır. Büyük resmi görebilmek için büyük veriye sahip olmak çok önemlidir. Bunu elde etmenin tek yolu, insan algısının daraltıcı filtresinden arınmış bilgi toplayan botlardır. Bu tür bir destekle riski başarılı bir şekilde yönetebilirsiniz - insanların paralarını teslim edecekleri bir hizmet (eğer onlara faiziyle birlikte geri verebilirseniz).
- Pazarlama ve reklamcılık - Pazarlama ajansları ve işletmeler için sadece bir muhbir olmak yerine, bilgi kaynağı olabilirsiniz. Bir kez daha, Google Analytics ile Google bir tür otorite iddia ediyor ve SEMRush ve AnswerThePublic gibi yan kuruluşlar büyük bir boşluğu dolduruyor. Daha fazla boşluk kalmadığını düşünebilirsiniz, ancak bu doğru değil. Dünyadaki her şey internete aktarılıyor ve çoğalıyor ve birilerinin tüm bunları ayıklaması gerekiyor. (Elbette makul bir fiyat karşılığında)
3. Web kazıma sıcak bilet öğeleri
Yutturmaca için gözünüzü açık tutmak istersiniz. Bu şekilde riskiniz düşük ve ödülünüz yüksek olur. Başka bir deyişle, elinizde çanta kalmayacak ve zararına satış yapmayacaksınız.
- Spor ayakkabılar - Spor ayakkabı tutkunlarının kalbinden doğan benzersiz bir yeniden satış sektörü. Sınırlı sayıda piyasaya sürülen spor ayakkabılar, bazı Yeezy'ler veya Jordan'lar için 10 kat kolay bir getiri ile paranın olduğu yerdir. Bununla birlikte, yeni başlıyorsanız öğrenme eğrisi diktir - ancak karlı spor ayakkabı çevirme için sizi hazırlayacak çok sayıda rehber vardır.
- Elektronik - PS5 veya bilgisayar grafik kartları gibi elektronik eşyaları yeniden satmak ve hatta bunlardan kazançlı bir yaşam elde etmek gerçekten kolaydır. Tıpkı spor ayakkabılarda olduğu gibi, rekabet çok çetin.
- Etkinlik biletleri - Bu, OG yeniden satış öğesi olabilir. Bilet satışlarının hileli gibi görünmesinin bir nedeni var - bir bakıma öyle. Botlar, çok değerli etkinlik biletlerini yüksek bir fiyattan karaborsaya düşürmek için topluyor.
- Mantar olmayan tokenler veya NFT'ler - Bazı NFT'leri elde etmek inanılmaz derecede zordur. Muhtemelen tekliflerin yarısı botlar tarafından yapıldığı içindir. Bu örnekteki botlar, daha sonra OpenSea, Solanart veya DigitalEyes gibi pazar yerlerinde çılgın kârlar elde etmek için kendilerine çok sayıda NFT sağlamak amacıyla birden fazla teklif ve çekiliş girişi giriyor.
Bu durumların herhangi birinde, web kazıma biraz farklı bir işleve sahiptir. Hala web sayfalarını tarar ve verileri kaydederler, ancak aynı zamanda ödeme sürecini de otomatikleştirirler.
Bazı proxy'ler eklerseniz, kazanma şansınızı artırmak için bu kontrolleri çoğaltabilirsiniz. Aslında, herhangi bir otomatik yazılımı - botlar ve web kazıyıcıları - proxy'lerle çalıştırmak kesinlikle gereklidir. Bunu yapmazsanız, IP adresiniz yasaklandığında tüm operasyonunuz başarısız olacaktır.
Sonuç
Bu stratejilerin her biri tek başına zaman ve çaba harcamaya değer. Ancak bunları birleştirirseniz ne elde edersiniz?
Bilgi yiyen ve maaş çeklerini kusan bir tür makine.
Büyük olanlardan.
Piyasa içgörüleri kelimenin tam anlamıyla gözünüzün içine bakıyor, ancak büyük hacim işlem sınırlarımızı aşıyor. Matrise geçici olarak hakim olabileceğimize inanmak istesem de (Neo gibi) - bir web kazıyıcı biraz daha güvenilirdir.
Saniyeler içinde yapabilirsiniz:
- Finans piyasasının mevcut durumunu analiz etmek
- Pazar değişikliklerini ve trendlerini belirleme
- Hisse senetlerini ve ekonomiyi etkileyen ulusal ve küresel haberleri takip edin
- Tüketici duyarlılığı ve davranışı hakkında bilgi edinin
İnternette yapabileceğiniz her şeyi web kazıyıcılar çok daha büyük ölçekte yaparlar.
Hepsi vekiller sayesinde.
(Vekiller varlığınızı Ajan Smith'ten gizleyen şeydir)
