Para, Matrix ve Web Kazıma

Web veri toplama, gerçekten zaman kazandıran bir iş makinesidir, ancak bu hikâyenin sadece yarısıdır.

Ayrıca sizi zengin de edebilir.

(Verilerle birlikte)

Tamam, bu biraz tatsız bir benzetme oldu – ama şaka değil – veriler dijital altındır.

(Üzgünüm, Bitcoin)

Ancak Scrooge McDuck gibi ikili kod parçacıklarına dalmadan önce, web kazıma konusunda birkaç noktaya kısaca değinmeliyiz. İşte benim önerim:

Web kazıma nedir?

Web kazıma, bir kişinin internetten veri toplama işlemidir. (Kopyala-yapıştır gibi düşünün, ama daha hızlı)

Veri toplama işlemini otomatikleştirmek, gereksiz bilgileri ayıklamak ve verileri bir kütüphanede düzenlemek için bir uygulama veya komut dosyası kullanıyorlar.

Web tarayıcıları, bir web sitesinde hangi sayfalara erişebileceklerini belirlemek için robot.txt dosyasını indirir. Ardından, bağlantıları takip ederek yeni sayfalara ulaşır ve bir liste ya da “tarama kuyruğu” oluşturur.

Bu, Spotify’da beğendiğiniz şarkıları keşfederken bir çalma listesine eklemeye biraz benziyor. Tek fark, bir web kazıyıcısının zevk anlayışı o kadar seçici olmadığı ve her şeyi sıraya eklemesi.

Kazıyıcı, giderek uzayan listeyi aşağı doğru ilerlerken, görevi tamamlanana kadar farklı sayfalara dallanır.

Tam olarak neyi kazıyıp çıkarırız?

 

Tabii ki internet. Daha açık bir ifadeyle, bir iş kurmak ve yürütmek, araştırma projelerine katkıda bulunmak ve sıkıcı işleri otomatikleştirmek için kullanılabilecek değerli bilgileri web sayfalarından topluyorsunuz.

Diğer birkaç örnek şunlardır:

• Rakiplerinizin neler yaptığını görmek için haberlere ve sosyal medya akışlarına göz atabilirsiniz.
• eBay'de hangi ürünlerin popüler olduğunu öğrenin.
• Fiyat karşılaştırma özelliği sayesinde uçak seyahatleri için en uygun fiyatları sunun.
• Kâr getirebilecek fiyat farklılıklarını tarayın.

Web kazıyıcılarını, çevrimiçi olarak yapabileceğiniz her şeyi yapacak şekilde programlayabilirsiniz – üstelik binlerce kat daha hızlı.

Web kazıyıcıyı nasıl edinebilirsiniz?

Kendi veri toplayıcınızı sıfırdan yazabilir ya da başkalarının hazırladığı bir programı kullanabilirsiniz. Eğer kod yazma konusunda deneyiminiz yoksa, zaman kazanmanızı sağlayacak ve süreci hızlandıracak Octoparse gibi bir programı tercih etmeniz daha uygun olacaktır.

Uzun süredir kullanılan bir örnek olarak Yahoo’nun YQL (Yahoo Query Language) API’si verilebilir. Bu API, RSS beslemeleri, yerel hava durumu tahminleri veya sinema programları dahil olmak üzere pek çok farklı veri kaynağına erişim sağlar; çevrimiçi olarak düzenli olarak güncellenen her şey, ek kodlama gerektirmeden bu hizmet aracılığıyla kullanılabilir hale gelir. En güzel yanı ise, bunun web sayfalarıyla sınırlı kalmaması; aynı zamanda borsa fiyatları, sosyal medya haber akışlarının izlenmesi veya finansal raporlara da erişim sağlanabilmesidir.

Ama bu oldukça eski usul bir şey.

İşte tarayıcınız için modern veri toplama eklentilerinden bazı örnekler:

1. Veri Toplayıcı (Chrome)

Ücretsiz sürümle, her ay en fazla 500 sayfa veri toplayabilirsiniz. Bu çok fazla sayılmaz, ancak daha fazlasını istiyorsanız ücretli bir plana geçebilirsiniz.

2. Web Kazıyıcı

Bu veri toplayıcı, kodlama deneyimi gerektirmeyen basit bir “işaretle ve tıkla” işlemiyle çalışan hem Chrome hem de Cloud uzantılarına sahiptir. Güncel web dilleriyle uyumludur ve otomasyon yazılımları ile proxy’lerle kolayca entegre olur.

3. Scraper (Chrome)

Bu yazılımın kullanımı kolaydır, ancak kodlama konusunda biraz deneyiminiz olmasını tavsiye ederim. Bir tablo veya listedeki herhangi bir metne tıkladıktan sonra tarayıcı menüsünden “Benzerlerini Al” seçeneğini seçerseniz, XPath veya JQuery kullanarak yeni sütunlar ekleyerek bilgi ve içerik elde edebilirsiniz.

Bu konuda daha çok şey söyleyebilirim – internet, veri toplama araçlarıyla dolu. Hangisini kullanacağınıza karar verirken dikkate almanız gereken birkaç nokta var:

Ne kadar vaktin var? Bunu düzenli olarak mı yapıyorsun, yoksa sadece bir kez mi?

Bütçeniz ne kadar? Google Analytics gibi, web tarama özellikleri yerleşik olarak bulunan bir yazılıma zaten sahip misiniz? İhtiyacınız olan şey ücretsizse, neden daha fazla para ödeyesiniz ki?

Web kazıma yoluyla gerçekten nasıl para kazanılır?

Web veri toplamanın engin dünyası, tek bir temel unsura indirgenebilir: bilgi.

Bu bilgi, her türlü ticari işlemde bir tür para birimi olarak kullanılabilir:

• Bilgileri doğrudan satmak veya bunlardan yararlanmak
• İş otomasyonunu desteklemek
• Ticaret ve ticareti optimize etmek

Bilgi satışı oldukça basit bir konudur – casus filmlerinin tamamı, değerli bilgiler içeren bir USB bellek etrafında döner.

Peki ya otomasyon ve ticaret?

Şöyle bir düşünün:

Her ürün, en küçük pikseline kadar bilgiden ibarettir.

1. Bilgi satan bir iş kurun.

 

• Finans uzmanı – Borsayı, gayrimenkul sektörünü ve kripto para birimlerini etkileyen haberleri ve gelişmeleri derleyin .
• SEO uzmanı – Anahtar kelime araştırması ve içerik pazarlaması konusunda danışmanlık hizmeti sunar.
• İş danışmanı – Sektördeki rekabet ve pazar eğilimleri hakkında derinlemesine analizler sunar.

Bu tür durumlarda, insanların halihazırda para ödediği bilgileri araştırıp bunları bir ürün olarak sunarsınız. Ayrıca, web sitenizde trafiği artırmak amacıyla bu bilgileri ücretsiz olarak sunabilir ya da bağlı kuruluş reklamcılığı yoluyla satabilirsiniz.

2. Aracı hizmet olarak web veri toplama.

• Seyahat fiyatları toplama – Uçak bileti, otel ve diğer seyahat hizmetlerinde en iyi fiyatları bulmak için web’den veri toplama hizmeti sunun. Bu, çok sayıda seyahat web sitesinde sürekli veri toplama işlemi gerektirdiğinden, dönüşümlü olarak ev tipi proxy’ler kullanmanız gerekecektir. Muhtemelen bildiğiniz gibi, Google da oteller ve uçak biletleri ile ilgili en güncel bilgileri size sunmak için Google Spider’larını kullanır. Bu arada, Expedia, Skyscanner ve Hostelworld gibi diğer şirketler de farklı seyahat nişlerinden yararlanmaktadır.
• Hisse senedi aracılığı veya hedge fon yönetimi – Herkes ilk hisse senedini ya da kripto parayı satın aldıktan sonra bir yatırım dehası olur. Ancak portföylerini kârlı tutmayı başaranlar, bilgi önyargısının ne olduğunu çok iyi bilirler. Büyük resmi görebilmek için büyük veriye sahip olmak hayati önem taşır. Bunu elde etmenin tek yolu, insan algısının daraltıcı filtresinden arındırılmış bilgileri toplayan botlardır. Bu tür bir destekle riski başarılı bir şekilde yönetebilirsiniz – bu, insanların paralarını size emanet edeceği bir hizmettir (tabii ki, faiziyle birlikte geri verebiliyorsanız).
• Pazarlama ve reklamcılık – Pazarlama ajansları ve işletmeler için sadece bir bilgi kaynağı olmak yerine , siz de bilgi kaynağı olabilirsiniz. Bir kez daha, Google, Google Analytics ile bir tür otorite iddiasında bulunurken, SEMRush ve AnswerThePublic gibi yan kuruluşlar da bu alandaki önemli boşluğu dolduruyor. Artık doldurulacak bir boşluk kalmadığını düşünebilirsiniz, ancak bu doğru değil. Dünyadaki her şey çevrimiçi ortamda yayılıyor ve çoğalıyor; birinin tüm bu bilgileri düzenlemesi gerekiyor. (Elbette makul bir ücret karşılığında)

3. Web'den popüler ürünlerin verilerini toplama

Piyasadaki abartılı beklentilere dikkat etmelisiniz. Böylelikle riskiniz düşük, getiriniz yüksek olur. Başka bir deyişle, elinizde kalıp zarara uğrayarak satmak zorunda kalmazsınız.

• Spor Ayakkabılar – Sneaker tutkunlarının kalbinden filizlenen benzersiz bir yeniden satış sektörü. Para, sınırlı sayıda üretilen spor ayakkabılarda yatıyor; bazı Yeezy veya Jordan modellerinde 10 kat kâr elde etmek hiç de zor değil. Ancak, bu işe yeni başlıyorsanız öğrenme süreci oldukça zorlu olabilir – yine de kârlı spor ayakkabı alım satımı için sizi hazırlayacak pek çok rehber mevcut.
• Elektronik Ürünler – PS5 veya bilgisayar ekran kartları gibi elektronik ürünlerin yeniden satışı gerçekten çok kolaydır ve hatta bu yolla oldukça kazançlı bir geçim kaynağı elde edilebilir. Tıpkı spor ayakkabılarında olduğu gibi, rekabet oldukça şiddetlidir.
• Etkinlik biletleri – Bu , belki de ikinci el satış pazarının en eski ürünüdür. Bilet satışlarının hileli gibi gelmesinin bir nedeni var – aslında bir bakıma öyle. Botlar, en çok rağbet gören etkinlik biletlerinin çoğunu kapıp, bunları yüksek fiyata kar amacıyla satıyor.
• Mantar olmayan tokenlar veya NFT’ler – Bazı NFT’lere ulaşmak inanılmaz derecede zordur. Muhtemelen tekliflerin yarısı botlar tarafından yapıldığı içindir. Bu örnekteki botlar, kendileri için olabildiğince çok sayıda NFT elde etmek amacıyla birden fazla teklif ve çekiliş başvurusu yapıyor; böylece daha sonra OpenSea, Solanart veya DigitalEyes gibi pazar yerlerinde çılgın kârlarla yeniden satabiliyorlar.

Bu durumların herhangi birinde, web kazıma işleminin işlevi biraz farklıdır. Bu araçlar yine web sayfalarını tarar ve verileri kaydeder, ancak aynı zamanda ödeme sürecini de otomatikleştirir.

Birkaç proxy kullanırsanız, bu satın alma işlemlerinin sayısını artırarak kazanma şansınızı yükseltebilirsiniz. Aslında, botlar ve web kazıyıcılar gibi herhangi bir otomatik yazılımı çalıştırmak için proxy kullanmak kesinlikle gereklidir. Aksi takdirde, IP adresiniz engellendiğinde tüm operasyonunuz başarısız olur.

Sonuç

Bu stratejilerin her biri tek başına bile harcanan zaman ve çabaya değer. Peki, bunları bir araya getirirseniz ne elde edersiniz?

Bilgiyi yiyip maaş çekleri çıkaran bir tür makine.

Büyük olanlar.

Piyasa bilgileri adeta gözünüzün önünde duruyor, ancak bu muazzam hacim, işleme kapasitemizi aşıyor. Her ne kadar (Neo gibi) bu matrisi geçici olarak kontrol altına alabileceğimize inanmak istesem de, bir web kazıyıcı biraz daha güvenilir bir seçenektir.

Saniyeler içinde şunları yapabilirsiniz:

• Finans piyasasının mevcut durumunu analiz edin
• Piyasadaki değişiklikleri ve eğilimleri belirlemek
• Hisse senetlerini ve ekonomiyi etkileyen ulusal ve küresel haberleri takip edin
• Tüketici duyarlılığını ve davranışlarını analiz edin

İnternette yapabileceğiniz her şeyi, web kazıyıcıları çok daha büyük bir ölçekte gerçekleştirir.

Hepsi proxy'ler sayesinde.

(Vekiller, Ajan Smith’ten varlığınızı gizleyen unsurlardır)