يُعد استخراج البيانات من الويب أداة فعالة للغاية في توفير الوقت، لكن هذا ليس سوى نصف القصة.

كما يمكن أن تجعلك ثريًّا.

(مع البيانات)

حسنًا، كان هذا تعليقًا غير لائق بعض الشيء — لكنه ليس مزحة — فالبيانات هي الذهب الرقمي.

(آسف يا بيتكوين)

ولكن قبل أن ننغمس، على غرار سكرووج ماكداك، في أي «جواهر» ثنائية، ينبغي أن نلقي نظرة سريعة على بعض الأمور المتعلقة باستخراج البيانات من الويب. وإليكم ما أقترحه:

ما هو استخراج البيانات من الويب؟

يُقصد بـ«استخراج البيانات من الويب» عملية قيام شخص ما بجمع البيانات من الإنترنت. (تخيل عملية النسخ واللصق، لكن بشكل أسرع)

يستخدمون تطبيقًا أو برنامجًا نصيًّا لأتمتة عملية جمع البيانات، وإزالة أي معلومات غير ضرورية، وتنظيمها في مكتبة.

تقوم برامج استخراج البيانات من الويب بتنزيل ملف robot.txt لمعرفة الأجزاء التي يمكنها الوصول إليها على موقع الويب. ثم تتبع الروابط المؤدية إلى صفحات جديدة وتُعد قائمة أو «قائمة انتظار الزحف».

الأمر يشبه إلى حد ما إضافة قائمة تشغيل إلى قائمة الانتظار على «سبوتيفاي» أثناء اكتشافك للأغاني التي تعجبك. إلا أن «باليت» (برنامج استخراج البيانات من الويب) لا يتمتع بذوق رفيع كهذا، بل يضيف كل شيء إلى قائمة الانتظار.

مع استمرار أداة الاستخراج في تصفح القائمة المتزايدة، تتفرع إلى صفحات مختلفة حتى تنتهي مهمتها.

ما الذي يُكشط بالضبط؟

 

الإنترنت بالطبع. وبشكل أكثر تحديدًا، تقوم بجمع معلومات قيّمة من صفحات الويب يمكن استخدامها لبدء مشروع تجاري وإدارته، والمساهمة في مشاريع بحثية، وأتمتة المهام الروتينية المملة.

ومن الأمثلة الأخرى ما يلي:

• يمكنك الاطلاع على الأخبار وموجزات وسائل التواصل الاجتماعي لمعرفة ما يفعله المنافسون.
• اكتشف المنتجات الأكثر رواجًا على موقع eBay.
• تقديم أفضل الأسعار للسفر الجوي من خلال تجميع الأسعار.
• ابحث عن التباينات في الأسعار التي يمكن أن تدر ربحًا.

يمكنك برمجة برامج استخراج البيانات من الويب للقيام بأي شيء يمكنك القيام به عبر الإنترنت — ولكن بسرعة تفوق ذلك آلاف المرات.

كيف يمكن الحصول على أداة استخراج البيانات من الويب؟

يمكنك كتابة أداة استخراج البيانات الخاصة بك من الصفر، أو يمكنك استخدام أداة كتبها شخص آخر بالفعل. إذا لم تكن مبرمجًا، فمن الأفضل أن تختار أداة مثل Octoparse، فهي ستوفر عليك الوقت وتسرع العملية.

ومن الأمثلة التي ظهرت منذ فترة طويلة واجهة برمجة تطبيقات YQL (لغة استعلام ياهو) التابعة لياهو. فهي تتيح الوصول إلى أنواع عديدة ومختلفة من مصادر البيانات، بما في ذلك موجزات RSS، وتوقعات الطقس المحلية، أو قوائم الأفلام — فكل ما يتم تحديثه بانتظام عبر الإنترنت يصبح متاحًا من خلال هذه الخدمة دون الحاجة إلى أي برمجة إضافية. والأمر الرائع هو أنها لا تقتصر على صفحات الويب فحسب، بل يمكنها أيضًا الحصول على أسعار أسواق الأسهم، أو مراقبة موجزات الأخبار على وسائل التواصل الاجتماعي، أو التقارير المالية.

لكن هذا أسلوب قديم جدًّا.

فيما يلي بعض الأمثلة على ملحقات الاستخراج الحديثة لمتصفحك:

1. أداة استخراج البيانات (كروم)

مع الإصدار المجاني، يمكنك استخراج ما يصل إلى 500 صفحة من البيانات شهريًّا. هذا ليس بالكثير، ولكن إذا كنت تريد المزيد، فيمكنك الترقية إلى خطة مدفوعة.

2. أداة استخراج البيانات من الويب

يحتوي هذا البرنامج على ملحقين، أحدهما لمتصفح Chrome والآخر لمتصفح Cloud، ويعملان بنقرة بسيطة دون الحاجة إلى أي خبرة في البرمجة على الإطلاق. وهو متوافق مع لغات الويب الحالية، ويمكن دمجه بسهولة مع برامج الأتمتة والبروكسيات.

3. أداة الاستخراج (Chrome)

هذا البرنامج سهل الاستخدام، لكنني أوصيك بأن تكون لديك بعض الخبرة في البرمجة. إذا نقرت على أي نص في جدول أو قائمة ثم اخترت خيار «Scrape Similar» من قائمة المتصفح، يمكنك الحصول على المعلومات والمحتوى عن طريق إضافة أعمدة جديدة باستخدام XPath أو JQuery.

يمكنني أن أستمر في الحديث إلى ما لا نهاية — فالإنترنت مليء بأدوات استخراج البيانات. وعندما تختار أي منها ستستخدم، هناك بعض الأمور التي يجب أن تضعها في اعتبارك:

كم من الوقت لديك؟ هل هذا شيء تقوم به بانتظام أم لمرة واحدة فقط؟

ما هي ميزانيتك؟ هل تمتلك بالفعل برنامجًا مثل «Google Analytics» الذي يتضمن إمكانيات الزحف إلى مواقع الويب بشكل مدمج؟ فلماذا تدفع المزيد إذا كان ما تحتاجه متاحًا مجانًا؟

كيفية تحقيق أرباح حقيقية من استخراج البيانات من الويب

إن عالم «استخراج البيانات من الويب» الواسع يتلخص في عنصر رئيسي واحد: المعلومات.

ويمكن استخدام هذه المعلومات كنوع من العملة في جميع أشكال التبادل التجاري:

• البيع المباشر للمعلومات أو الاستفادة منها
• دعم أتمتة الأعمال
• تحسين عمليات التداول والتجارة

بيع المعلومات أمر بسيط للغاية – فهناك أفلام تجسس كاملة تدور أحداثها حول محرك أقراص محمول يحتوي على معلومات قيّمة.

ولكن ماذا عن الأتمتة والتجارة؟

انظر إلى الأمر من هذه الزاوية:

كل منتج، حتى على مستوى البكسل، هو معلومة.

1. ابدأ مشروعًا تجاريًّا لبيع المعلومات.

 

• خبير مالي – تجميع الأخبار والأحداث التي تؤثر على سوق الأسهم والعقارات والعملات المشفرة.
• خبير متميز في تحسين محركات البحث (SEO) – يقدم استشارات في مجال البحث عن الكلمات المفتاحية وتسويق المحتوى.
• مستشار أعمال – يقدم تحليلات متعمقة للمنافسة في القطاع واتجاهات السوق.

في هذه الحالات، ستبحث عن المعلومات التي يدفع الناس مقابلها بالفعل، ثم تقوم بتجميعها وتقديمها كمنتج. كما يمكنك تقديمها مجانًا على موقعك الإلكتروني لجذب الزوار، أو بيعها كإعلانات تابعة.

2. استخراج البيانات من الويب كخدمة وسيطة.

• تجميع أسعار السفر – استخراج أفضل الأسعار من الويب لتذاكر الطيران والفنادق وخدمات السفر الأخرى كخدمة. يتطلب ذلك استخراجًا مستمرًا للبيانات من عدد كبير من مواقع السفر على الويب، لذا ستحتاج إلى استخدام بروكسيات سكنية متناوبة. وكما تعلم على الأرجح، تستخدم Google برامج Google Spiders لتزويدك بأحدث المعلومات عن الفنادق وتذاكر الطيران. وفي الوقت نفسه، تستفيد شركات أخرى مثل «إكسبيديا» و«سكاي سكانر» و«هوستيل وورلد» من مجالات السفر المتخصصة المختلفة.
• الوساطة في البورصة أو إدارة صناديق التحوط – يصبح الجميع «عبقريًا استثماريًا» بمجرد شراء أول سهم أو عملة مشفرة. لكن أي شخص لديه سجل حافل في الحفاظ على محفظته الاستثمارية في المنطقة الخضراء يدرك جيدًا ما يُعرف بـ«تحيز المعلومات». ولرؤية الصورة الكاملة، من الضروري الحصول على البيانات الضخمة. والطريقة الوحيدة للحصول على ذلك هي استخدام الروبوتات لجمع المعلومات الخالية من المرشح الضيق الذي يفرضه الإدراك البشري. وبهذا النوع من الدعم، يمكنك إدارة المخاطر بنجاح – وهي خدمة سيدفع الناس مقابلها أموالهم (إذا استطعت إعادتها إليهم، مع الفائدة).
• التسويق والإعلان – بدلاً من أن تكون مجرد مصدر معلومات لوكالات التسويق والشركات، يمكنك أن تكون أنت مصدر المعلومات نفسه. ومرة أخرى، تدعي «جوجل» من خلال «جوجل أناليتيكس» نوعًا من الهيمنة، بينما تملأ أدوات مثل «SEMRush» و«AnswerThePublic» الفجوة الكبيرة المتبقية. قد تعتقد أنه لم يعد هناك أي فجوة يمكن ملؤها، لكن هذا ليس صحيحًا على الإطلاق. كل شيء في العالم ينتقل ويتكاثر عبر الإنترنت، ولا بد أن يقوم شخص ما بفرز كل هذه المعلومات. (مقابل سعر معقول، بالطبع)

3. استخراج البيانات من المواقع الإلكترونية المتعلقة بالسلع الأكثر رواجًا

عليك أن تنتبه إلى الضجة الإعلامية. بهذه الطريقة، تكون المخاطر منخفضة والعائد مرتفعًا. بعبارة أخرى، لن تجد نفسك عالقًا بحمل الخسارة وتضطر إلى البيع بخسارة.

• الأحذية الرياضية – صناعة إعادة بيع فريدة من نوعها تزدهر من صميم شغف عشاق الأحذية الرياضية. وتكمن الأرباح في الأحذية الرياضية ذات الإصدارات المحدودة، حيث يمكن تحقيق عائد يصل بسهولة إلى 10 أضعاف قيمة الشراء لبعض موديلات «Yeezy» أو «Jordan». ومع ذلك، فإن مسار التعلم صعب في البداية – لكن هناك الكثير من الأدلة الإرشادية التي تساعدك على الاستعداد لتجارة الأحذية الرياضية المربحة.
• الأجهزة الإلكترونية – من السهل جدًّا إعادة بيع الأجهزة الإلكترونية مثل جهاز PS5 أو بطاقات الرسومات الخاصة بأجهزة الكمبيوتر، بل ويمكن حتى كسب رزق مريح من بيعها. تمامًا مثل الأحذية الرياضية، فإن المنافسة في هذا المجال شرسة.
• تذاكر الفعاليات – ربما تكون هذه هي «السلعة الأصلية» في سوق إعادة البيع. هناك سبب يجعل مبيعات التذاكر تبدو مزورة – فهي كذلك إلى حد ما. حيث تقوم الروبوتات بشراء معظم تذاكر الفعاليات الأكثر طلبًا لبيعها في السوق السوداء بأسعار مرتفعة.
• الرموز غير الفطرية أو NFTs – يصعب للغاية الحصول على بعض الرموز غير الفطرية. وربما يرجع ذلك إلى أن نصف العروض المقدمة تأتي من الروبوتات. ففي هذا المثال، تقوم الروبوتات بتقديم عروض متعددة والمشاركة في السحوبات بهدف الحصول على أكبر عدد ممكن من الرموز غير الفطرية لنفسها، بهدف إعادة بيعها لاحقًا وتحقيق أرباح خيالية في منصات مثل OpenSea أو Solanart أو DigitalEyes.

في أي من هذه الحالات، تختلف وظيفة «استخراج البيانات من الويب» اختلافًا طفيفًا. فهي لا تزال تقوم بالزحف إلى صفحات الويب وتسجيل البيانات، ولكنها تقوم أيضًا بأتمتة عملية الدفع.

وإذا استخدمت بعض الخوادم الوكيلة، يمكنك مضاعفة عدد عمليات الدفع هذه لزيادة فرصك في الفوز. في الواقع، من الضروري للغاية تشغيل أي برامج آلية — مثل الروبوتات وبرامج استخراج البيانات من الويب — باستخدام خوادم وكيلة. وإذا لم تفعل ذلك، فستفشل العملية برمتها عند حظر عنوان IP الخاص بك.

النتيجة

كل واحدة من هذه الاستراتيجيات، بحد ذاتها، تستحق ما يُبذل فيها من وقت وجهد. لكن ما الذي ستحصل عليه إذا جمعتها معًا؟

آلة من نوع ما تلتهم المعلومات وتخرج رواتب.

الكبيرة منها.

إن رؤى السوق تظهر أمام أعيننا حرفياً، لكن حجمها الهائل يتجاوز قدراتنا على معالجتها. ورغم أنني أحب أن أعتقد أننا نستطيع السيطرة مؤقتاً على «المصفوفة» (مثل «نيو») – إلا أن أداة استخراج البيانات من الويب تعد خياراً أكثر موثوقيةً قليلاً.

في غضون ثوانٍ معدودة، يمكنك:

• تحليل الوضع الحالي للسوق المالية
• تحديد التغيرات والاتجاهات في السوق
• تابع آخر الأخبار الوطنية والعالمية التي تؤثر على أسواق الأسهم والاقتصاد
• تعرّف على اتجاهات المستهلكين وسلوكهم

كل ما يمكنك القيام به عبر الإنترنت، تقوم برامج استخراج البيانات من الويب به على نطاق أوسع بكثير.

كل ذلك بفضل الوكلاء.

(الوكلاء هم الذين يخفون وجودك عن العميل سميث)