بمجرد توسيع نطاق أداة استخراج البيانات الخاصة بك، تبدأ العقبات في الظهور. تظهر اختبارات CAPTCHA في كل مكان، ويتم حظر أداة استخراج البيانات في نصف طلباتك، كما يتم حظر عناوين IP قبل أن تصل حتى إلى الهدف. لذا تبدأ في البحث عن طرق لحل اختبارات CAPTCHA. لكن هذا ليس المكان الصحيح للبحث فيه.

اختبارات CAPTCHA ليست هي السبب في المشكلة، بل هي مؤشر عليها. فعندما تظهر إحدى هذه الاختبارات، يكون عنوان IP الخاص بك قد تم الإبلاغ عنه بالفعل.

من المتوقع أن يتضاعف حجم سوق استخراج البيانات من الويب ثلاث مرات تقريبًا بحلول عام 2032. وقد نجحت العمليات التي تعمل على هذا النطاق في حل مشكلة الملكية الفكرية أولاً. وهذا هو جوهر الموضوع.

لن تختفي التحديات المتعلقة باستخراج البيانات عبر تجاوز اختبار CAPTCHA ما لم تتغير البنية التحتية التي تقف وراءها.

ما الذي تخبرك به اختبارات «كابتشا» في الواقع

تقوم أنظمة مكافحة الروبوتات، مثل Cloudflare وDataDome وAkamai، بحساب درجة ثقة لكل طلب وارد قبل عرض أي محتوى. ويشمل ذلك نوع عنوان IP وسمعة عنوان IP وبصمة TLS وبصمة المتصفح ورؤوس الطلبات. وتُستخدم جميع هذه العوامل في حساب درجة تحدد الخطوة التالية.

عندما تنخفض هذه النتيجة عن حد معين، تظهر اختبار CAPTCHA. وعندما تنخفض إلى درجة كافية، يتم حظر الطلب تمامًا.

ولهذا السبب لا يجدي حل اختبارات CAPTCHA على نطاق واسع. فالنتيجة التي أدت إلى تفعيلها لا تزال منخفضة. ويمر الطلب التالي عبر نفس البنية التحتية ويحصل على النتيجة نفسها. 

إن معالجة الأعراض فقط، في حين تظل المشكلة الأساسية المتمثلة في استخراج بيانات «كابتشا» (CAPTCHA) عبر التجاوز قائمة، لا يعني سوى المزيد من اختبارات «كابتشا»، والمزيد من حالات الحظر، والمزيد من الوقت الذي يُنفق على الصيانة بدلاً من جمع البيانات.

لماذا تفشل عناوين IP لمراكز البيانات عند التوسع

تأتي عناوين IP الخاصة بمراكز البيانات من مزودي الخدمات السحابية مثل AWS وGoogle Cloud وAzure. وتتعرف أنظمة مكافحة الروبوتات على كل نطاق من نطاقات عناوين IP التي يمتلكها هؤلاء المزودون. وبمجرد وصول طلب من أحد هذه النطاقات، يتم تصنيفه على أنه طلب آلي محتمل قبل التحقق من أي شيء آخر.

هذه هي المشكلة الهيكلية التي تواجه الكشف عن عمليات استخراج البيانات عبر عناوين IP الخاصة بمراكز البيانات. فعنوان IP الخاص بمركز البيانات لا يحصل على درجة ثقة منخفضة فقط بسبب ما قمت به باستخدامه، بل يحصل على درجة منخفضة بسبب طبيعته ذاتها. وتزيد عناوين IP المشتركة في مراكز البيانات من سوء الوضع. فوجود مئات برامج استخراج البيانات التي تتناوب على استخدام نفس العناوين يعني أن هذه العناوين تتراكم سجل الحظر بسرعة. وأنت ترث هذا السجل لحظة اتصالك بها.

وعلى نطاق واسع، تتفاقم هذه المشكلة بسرعة. فكلما زاد عدد الطلبات التي ترسلها، زاد تراكم السجلات السلبية المرتبطة بمجموعة عناوين IP الخاصة بك. وإذا كنت تحاول تجنب مشاكل حظر عناوين IP الناتجة عن استخراج البيانات من الويب عن طريق التناوب بين المزيد من عناوين مراكز البيانات، فإنك في الحقيقة لا تفعل سوى التناوب بين المزيد من العناوين التي تعاني من نفس المشكلة الهيكلية.

مشكلة «درجة الثقة» تتجاوز مجرد عنوان IP

يُعد تعيين عنوان IP الخطوة الأكثر تأثيرًا، لكن أنظمة الكشف عن الروبوتات ومنع الاستخراج لا تقتصر على تحليل عنوان IP فحسب. فبحلول الوقت الذي يصل فيه الطلب، تكون عدة إشارات أخرى قد خضعت للتقييم بالفعل.

• تعمل تقنية «بصمة TLS» على تحديد نوع العميل من خلال عملية المصافحة قبل تبادل أي محتوى. وتنتج معظم مكتبات HTTP توقيع TLS مختلفًا عن التوقيع الذي ينتجه المتصفح الحقيقي، وهو ما يُعد دليلاً فوريًا على ذلك.
• تقوم تقنية «بصمة المتصفح» بإنشاء ملف تعريف استنادًا إلى دقة الشاشة، والخطوط المثبتة، ومُعالج WebGL، وبيانات لوحة الرسم (canvas). أما المتصفحات التي تعمل بدون واجهة مستخدم، فتكشف عن تفاصيل محددة تميزها عن جلسات المستخدمين الحقيقية.
• تشمل أنماط السلوك توقيت الطلبات ومسارات التنقل وبيانات التفاعل. وتُعتبر الطلبات التي تصل على فترات زمنية متسقة تمامًا أو التي تخرج عن نمط التصفح المعتاد طلباتً بارزة.
• وتكمل رؤوس الطلبات هذه العملية. فالتعليقات التي تكون مفقودة أو غير متطابقة مع «User-Agent» المُعلن عنها يتم الإبلاغ عنها على الفور.

لا شيء من هذا يغلب على عنوان IP سيئ. فعنوان IP سكني يتمتع بدرجة ثقة عالية يمنح كل المؤشرات الأخرى فرصة أفضل للنجاح. أما عنوان IP الخاص بمركز البيانات فيؤثر سلبًا على التقييم قبل حتى أن يتم فحص المؤشرات الأخرى.

كيف تعمل البروكسيات السكنية على حل المشكلة الجذرية

تعمل البروكسيات السكنية المخصصة لجمع البيانات من الويب على استبدال عناوين IP الخاصة بمراكز البيانات بعناوين مخصصة من قبل مزودي خدمة الإنترنت الفعليين لاتصالات منزلية حقيقية. وتتعامل أنظمة مكافحة الروبوتات معها على أنها حركة مرور بشرية محتملة منذ الطلب الأول، لأن ذلك هو ما تشير إليه بيانات تعريف عناوين IP.

يحدث تحسن درجة الثقة على الفور. فعنوان IP السكني لا يحمل تصنيف «مركز البيانات» الذي يؤدي إلى منح درجات منخفضة تلقائيًا. بل يبدأ من خط أساس محايد أو إيجابي، مما يتيح لبقية الطلب فرصة اجتياز طبقات الكشف الأخرى.

تعمل آلية التناوب على معالجة مشكلة الحجم. حيث تعمل الوكلاء المتناوبة المستخدمة في عملية استخراج البيانات على توزيع الطلبات عبر مجموعة كبيرة من العناوين. ولا يتراكم لدى أي عنوان IP واحد سجل طلبات كافٍ لإثارة آلية الكشف عن الأنماط. ويبدأ كل عنوان في المجموعة من الصفر.

يؤدي الجمع بين تدوير عناوين IP السكنية واستخدام رؤوس طلبات واقعية وتوقيت عشوائي بين الطلبات إلى تحقيق معدلات نجاح تتراوح بين 90 و95% على معظم المواقع الإلكترونية المحمية. وهذا هو الفرق بين عملية استخراج البيانات التي تعمل بشكل مستمر وتلك التي تقضي نصف وقتها في التعامل مع حالات الحظر.

بالنسبة إلى تحليل البيانات تحليل البيانات حيث يتعين على عنوان IP نفسه الحفاظ على الحالة عبر طلبات متعددة، فإن الوكلاء الثابتين لمزودي خدمة الإنترنت (ISP) هم الخيار الأنسب. نفس الشرعية السكنية، ونفس خط الأساس لدرجة الثقة، دون الحاجة إلى التناوب. وهنا أيضًا تختفي فعليًّا مشاكل تجاوز اختبار CAPTCHA عند استخراج البيانات ، لأن درجة الثقة لا تنخفض أبدًا إلى مستوى منخفض بما يكفي لتفعيل الاختبار.

كيف يبدو تدوير البروكسيات السكنية على نطاق واسع

يعتمد ما يقرب من 40% من المطورين بالفعل على خدمات البروكسي لتجاوز الحواجز المضادة للروبوتات. وبالنسبة لأي شخص يقوم بعمليات استخراج البيانات على نطاق واسع، فإن البنية التحتية لاستخراج البيانات عبر الويب باستخدام بروكسيات سكنية ليست خيارًا، بل هي الأساس.

إليك كيفية عمل التناوب في الواقع. يمر كل طلب عبر عنوان IP سكني مختلف من المجموعة. ولا يتراكم على أي عنوان بمفرده حجم حركة مرور كافٍ لتفعيل آلية تحديد السرعة أو كشف البروكسيات المستخدمة في استخراج البيانات من المواقع. وتبقى المجموعة «نظيفة» بفضل توزيع الحمل.

التوزيع الجغرافي مهم أيضًا. فعناوين IP الموزعة على المواقع ذات الصلة تبدو أقرب إلى حركة المرور العضوية مقارنةً باندفاع مركّز من منطقة واحدة.

يتم التعامل مع الطبقة السلوكية من خلال التوقيت. فالتأخيرات العشوائية التي تتراوح بين 2 و10 ثوانٍ بين الطلبات تمنع حدوث فترات زمنية متسقة تمامًا، والتي تعتبرها أنظمة مكافحة الروبوتات دليلًا على أن العملية آلية.

بالنسبة للبحوث التي تعتمد بشكل مكثف على البيانات عمليات جمع البيانات البحثية ، فإن هذا المزيج هو ما يسمح لبرامج استخراج البيانات بالعمل بشكل مستمر. إن استخراج البيانات عبر الويب باستخدام التناوب بين الخوادم الوكيلة ، إذا تم تنفيذه بشكل صحيح، يعني أن العملية لا تترك أبدًا أثرًا كافيًا على أي عنوان IP واحد بحيث يتم ملاحظتها.

البروكسيات السكنية المتناوبة من IPBurger لاستخراج البيانات من الويب

تواجه معظم عمليات استخراج البيانات نفس العقبة. يتم وضع علامات على عناوين IP الخاصة بمراكز البيانات، وتتراكم حالات الحظر، ويقضي الفريق وقتًا أطول في إدارة البنية التحتية بدلاً من جمع البيانات. ويؤدي التحول إلى استخدام البروكسيات السكنية من IPBurger في عمليات استخراج البيانات من الويب إلى حل هذه المشكلة من جذورها.

إليكم شكل البنية التحتية:

• أكثر من 75 مليون بروكسي سكني متناوب في أكثر من 190 دولة، يتمتع كل منها بسجل نظيف وخالٍ من أي عمليات استخراج بيانات سابقة أو ارتباط ببوتات
• الاستهداف على مستوى المدينة والبلد بحيث تنشأ الطلبات من المواقع المحددة التي يتطلبها جمع البيانات الخاص بك
• تصنيف حقيقي لعناوين IP السكنية، حيث تعاملها أنظمة مكافحة الروبوتات على أنها حركة مرور مشروعة منذ الطلب الأول
• لا توجد نطاقات مراكز البيانات المشتركة التي تؤدي إلى ظهور درجات ثقة منخفضة تلقائيًّا قبل وصول أي طلب

والنتيجة النهائية هي نظام لاستخراج البيانات يتجاوز اختبارات CAPTCHA، وقابل للتوسع دون الحاجة إلى أعباء صيانة مستمرة. لا حواجز CAPTCHA، ولا دورات لتبديل عناوين IP المحظورة، ولا حاجة إلى إصلاح الأعطال في البنية التحتية. النظام يعمل والبيانات تتدفق.

توقف عن حل اختبارات CAPTCHA. توقف عن تلقيها.

يستخدم أكثر من 80% من تجار التجزئة في الولايات المتحدة بالفعل تقنية استخراج الأسعار الآلية من أجل إعادة التسعير الديناميكي. ولا تعتمد هذه العمليات على حل اختبارات CAPTCHA يدويًّا، بل إنهم أنشأوا بنية تحتية لا تُنتج هذه الاختبارات أصلاً.

لم يكن الهدف أبدًا تجاوز حواجز «كابتشا» التي تمنع استخراج البيانات. بل كان الهدف هو الحفاظ على درجة ثقة عالية بما يكفي لعدم ظهور هذه الحواجز أبدًا. وعناوين IP الخاصة بمراكز البيانات تجعل ذلك مستحيلاً على نطاق واسع. أما البروكسيات السكنية المستخدمة في استخراج البيانات من الويب، فتجعل ذلك هو الوضع الافتراضي.

حدد عنوان IP، وستتبع ذلك الأمور الأخرى.