ما هو تنسيق الملف الذي تستخدمه في عملية استخراج البيانات من الويب؟ الإجابة معقدة بعض الشيء، لذا يقدّم لك هذا الدليل شرحًا مبسطًا لأكثر الأنواع شيوعًا.
هل سبق لك أن ألقيت نظرة على «ما وراء الكواليس» لأحد المواقع الإلكترونية؟ جرب الضغط على المفتاح F12 في لوحة المفاتيح (لا تقلق).
إذا كنت تستخدم متصفح «كروم»، فستظهر أدوات المطورين لتمنحك لمحة عن مدى التعقيد الكامن وراء كل هذا المحتوى السهل القراءة.
هذه هي البيانات التي تقوم فعليًّا باستخراجها من مواقع الويب.
جافا سكريبت، ولغة ترميز النص التشعبي، وPHP، والعديد من اللغات الأخرى التي تستخدمها أجهزة الكمبيوتر لنقل البيانات وعرضها.
اعتبر هذا المنشور محاولة لتحديد اللغات التي تحتاج إلى معرفتها من أجل استخراج البيانات من الويب.
ما هو تنسيق الملف؟
تنسيق الملف هو خريطة هيكلية ترشد البرنامج إلى كيفية عرض محتوياته وتخزينها. وهو يحدد ما إذا كان الملف ثنائيًّا أم لا، ويوضح كيفية تنظيم البيانات — على سبيل المثال، يخزن تنسيق CSV النص العادي في جداول.
من خلال النظر إلى امتداد الملف، يمكنك تحديد نوع تنسيق الملف.
على سبيل المثال، إذا قمت بحفظ ملف باسم «document» بتنسيق CSV، فسيظهر باسم «document.csv». وعند فتحه، ستتمكن من رؤية البيانات في شكل جدول.
ما هو تنسيق ملف جدول البيانات؟
تستخدم جدول البيانات الأرقام والحروف لتنظيم وتسمية شبكة خلايا المستند إلى صفوف وأعمدة. أما تنسيق ملف جدول البيانات فهو طريقة تنظيم وتخزين البيانات في تلك الخلايا.
من بين تنسيقات ملفات جداول البيانات الشائعة: القيم المفصولة بفواصل (.csv)، وجداول بيانات Microsoft Excel (.xls)، وجداول بيانات Microsoft Excel بتنسيق Open XML (.xlsx).
ما الفرق بين تنسيقات الملفات الثنائية والنصية؟
هل سبق لك أن حاولت فتح ملف JPEG في برنامج «المفكرة»؟
الوضع فوضوي.
وذلك لأن تنسيق ملفات JPEG هو تنسيق ثنائي لا يمكن للبشر قراءته، ويحتاج إلى جهاز كمبيوتر لفك ضغطه. أما تنسيقات الملفات النصية، فهي قابلة للقراءة من قبل البشر.
يتم نقل الملفات الثنائية بسرعة أكبر لأنك لا تحتاج إلى تحليل أي شيء. لكن الجانب السلبي هو أنه لا يمكنك تعديل الملفات الثنائية بسهولة. فأنت بحاجة إلى تضمين وظائف القراءة والكتابة القديمة والجديدة، وتضمين رقم الإصدار في الملف.
يمكنك تعديل ملف نصي في أي وقت دون أي مشاكل، لكن تنظيم الملفات يؤدي إلى إبطاء أداء الوظيفة.
اختيار تنسيق الملف الصحيح.
عندما تبدأ مشروعًا لجمع البيانات، عليك أن تراعي تنسيقها، والطريقة التي تريد عرضها بها، وكيفية تخزينها.
وفيما يلي بعض العوامل الأساسية الأخرى:
- ما هي التنسيقات التي تستخدمونها أنتم وعملاؤكم عادةً؟
- ما هي البرامج المتوافقة مع أجهزتك؟
- كيف تخطط لتحليل بياناتك وفرزها وتخزينها؟
- ما هي صيغ الملفات الأسهل في المشاركة؟
- كيف ستقوم بفتح وقراءة بياناتك في المستقبل؟
تنسيقات البيانات الشائعة في عملية استخراج البيانات من الويب
هناك أشكال لا حصر لها من البيانات. بعضها أكثر ملاءمة للتخزين طويل الأمد مثل ORC وParquet، في حين أن البعض الآخر أكثر ملاءمة لنقل البيانات بين أجهزة الكمبيوتر.
فيما يتعلق باستخراج البيانات من الويب، فأنت تريد أن تكون قادرًا على العثور على البيانات وجمعها وتحليلها وتخزينها.
تنسيق ملف القيم المفصولة بفواصل (.csv)
التنسيق الأكثر شيوعًا هو تنسيق CSV – ومعظم الناس يعرفون كيفية عمله.
يعمل تنسيق CSV بشكل جيد مع البيانات ثنائية الأبعاد (الصفوف والأعمدة). ومع ذلك، فإن الكثير من البيانات التي نواجهها تكون متعددة الأبعاد ولا يمكن معالجتها بشكل جيد في جدول بيانات ثنائي الأبعاد.
من عيوب ملفات CSV عدم مرونتها في التعامل مع التغيرات في عدد الأعمدة في كل صف من صفوف الملف.
تنسيق ملف Microsoft Excel Open XML (.xls أو . xlsx)
يُعد «إكسل» تنسيقًا لملفات جداول البيانات يُعد خيارًا جيدًا لمعالجة البيانات القابلة للقراءة البشرية. يجب أن تكون البيانات مسطحة (ثنائية الأبعاد)، ومن الأفضل استخدام هذا التنسيق مع مجموعات البيانات الأصغر حجمًا أو في التحليل الاستكشافي.
تحتوي ملفات Excel أيضًا على الكثير من المعلومات الإضافية مثل الرسوم البيانية والمخططات والتنسيقات والصيغ والصور.
هناك اختلاف بسيط بين صيغتي XLS وXLSX. وبشكل أساسي، كانت صيغة XLS هي صيغة الملف الافتراضية لبرنامج Excel في الفترة ما بين عامي 1997 و2003، في حين أن صيغة XLSX هي أحدث صيغة للملفات منذ عام 2007 فصاعدًا.
ترميز كائنات جافا سكريبت (.json)
JSON هو تنسيق خفيف الوزن يحظى بقبول واسع. وباعتباره أداة نصية، فإنه يسهل على البشر قراءته وكتابته، لكن قراءته قد تشكل تحديًا في حالة وجود العديد من الحقول المتداخلة. كما أنه يسهل على الآلات تحليله أيضًا.
يُعد JSON خيارًا ممتازًا لمجموعات البيانات الصغيرة، أو بيانات الهبوط، أو تكامل واجهات برمجة التطبيقات (API). أما إذا كنت بحاجة إلى معالجة كميات كبيرة من البيانات، فمن الأفضل تحويلها إلى تنسيق أكثر كفاءة.
يمكنه معالجة البيانات متعددة الأبعاد وشبه المنظمة بسهولة، كما يمكنك إضافة أي حقول أو حذفها بسهولة.
تدعم معظم قواعد البيانات واللغات البرمجية استيراد وتصدير JSON، أو تتوفر لها مكتبات جاهزة لهذا الغرض.
تنسيق ملف لغة ترميز النص التشعبي (.html)
تتألف لغة الترميز من أحرف ورموز غير مرئية توجه محتوى الصفحة المرئي الذي تحدد موقعه. بعبارة أخرى، نستخدم لغة HTML لوصف بنية صفحة الويب من خلال توضيحها باستخدام العلامات (الأحرف والرموز).
على عكس لغة XML، التي تتيح لك إنشاء لغة ترميز خاصة بك انطلاقًا من إطار عمل معين، لا يمكنك إنشاء علامات HTML خاصة بك. فـ HTML تأتي مع مجموعة محددة مسبقًا من الأوامر.
تنسيق ملف لغة الترميز القابلة للتوسيع (.xml)
XML هي لغة ترميز أخرى يمكننا استخدامها لنقل البيانات بين أجهزة الكمبيوتر. ومثل HTML، فهي تنسيق ملف نصي يمكن قراءته من قبل البشر وأجهزة الكمبيوتر على حد سواء.
يكمن الاختلاف الرئيسي في أنه يمكنك التمتع بمرونة أكبر في تحديد هياكل صفحات الويب، حيث يمكنك إنشاء أوامر مخصصة.
ما هو تنسيق الملف المناسب لعملية استخراج البيانات من الويب؟
على الرغم من أن تنسيق CSV أكثر شيوعًا، إلا أن تنسيق JSON هو التنسيق الأكثر انتشارًا ومرونةً في مجال استخراج البيانات من الويب. أما التنسيقات الأخرى، فتنطوي على المزيد من التحديات وتحتاج إلى تخصيصات أكثر، مما يجعلها عادةً أكثر استهلاكًا للموارد.
يمكنك عرض ملفات CSV بسهولة في جداول بيانات Microsoft Excel، وعادةً ما يتم ذلك عن طريق النقر بزر الماوس الأيمن على الملفات وفتحها في Excel. وهذا يجعلها وسيلة مثالية لتنظيم البيانات وعرضها.
نأمل أن يضيف هذا بعض السياق إلى استراتيجيتك في جمع البيانات. وإذا كنت مستعدًا لمعرفة المزيد، فيمكنك البدء في تعلم كيفية اختيار أداة استخراج البيانات من الويب المناسبة لمشاريعك.
