تُخرج أدوات استخراج البيانات من الويب ما يشبه حساء الحروف الأبجدية غير المهضوم تمامًا. 

مقرف.

قد يفترض المرء أن السبب هو مشاكل في الجهاز الهضمي، لكن الأمر ليس كذلك تمامًا.

تقوم أدوات استخراج البيانات من الويب بمعالجة البيانات بتنسيق غير منظم، لذا فإن ما تحصل عليه هو مستند HTML أو ملف فوضوي من نوع آخر. 

أدخل عملية تحليل البيانات.

يُعد تحليل البيانات إحدى الطرق التي تستخدمها أدوات استخراج البيانات من الويب لتحويل صفحات الويب إلى تنسيق يسهل قراءته. وتُعد هذه الخطوة أساسية في عملية استخراج البيانات من الويب، لأنه بدونها سيكون من الصعب قراءة البيانات وتحليلها.

يُعد التحليل النحوي أمرًا أساسيًّا لفهم لغة الحاسوب. وكما سترى قريبًا، فهو أمر أساسي أيضًا لفهم الواقع.

تعريف التحليل النحوي

يُشتق مصطلح «تحليل [البيانات]» من الكلمة اللاتينية «pars (orationis)»، التي تعني «جزء من الكلام». وقد تختلف معانيه قليلاً باختلاف فروع علم اللغة وعلوم الحاسوب. 

تستخدم علم اللغة النفسي هذا المصطلح لمناقشة الإشارات الشفوية التي تساعد المتحدث على تفسير الجمل المضللة. وفي لغة أخرى، قد يعني مصطلح «التحليل النحوي» أيضًا «التقسيم» أو «الفصل».

واو، هذا أكثر مما تريد معرفته، أليس كذلك؟

كل ما سبق ليوضح أن «التحليل» يعني تقسيم الكلام إلى أجزاء.

لنفترض أننا نُعرِّف عملية التحليل النحوي بلغة برمجة الحاسوب. (هل أثارت اهتمامكم الآن؟)

في هذه الحالة، يمكنك الرجوع إلى الطريقة التي تقرأ بها سلسلة الرموز وتعالجها، بما في ذلك الأحرف الخاصة، لمساعدتك على فهم ما تحاول تحقيقه. 

يختلف تعريف «التحليل النحوي» باختلاف اللغويين ومبرمجي الكمبيوتر. ومع ذلك، فإن الإجماع العام هو أنه يعني تحليل الجمل وعلاقات الترابط الدلالي بينها. بعبارة أخرى، التحليل النحوي هو عملية تصفية وتصنيف هياكل البيانات.

ما المقصود بتحليل البيانات؟

يُشير مصطلح «تحليل البيانات» إلى معالجة البيانات غير المنظمة وتحويلها إلى تنسيق منظم جديد. 

عملية التحليل موجودة في كل مكان. فدماغك يقوم باستمرار بتحليل البيانات الواردة من جهازك العصبي. 

ولكن بدلاً من أن تقوم برامج الحمض النووي بتحليل الألم والمتعة لتعزيز تكوين الحياة — فإن «أدوات التحليل» في سياق هذا المقال تعمل على تحويل البيانات المستلمة من نتائج استخراج البيانات من الويب. 

(هنا تبدأ خيبة الأمل)

ومع ذلك، في كلتا الحالتين، نحتاج إلى تكييف تنسيق بيانات ما ليصبح في شكل يمكن فهمه. سواء كان ذلك من خلال إنتاج تقارير من سلاسل HTML أو من خلالالتصفية الحسية.

بنية محلل البيانات

عادةً ما يتضمن تحليل البيانات مرحلتين أساسيتين: التحليل اللغوي والتحليل النحوي. تعمل هاتان الخطوتان على تحويل سلسلة من البيانات غير المنظمة إلى شجرة بيانات تتكامل قواعدها وبنيتها النحوية مع بنية الشجرة. 

التحليل المعجمي

يُخصص التحليل المعجمي، في أبسط صوره، رمزًا لكل عنصر من عناصر البيانات. وتشمل الرموز أو الوحدات المعجمية الكلمات المفتاحية، والمحددات، والمعرّفات الأخرى. 

لنفترض أن لديك طابورًا طويلاً من المخلوقات وهي تصعد على متن سفينة. وعندما تمر عبر البوابة، يحصل كل مخلوق على رمز. فيحصل الفيل على «رمز الحيوان البري الضخم»، بينما يحصل التمساح على «رمز البرمائيات الخطرة». 

وبذلك نعرف أين نضع كل كائن على متن السفينة، حتى لا يتعرض أحد للأذى خلال رحلة الإبحار تحت أشعة الشمس.

في عالم تحليل البيانات، تُخصص الوحدات اللغوية للبيانات غير المنظمة. على سبيل المثال، تُخصص «وحدة كلمة» لأي كلمة موجودة في سلسلة HTML، وهكذا دواليك. أما «الوحدات غير ذات الصلة» فتتضمن عناصر مثل الأقواس والأقواس المتعرجة والفاصلة المنقوطة. ومن ثم يمكنك تنظيم البيانات حسب نوع الوحدة. 

كما ترون، يُعد التحليل المعجمي خطوة حاسمة في توفير بيانات دقيقة للتحليل النحوي. 

والحفاظ على التماسيح تحت السيطرة.

التحليل النحوي

التحليل النحوي هو عملية بناء شجرة تحليل. إذا كنت على دراية بلغة HTML، فسيكون من السهل عليك فهم هذا الأمر. على سبيل المثال، لنفترض أننا نقوم بتحليل صفحة ويب مكتوبة بلغة HTML وإنشاء نموذج كائن المستند (DOM). يصبح النص الموجود بين العلامات عُقدًا فرعية أو فروعًا في شجرة التحليل، بينما تصبح السمات خصائصًا لهذه الفروع.

تقوم مرحلة التحليل النحوي بإنشاء هياكل بيانات تفسر ما كان في السابق مجرد بيانات سلاسل نصية خام. كما تقوم هذه المرحلة بتجميع جميع الرموز حسب نوعها — سواء كانت كلمات رئيسية أو معرفات مثل الأقواس العادية والأقواس المتعرجة، وما إلى ذلك. وبذلك، يكون لكل رمز عقدة خاصة به ضمن الهيكل الأكبر الذي تقوم أداة التحليل النحوي الخاصة بك ببنائه. 

التحليل الدلالي 

يُعد التحليل الدلالي خطوة لا يتم تنفيذها في معظم أدوات استخراج البيانات من الويب. فهو يتيح لك استخراج البيانات من لغة HTML من خلال تحديد أجزاء الكلام المختلفة، مثل الأسماء والأفعال والأدوار الأخرى داخل الجمل.

ولكن دعونا نعود إلى تحليل صفحتنا الإلكترونية باستخدام قواعد النحو في إطار هذه المناقشة حول التحليل الدلالي. سيقوم المحلل بتفكيك كل جملة إلى صيغتها الصحيحة. ثم سيواصل بناء العقد حتى يصل إلى العلامة الختامية أو القوس المعقوف الختامي «}» – الذي يشير إلى نهاية العنصر. 

ستُظهر لك شجرة التحليل العناصر الموجودة. على سبيل المثال — الكلمات التي يتكون منها محتوى صفحتك الإلكترونية — ولكنها لن تتضمن أي معلومات عن التفسير (الدلالة) لأن عملية التحليل النحوي لم تُعيّن أي قيم. ولهذا الغرض، عليك العودة وتحليل عناصر الصفحة الإلكترونية مرة أخرى.

أنواع محللات البيانات

تعد محللات «من الأعلى إلى الأسفل» و«من الأسفل إلى الأعلى» استراتيجيتين مختلفتين لتحليل البيانات.

التحليل النحوي من الأعلى إلى الأسفلهو طريقة لفهم الجمل من خلال النظر إلى الأجزاء الأصغر ثم التدرج صعودًا. ويُطلق على هذه الطريقة اسم «نهج الحساء البدائي». وهي تشبه إلى حد كبير تحليل الجمل التخطيطي، الذي يقسم مكونات الجمل إلى أجزاء. ومن أمثلة هذا النوع من المحللات النحوية محللات LL.

يبدأ التحليل النحوي التصاعديمن النهاية ويتقدم تدريجيًا نحو الأعلى، حيث يحدد الأجزاء الأساسية أولاً. ومن أنواع هذا النوع من المحللات النحوية ما يُعرف بمحللات LR.

البناء أم الشراء؟

مثل طهي المكرونة بالجبن، أحيانًا يكون إعدادها بنفسك أرخص من شراء المنتج الجاهز. أما عندما يتعلق الأمر بمحللات البيانات، فإن الإجابة على هذا السؤال ليست بهذه السهولة. فهناك عوامل أكثر يجب أخذها في الاعتبار عند اختيار إنشاء أدوات لاستخراج البيانات أو شرائها. دعونا نلقي نظرة على الإمكانات والنتائج المتوقعة لكل من الخيارين المتاحين. 

قد يصبح هذا الأمر مكلفًا بمرور الوقت، وقد لا يكون عمليًّا اعتمادًا على أهداف فريقك وموارده. تتوفر أدوات تحليل البيانات المجانية والمدفوعة على حد سواء. ومع ذلك، فإن الأمر كله يعتمد على احتياجات فريقك، لذا ضع هذه الأمور في اعتبارك عند التفكير في شراء خدمة ويب بدلاً من تطوير كود مخصص بنفسك.

مزايا الاستعانة بمصادر خارجية

• يتيح لك شراء أداة تحليل البيانات الاستفادة من تقنيات التحليل التي توفرها مؤسسة متخصصة في استخراج البيانات. وتُخصص هذه المؤسسة جزءًا أكبر من مواردها لتطوير تقنيات تحليل البيانات وزيادة فعاليتها.
• سيكون لديك المزيد من الوقت والموارد المتاحة، لأنك لن تحتاج إلى الاستثمار في فريق عمل أو قضاء الوقت في صيانة أداة التحليل الخاصة بك. كما أن احتمالية مواجهة أي مشكلات ستكون أقل.

سلبيات الاستعانة بمصادر خارجية

• من المحتمل ألا تتاح لك فرص كافية لتخصيص أداة تحليل البيانات الخاصة بك بحيث تلبي احتياجات العمل.
• قد تنشأ تكلفة لأي تعديلات مخصصة إذا قمت بالاستعانة بمصادر خارجية للبرمجة.

إنشاء محلل بيانات

يُعد إنشاء محلل بيانات خاص بك أمرًا مفيدًا، لكنه قد يستهلك قدرًا كبيرًا من الجهد والموارد. لا سيما إذا كنت بحاجة إلى عملية تحليل بيانات معقدة لتحليل هياكل بيانات ضخمة. ويتطلب التطوير والصيانة فريق تطوير متمكن وذو خبرة. وعلى حد علمي، فإن خدمات عالم البيانات لا تأتي بثمن بخس! 

يتطلب إنشاء محلل بيانات مهارات مثل:

• معالجة اللغة الطبيعية
• استخراج البيانات
• تطوير المواقع الإلكترونية
• بناء شجرة التحليل

سيتعين عليك أنت أو فريقك إتقان لغات البرمجة وتقنيات تحليل البيانات.

المحترفون الداخليون

• تتميز أدوات التحليل النحوي الداخلية بفعاليتها لأنها قابلة للتخصيص. 
• إن تطوير أداة تحليل البيانات داخليًّا سيمنحك سيطرة كاملة على الصيانة والتحديثات.
• إذا كان تحليل البيانات عنصرًا مهمًا في نشاطك التجاري، فسيكون ذلك أكثر فعالية من حيث التكلفة على المدى الطويل.

كما أنك تستفيد من إمكانية استخدام منتجك الخاص في أي مكان بعد تطويره، وهو أمر ضروري عند إنشاء أدوات تحليل البيانات مقارنة بشرائها. فإذا اشتريت أداة تحليل، فستكون مقيدًا بمنصتها، مثل Google Sheets.

العيوب الداخلية

• تستغرق صيانة محللك الخاص أو تحديثه أو اختباره وقتًا طويلاً. على سبيل المثال، سيتطلب تعديل محللك الخاص واختباره خادمًا قادرًا على توفير الموارد اللازمة.

ما هي الأدوات التي تحتاجها لتحليل البيانات؟

إذا كنت تنوي إنشاء أداة استخراج البيانات من الويب، فستحتاج إلى مكتبة لتحليل البيانات بلغة البرمجة المناسبة. وتعد لغات Ruby وPython وJavaScript (Node.js) وJava وC++ من الخيارات المتاحة، اعتمادًا على لغة البرمجة التي ترغب في استخدامها لمشروع تحليل البيانات الخاص بك.

تعمل لغات البرمجة هذه مع إطار عمل استكشاف الويب «نوكوجيري» (Nokogiri) أو مع أطر عمل الويب مثل «دجانغو» (Django) أو «فلاسك» (Flask) في حالة لغة «بايثون» (Python).

أو، إذا كنت ستستخدم لغة روبي، فيمكنك الاختيار بين Nokigiri وCheerio، حيث يوفر هذا الأخير واجهة برمجة تطبيقات (API) تعمل بشكل جيد مع تطبيقات الويب المبنية على Rails.

بالنسبة لبرمجة Node.js، يمكن استخدام JSoup، في حين يُعد Scrapy خيارًا آخر للزحف على الويب في هذه الحالة أيضًا!

دعونا نلقي نظرة عن كثب:

يجب أن تستلهم من هذه الخيارات قبل أن تقرر أيها سيكون الأنسب لفريقك!

منع حجب عمليات استخراج البيانات من الويب

يُعد حظر عمليات استخراج البيانات من المواقع الإلكترونية مشكلة شائعة. فبعض الأشخاص لا يرغبون ببساطة في تحمل العبء والمخاطر التي تنطوي عليها زيارات الروبوتات. (الروبوتات المزعجة!) يمكنك معرفة المزيد عن هذا الموضوع هنا.

الطريق الأمثل هو استخدام بروكسيات سكنية متناوبة. تتضمن العديد من واجهات برمجة التطبيقات (API) الخاصة باستخراج البيانات من الويب هذه البروكسيات، لكن يجب أن تكون على دراية بالبروكسيات إذا كنت تخطط لإنشاء محلل خاص بك.

ستعرفك هذه المقالة بكل ما يتعلق بالبروكسيات السكنية وكيفية استخدامها لاستخراج البيانات.

حالات استخدام تحليل البيانات

الآن أصبحت تعرف مزايا استخدام أداة تحليل لتحويل صفحات الويب إلى تنسيق يسهل قراءته. دعونا نلقي نظرة على بعض حالات الاستخدام التي قد تساعد فريقك.

تساعد أدوات استخراج البيانات من الويب وأدوات التحليل على إنجاز المهمة بسرعة وكفاءة. فهي تعمل على تحسين سير العمل وتتيح لك توجيه الموارد إلى مجالات أخرى أو التركيز على تحليلات أكثر تعمقًا للبيانات، مثل أبحاث الأسهم والتحليل التنافسي. لمزيد من المعلومات حول أدوات استخراج البيانات من الويب –انقر هنا.

يمكنك أيضًا استخدام تحليل البيانات لأغراض بحثية لتحديد أسعار الفائدة، ومعدل العائد على أقساط القروض، وسعر الفائدة على الودائع المصرفية.

وهناك العديد من الاستخدامات الأخرى. ومع تقدمنا في العصر الرقمي، يتضاءل الفرق بين كود الكمبيوتر والبيانات العضوية أكثر فأكثر. 

لمزيد من المعلومات حول استخراج البيانات من الويب وتحليلها، تفضل بزيارة المزيد من مقالات مدونتنا.