What Is Big Data?

البيانات الكبيرة المُعرفة

ما المقصود بالبيانات الكبيرة بالضبط؟

يعد تعريف البيانات الكبيرة بأنها البيانات التي تحتوي على تنوع أكبر، والوصول إلى وحدات تخزين متزايدة وبسرعة أكبر. ويعرف هذا أيضًا باسم الثلاث قيم بحرف "V".

ببساطة، البيانات الضخمة هي مجموعات بيانات أكبر وأكثر تعقيدًا، خاصة من مصادر البيانات الجديدة. مجموعات البيانات هذه ضخمة جدًا لدرجة أن برامج معالجة البيانات التقليدية لا تستطيع إدارتها. ولكن يمكن استخدام هذه الكميات الهائلة من البيانات لمعالجة مشكلات العمل التي لم تكن لتتمكن من معالجتها من قبل.

الثلاث قيم بحرف "V" للبيانات الكبيرة

• الحجم
  كمية البيانات أمر مهم. ومع البيانات الكبيرة، سيتعين عليك معالجة كميات كبيرة من البيانات منخفضة الكثافة وغير المنظمة. يمكن أن تكون هذه بيانات ذات قيمة غير معروفة، مثل موجزات بيانات X (المعروفة سابقًا بـ Twitter)، أو مسارات التنقل على صفحة ويب أو تطبيق هاتف محمول، أو أجهزة تدعم أجهزة الاستشعار. بالنسبة لبعض المنظمات، قد يكون هذا عشرات التيرابايت من البيانات. بالنسبة للآخرين، قد يكون مئات من البيتابايت.
• السرعة
  هي المعدل السريع الذي يتم فيه استلام البيانات و(من المحتمل) العمل عليها. تكون عادةً أعلى سرعة في تدفقات البيانات داخل الذاكرة مباشرةً في مقابل الكتابة على القرص. تعمل بعض المنتجات الذكية التي عبر الإنترنت في الوقت الفعلي أو في وقت قريب وسوف تتطلب تقييم في الوقت الفعلي والعمل.
• التنوع
  يشير التنوع إلى العديد من أنواع البيانات المتاحة. تم تنظيم أنواع البيانات التقليدية ومناسبتها بشكل وثيق في قاعدة بيانات ارتباطية. ومع تزايد البيانات الكبيرة، تأتي البيانات في أنواع جديدة من البيانات غير المنظمة. تتطلب أنواع البيانات غير المنظمة وشبه المنظمة، مثل النص والصوت والفيديو، معالجة مسبقة إضافية لاشتقاق المعنى وبيانات التعريف الداعمة.

القيمة والحقيقة للبيانات الكبيرة

ظهرت كلمتان آخرتان بحرف V خلال السنوات القليلة الماضية: القيمة والموثوقية. تشتمل البيانات على قيمة جوهرية. لكنها ليست مفيدة حتى يتم اكتشاف تلك القيمة. بنفس القدر من الأهمية: ما مدى صحة بياناتك—وكم يمكنك الاعتماد عليها؟

اليوم أصبحت البيانات الكبيرة رأس المال. فكر في بعض أكبر شركات التكنولوجيا في العالم. جزء كبير من القيمة التي تقدمها يأتي من بياناتهم، والتي يتم تحليلها باستمرار لإنتاج المزيد من الكفاءة وتطوير منتجات جديدة.

أدت التطورات التكنولوجية الأخيرة إلى خفض تكلفة تخزين البيانات والحوسبة بشكل كبير، مما يجعل تخزين المزيد من البيانات أسهل وأقل تكلفة من أي وقت مضى. مع زيادة حجم البيانات الكبيرة، أصبحت الآن أرخص وأكثر سهولة في الوصول إليها، يمكنك اتخاذ قرارات أعمال أكثر دقة وإتقان.

لا يعد البحث عن قيمة في البيانات الكبيرة يتعلق بتحليلها فحسب (تمثل ميزة أخرى كاملة). تمثل عملية اكتشاف كاملة تتطلب محللين بارعين ومستخدمي الأعمال والمديرين التنفيذيين الذين يطرحون الأسئلة المناسبة ويتعرفون على الأنماط ويضعون افتراضات مستنيرة ويتنبؤن بالسلوك.

ولكن كيف وصلنا إلى هنا؟

السجل للبيانات الكبيرة

على الرغم من أن مفهوم البيانات الكبيرة نفسه جديد نسبيًا، إلا أن أصول مجموعات البيانات الكبيرة تعود إلى الستينات والسبعينيات عندما بدأ عالم البيانات للتو مع مراكز البيانات الأولى وتطوير قاعدة البيانات الارتباطية.

في عام 2005 تقريبًا، بدأ الأشخاص في إدراك مقدار البيانات التي تم إنشاؤها من خلال Facebook وYouTube والخدمات الأخرى عبر الإنترنت. تم تطوير Hadoop (إطار عمل مفتوح المصدر تم إنشاؤه خصيصًا لتخزين البيانات الكبيرة وتحليلها) في نفس العام. بدأت NoSQL أيضًا في اكتساب شعبية خلال هذا الوقت.

كان تطوير أطر العمل مفتوحة المصدر، مثل Hadoop (وأحدثها، Spark) ضروريًا لتطوير البيانات الكبيرة لأنها تجعل البيانات الكبيرة أسهل للعمل عليها وأرخص في التخزين. خلا تلك السنوات ومنذ ذلك الحين، ارتفع حجم البيانات الكبيرة إلى حد كبير. لا يزال المستخدمون ينشئون كميات هائلة من البيانات—ولكن ليس البشر فحسب الذين يقومون بذلك.

مع ظهور إنترنت الأشياء (IoT)، تم توصيل المزيد من الكائنات والأجهزة بالإنترنت، مما يجمع البيانات بشأن أنماط استخدام العملاء وأداء المنتج. لا يزال ظهور التعلم الآلي ينتج المزيد من البيانات.

على الرغم من أن البيانات الكبيرة قد وصلت إلى أبعد مدى، إلا أن فائدتها ليست سوى بداية. وسعت الحوسبة السحابية إمكانات البيانات الكبيرة بشكل أكبر. توفر السحابة قابلية توسع مرنة فعليًا، إذ يمكن للمطورين ببساطة تجميع مجموعات مخصصة لاختبار مجموعة فرعية من البيانات. وتزداد أهمية قواعد بيانات الرسوم البيانية أيضًا، مع قدرتها على عرض كميات هائلة من البيانات بطريقة تجعل التحليلات سريعة وشاملة.

مزايا البيانات الكبيرة

• تتيح لك البيانات الكبيرة إمكانية الحصول على إجابات أكمل لأن لديك المزيد من المعلومات.
• تعني الإجابات الأكمل مزيدًا من الثقة في البيانات—مما يعني نهجًا مختلفًا تمامًا لمعالجة المشكلات.

حالات استخدام البيانات الكبيرة

يمكن أن تساعدك البيانات الكبيرة في التعامل مع مجموعة من الأنشطة التجارية، بما في ذلك تجربة العملاء والتحليلات. فيما يلي عدد قليل فقط.

1. تطوير المنتجات
تستخدم شركات مثل Netflix وProcter & Gamble بيانات كبيرة لتوقع طلبات العملاء. تبني نماذج تنبؤية للمنتجات والخدمات الجديدة من خلال تصنيف السمات الرئيسة للمنتجات أو الخدمات السابقة والحالية ونمذجة العلاقة بين تلك السمات والنجاح التجاري للعروض. بالإضافة إلى ذلك، تستخدم P&G البيانات والتحليلات من مجموعات التركيز والوسائط الاجتماعية وأسواق الاختبار وعمليات طرح المتاجر المبكرة لتخطيط منتجات جديدة وإنتاجها وإطلاقها.

2. الصيانة التنبؤية
قد تكون العوامل التي يمكن أن تتنبأ بالفشل الميكانيكي مدفونة بشكل عميق في البيانات المنظمة مثل السنة والصنع ونموذج المعدات، وكذلك في البيانات غير المنظمة التي تغطي ملايين قيود السجلات وبيانات المستشعر ورسائل الخطأ ودرجة حرارة المحرك. ومن خلال تحليل هذه الدلائل للمشكلات المحتملة قبل حدوث المشكلات، يمكن للمنظمات نشر الصيانة على نحو أكثر فعالية من حيث التكلفة وزيادة وقت تشغيل الأجزاء والمعدات إلى الحد الأقصى.

3. تجربة العملاء
لقد بدأ السباق لجذب العملاء. أصبح الحصول على رؤية أوضح لتجربة العملاء ممكنًا الآن أكثر من ذي قبل. تتيح لك البيانات الكبيرة إمكانية جمع البيانات من الوسائط الاجتماعية وزيارات الويب وسجلات المكالمات والمصادر الأخرى لتحسين تجربة التفاعل وزيادة القيمة المقدمة إلى أقصى حد. ابدأ في تقديم عروض مخصصة وتقليل انحسار العملاء ومعالجة المشكلات على نحو استباقي.

4. الاحتيال والتوافق
عندما يتعلق الأمر بالأمان، لا يقتصر الأمر على عدد قليل من المتسللين المحتالين فحسب - بل يتعارض مع فرق الخبراء بأكملها. تتطور ملفات مواصفات الأمان ومتطلبات التوافق باستمرار. تساعدك البيانات الكبيرة على تحديد الأنماط في البيانات التي تشير إلى الاحتيال وتجميع كميات كبيرة من المعلومات لجعل التقارير التنظيمية أسرع بكثير.

5. يُعدُّ التعلم الآلي
موضوعًا هامًا الآن. وتعد البيانات—خاصة البيانات الكبيرة—أحد الأسباب وراء ذلك. يمكننا الآن تعليم الآلات بدلًا من برمجتها. يجعل توافر البيانات الكبيرة لتدريب نماذج التعلم الآلي ذلك ممكنًا.

6. الكفاءة التشغيلية
قد لا تتصدر الكفاءة التشغيلية دائمًا الأخبار، ولكنها مجال تحقق فيه البيانات الضخمة التأثير الأكبر. باستخدام البيانات الكبيرة، يمكنك تحليل وتقييم الإنتاج وملاحظات العملاء ومرتجعاتهم وعوامل أخرى للحد من الانقطاعات المؤقتة وتوقع الطلبات المستقبلية. كما يمكن استخدام البيانات الكبيرة لتحسين عملية صنع القرار بما يتماشى مع الطلب الحالي في السوق.

7. دفع الابتكار
يمكن أن تساعدك البيانات الكبيرة على الابتكار من خلال دراسة التبعيات المتبادلة بين البشر والمؤسسات والكيانات والعمليات، ثم تحديد أساليب جديدة لاستخدام هذه الرؤى. استخدم رؤى البيانات لتحسين القرارات المتعلقة بالاعتبارات المالية والخاصة بالتخطيط. التحقق من الاتجاهات وما يريده العملاء لتقديم منتجات وخدمات جديدة. تطبيق التسعير الديناميكي. توجد إمكانيات لا حصر لها.

تحديات البيانات الكبيرة

على الرغم من أن البيانات الكبيرة تحمل الكثير من الوعود، إلا أنها لا تخلو من التحديات.

أولًا، البيانات الكبيرة... كبيرة. على الرغم من تطوير تقنيات جديدة لتخزين البيانات، تتضاعف أحجام البيانات كل عامين تقريبًا. لا تزال المنظمات تعاني لمواكبة البيانات وإيجاد طرقًا لتخزينها بفعالية.

لكنها ليست كافية لتخزين البيانات فحسب. يجب استخدام البيانات لتكون ذات قيمة ويعتمد ذلك على المعالجة. تتطلب البيانات النظيفة، أو البيانات ذات الصلة بالعميل والمنظّمة بطريقة تمكّن من إجراء تحليل ذي معنى، الكثير من العمل. يقضي علماء البيانات من 50 إلى 80 بالمائة من وقتهم في معالجة البيانات وإعدادها قبل التمكن من استخدامها فعليًا.

وأخيرًا، تتغير تكنولوجيا البيانات الكبيرة بوتيرة سريعة. منذ بضع سنوات، كانت Apache Hadoop التكنولوجيا الشائعة المستخدمة للتعامل مع البيانات الكبيرة. ثم تم تقديم Apache Spark في عام 2014. واليوم، يبدو أن مجموعة من الإطارين هو أفضل نهج. تعد مواكبة تكنولوجيا البيانات الكبيرة تحديًا متواصلًا.

اكتشف المزيد من موارد البيانات الكبيرة:

كيفية عمل البيانات الكبيرة

تمنحك البيانات الكبيرة رؤى جديدة تفتح فرصًا ونماذج أعمال جديدة. ينطوي البدء على ثلاثة إجراءات رئيسة:

1. التكامل
تجمع البيانات الكبيرة بين العديد من المصادر والتطبيقات المختلفة. لا ترقى آليات تكامل البيانات التقليدية، مثل الاستخراج والتحويل والتحميل (ETL) بشكل عام إلى هذه الدرجة. تتطلب استراتيجيات وتقنيات جديدة لتحليل مجموعات البيانات الكبيرة على نطاق واسع أو حتى بحجم بيتابايت.

أثناء التكامل، يجب جلب البيانات ومعالجتها والتأكد من صياغتها وتوفرها في نموذج يمكن لمحللي الأعمال بدء العمل به.

2. تتطلب إدارة
البيانات الكبيرة التخزين. يمكن أن يكون حل التخزين في السحابة أو مكان العمل أو كليهما. يمكنك تخزين البيانات في أي شكل تريده وتقديم متطلبات المعالجة المطلوبة ومحركات العمليات الضرورية إلى مجموعات البيانات هذه على أساس الطلب. يختار العديد من الأشخاص حل التخزين الخاص بهم وفقًا لمكان وجود بياناتهم حاليًا. تكتسب السحابة شعبية تدريجيًا لأنها تدعم متطلبات الحوسبة الحالية وتمكنك من زيادة الموارد حسب الحاجة.

3. التحليل
يتحقق استثمارك في البيانات الكبيرة عند تحليل بياناتك والتعامل معها. اكتسب وضوح جديد مع تحليل مرئي لمجموعات البيانات المتنوعة. استكشف البيانات بشكل أكبر لإجراء اكتشافات جديدة. شارك نتائجك مع الآخرين. إنشاء نماذج البيانات باستخدام التعلم الآلي والذكاء الاصطناعي. ضع بياناتك للعمل.

أفضل الممارسات للبيانات الكبيرة

لمساعدتك في رحلة بياناتك الكبيرة، قمنا بتجميع بعض أفضل الممارسات الرئيسة التي يجب مراعاتها. فيما يلي إرشادات لبناء أساس ناجح للبيانات الكبيرة.

1. مواءمة البيانات الكبيرة مع أهداف الأعمال المحددة
تمكنك مجموعات البيانات الأكثر شمولاً من إجراء اكتشافات جديدة. وتحقيقًا لهذه الغاية، من المهم بناء استثمارات جديدة في المهارات أو التنظيم أو البنية التحتية مع سياق قوي قائم على الأعمال لضمان الاستثمارات والتمويل المستمرين للمشروع. لتحديد ما إذا كنت على المسار الصحيح، اسأل كيف تدعم البيانات الكبيرة أولوياتك العليا لتكنولوجيا المعلومات والأعمال وتمكنها. تتضمن الأمثلة فهم كيفية تصفية سجلات الويب لفهم سلوك التجارة الإلكترونية، واستمداد المشاعر من الوسائط الاجتماعية وتفاعلات دعم العملاء، وفهم طرق الارتباط الإحصائية وأهميتها بالنسبة لبيانات العملاء والمنتجات والتصنيع والتنظيم.

2. يمكن تسهيل نقص المهارات باستخدام المعايير والحوكمة
إحدى أكبر العراقيل التي تحول دون الاستفادة من استثمارك في البيانات الضخمة هي نقص المهارات. يمكنك تقليل هذا الخطر من خلال ضمان إضافة تقنيات البيانات الكبيرة والاعتبارات والقرارات إلى برنامج إدارة تكنولوجيا المعلومات لديك. يمكنك توحيد نهجك من إدارة التكاليف والاستفادة من الموارد. يجب على المنظمات التي تنفذ حلول البيانات الكبيرة واستراتيجياتها تقييم متطلبات مهاراتها في وقت مبكر وفي كثير من الأحيان، وتحديد أي فجوات محتملة في المهارات بشكل استباقي. يمكن معالجتها عن طريق تدريب/تدريب متعدد للموارد الموجودة، وتوظيف موارد جديدة، والاستفادة من الشركات الاستشارية.

3. تحسين نقل المعرفة من خلال مركز التميز
استخدم نهج مركز التميز لمشاركة المعرفة والتحكم في الإشراف وإدارة اتصالات المشروع. سواء كانت البيانات الكبيرة استثمارًا جديدًا أو توسيعًا، فيمكن مشاركة التكاليف البسيطة والصعبة عبر المؤسسة. يمكن أن يساعد الاستفادة من هذا النهج على زيادة إمكانات البيانات الكبيرة ونضج بنية المعلومات بشكل عام بطريقة أكثر تنظيمًا وانتظامًا.

4. تتم مواءمة أعلى عائد مع البيانات المنظمة
من المهم بالتأكيد تحليل البيانات الضخمة بمفردها. لكن يمكنك تقديم رؤى أعمال أفضل من خلال ربط البيانات الكبيرة قليلة الكثافة ودمجها مع البيانات المركبة التي تستخدمها حاليًا.

سواء كنت تسجل بيانات كبيرة عن العميل أو المنتج أو المعدات أو البيئة، يتمثل الهدف في إضافة المزيد من نقاط البيانات ذات الصلة إلى الملخصات الرئيسة والتحليلية الأساس، مما يؤدي إلى نتائج أفضل. على سبيل المثال، ثمة اختلاف في التمييز بين كل مشاعر العملاء وتلك الخاصة بأفضل العملاء لديك فحسب. يعد هذا هو السبب في أن الكثيرين يرون البيانات الكبيرة كامتداد متكامل لإمكانات التحليل الذكي للأعمال الموجودة لديهم، والمنصة لتخزين البيانات، وبنية المعلومات.

ضع في اعتبارك أن النماذج والعمليات التحليلية للبيانات الكبيرة يمكن أن تكون قائمة على الإنسان والآلة على حد سواء. تتضمن الإمكانات التحليلية للبيانات الكبيرة الإحصائيات والتحليل المكاني والدلالات والاكتشاف التفاعلي والتمثيل المرئي. باستخدام النماذج التحليلية، يمكنك ربط أنواع ومصادر البيانات المختلفة لإنشاء ارتباطات واكتشافات مفيدة.

5. خطط لمختبر الاكتشاف الخاص بك للحصول على الأداء
اكتشاف المعنى في بياناتك ليس واضحًا دائمًا. في بعض الأحيان لا نعرف حتى ما نبحث عنه. هذا متوقع. تحتاج الإدارة وتكنولوجيا المعلومات إلى دعم "افتقار التوجيه" هذا أو "عدم وجود متطلبات واضحة".

في الوقت ذاته، من المهم أن يعمل المحللون وعلماء البيانات عن كثب مع الشركة لفهم الثغرات والمتطلبات الأساس في المعرفة بمجال الأعمال. لاستيعاب الاستكشاف التفاعلي للبيانات وتجربة الخوارزميات الإحصائية، تحتاج إلى مساحات عمل عالية الأداء. تأكد من أن بيئات الاختبار المعزولة تحظى بالدعم الذي تحتاج إليه—وتدار بشكل مناسب.

6. التوافق مع نموذج التشغيل السحابي
تتطلب عمليات البيانات الكبيرة والمستخدمين الوصول إلى مجموعة واسعة من الموارد لإجراء التجارب المتكررة وتشغيل وظائف الإنتاج. يتضمن حل البيانات الكبيرة جميع نطاقات البيانات بما في ذلك المعاملات والبيانات الرئيسة والبيانات المرجعية والبيانات الملخصة. يجب تكوين بيئات الاختبار المعزولة التحليلية عند الطلب. تُعد إدارة الموارد أمرًا بالغ الأهمية لضمان التحكم في تدفق البيانات بأكمله، بما في ذلك ما قبل المعالجة وبعدها والتكامل وتلخيص بقاعدة البيانات والنمذجة التحليلية. تلعب استراتيجية توفير وأمان السحابة الخاصة والعامة المخطط لها جيدًا دورًا أساسًا في دعم هذه المتطلبات المتغيرة.

التعرف على المزيد حول البيانات الكبيرة في Oracle

• جرّب ورشة عمل مجانية للبيانات الكبيرة
• المعلومات الرسومية: كيفية إنشاء بحيرات بيانات فعالة