مايكل تشن | خبير استراتيجي للمحتوى | 23 سبتمبر 2024
تشير البيانات الكبيرة إلى كمية لا تصدق من المعلومات المنظمة وغير المنظمة التي يولدها البشر والآلات - بيتابايت كل يوم، وفقًا لـ PwC. وهي المنشورات الاجتماعية التي نخصصها لتوجه العملاء وبيانات المستشعرات التي توضح حالة الماكينات والمعاملات المالية التي تنقل الأموال بسرعة فائقة. كما أنها ضخمة للغاية ومتنوعة للغاية، وتأتي في طريقنا بسرعة كبيرة لأجل أن تحظى أدوات وممارسات معالجة البيانات التقليدية بفرصة.
كما أنه من المفيد للغاية تركها دون تحليل. تغذي البيانات الكبيرة القدرة على استخراج الرؤى من هذه المجموعة الواسعة من البيانات لمساعدة المنظمة على أن تصبح أكفأ، وأسرع ابتكارًا، وكسب المزيد من المال، وهذا نجاح مكتمل الأركان.
لحسن الحظ، تجعل التطورات في التحليلات وتكنولوجيا وأدوات التعلم الآلي تحليل البيانات الضخمة متاحًا لكل شركة.
تشير البيانات الكبيرة إلى مجموعات البيانات الضخمة والمعقدة للغاية التي لا يمكن إدارتها أو تحليلها بسهولة باستخدام أدوات معالجة البيانات التقليدية، وخاصةً جداول البيانات. تتضمن البيانات الكبيرة بيانات منظمة، مثل قاعدة بيانات المخزون أو قائمة المعاملات المالية؛ والبيانات غير المنظمة، مثل المنشورات الاجتماعية أو مقاطع الفيديو؛ ومجموعات البيانات المختلطة، مثل تلك المستخدمة لتدريب نماذج اللغات الكبيرة للذكاء الاصطناعي. قد تتضمن مجموعات البيانات هذه أي شيء بدءًا من أعمال شكسبير وحتى جداول بيانات ميزانية الشركة على مدار السنوات العشر الماضية.
أصبحت البيانات الكبيرة أكبر وحسب حيث أدت التطورات التكنولوجية الأخيرة إلى تقليل تكلفة التخزين والحوسبة بشكل كبير، ما يجعل تخزين المزيد من البيانات أسهل وأقل تكلفة من أي وقت مضى. ومع هذا الحجم المتزايد، يمكن للشركات اتخاذ قرارات أعمال أدق وأكثر ضبطًا مع بياناتها. ولكن تحقيق قيمة كاملة من البيانات الضخمة لا يتعلق بتحليلها فحسب، بل يمثل ميزة أخرى كاملة. تمثل عملية اكتشاف كاملة تتطلب محللين بارعين ومستخدمي الأعمال والمديرين التنفيذيين الذين يطرحون الأسئلة المناسبة ويتعرفون على الأنماط ويضعون افتراضات مستنيرة ويتنبؤن بالسلوك.
تقليديًا، تعرفنا على البيانات الكبيرة بثلاث خصائص: التنوع والحجم والسرعة، والمعروفة أيضًا باسم "المبادئ الثلاثة". ومع ذلك، ظهر مبدآن إضافيان من هذه المبادئ خلال السنوات القليلة الماضية: القيمة والصدق.
وهذه الإضافات منطقية لأن البيانات أصبحت اليوم رأس مال. فكر في بعض أكبر شركات التكنولوجيا في العالم. تعتمد العديد من المنتجات التي تقدمها على بياناتها، والتي تقوم بتحليلها باستمرار لإنتاج المزيد من الكفاءة وتطوير مبادرات جديدة. النجاح يعتمد على جميع المبادئ الخمسة.
على الرغم من أن مفهوم البيانات الضخمة جديد نسبيًا، إلا أن الحاجة إلى إدارة مجموعات البيانات الكبيرة تعود إلى الستينيات والسبعينيات، مع أول مراكز البيانات وتطوير قاعدة البيانات الارتباطية.
في الماضي. في عام 2005 تقريبًا، بدأ الأشخاص في إدراك مقدار البيانات التي تم إنشاؤها من خلال Facebook وYouTube والخدمات الأخرى عبر الإنترنت. تم تطوير Apache Hadoop، وهو إطار عمل مفتوح المصدر تم إنشاؤه خصيصًا لتخزين البيانات الكبيرة وتحليلها في العام نفسه. بدأت NoSQL أيضًا في اكتساب شعبية خلال هذا الوقت.
في الحاضر. كان تطوير أطر العمل مفتوحة المصدر، مثل Apache Hadoop (وأحدثها، Apache Spark) ضروريًا لتطوير البيانات الضخمة لأنها تجعل البيانات الضخمة أسهل للعمل عليها وأرخص في التخزين. خلا تلك السنوات ومنذ ذلك الحين، ارتفع حجم البيانات الكبيرة إلى حد كبير. لا يزال المستخدمون ينشئون كميات هائلة من البيانات—ولكن ليس البشر فحسب الذين يقومون بذلك.
مع ظهور إنترنت الأشياء (IoT)، تم توصيل المزيد من الكائنات والأجهزة بالإنترنت، مما يجمع البيانات بشأن أنماط استخدام العملاء وأداء المنتج. لا يزال ظهور التعلم الآلي ينتج المزيد من البيانات.
في المستقبل. وعلى الرغم من أن البيانات الضخمة قد وصلت إلى حد بعيد، إلا أن قيمتها تنمو وحسب مع توسع الذكاء الاصطناعي التوليدي واستخدام الحوسبة السحابية في المنظمات. توفر السحابة قابلية توسع مرنة فعليًا، إذ يمكن للمطورين ببساطة تجميع مجموعات مخصصة لاختبار مجموعة فرعية من البيانات. وتزداد أهمية قواعد بيانات الرسوم البيانية أيضًا، مع قدرتها على عرض كميات هائلة من البيانات بطريقة تجعل التحليلات سريعة وشاملة.
تتيح خدمات البيانات الكبيرة فهمًا أشمل للاتجاهات والأنماط من خلال دمج مجموعات البيانات المتنوعة لتشكيل صورة كاملة. ولا يسهل هذا الاندماج التحليل بأثر رجعي وحسب، ولكن أيضًا يعزز القدرات التنبؤية، ما يسمح بتوقعات أدق واتخاذ القرارات الاستراتيجية. بالإضافة إلى ذلك، عند دمجها مع الذكاء الاصطناعي، تتجاوز البيانات الضخمة التحليلات التقليدية، ما يمكّن المنظمات من إطلاق العنان للحلول المبتكرة وتحقيق نتائج تحويلية.
تعني الإجابات الأكمل مزيدًا من الثقة في البيانات—مما يعني نهجًا مختلفًا تمامًا لمعالجة المشكلات.
يمكن أن تساعدك البيانات الكبيرة على تحسين مجموعة من الأنشطة التجارية، بما في ذلك تجربة العملاء والتحليلات. فيما يلي عدد قليل فقط.
1. تجارة التجزئة والتجارة الإلكترونية. وتستخدم شركات مثل Netflix وProcter & Gamble البيانات الضخمة لتوقع طلبات العملاء. تبني نماذج تنبؤية للمنتجات والخدمات الجديدة من خلال تصنيف السمات الرئيسة للمنتجات أو الخدمات السابقة والحالية ونمذجة العلاقة بين تلك السمات والنجاح التجاري للعروض. بالإضافة إلى ذلك، تستخدم P&G البيانات والتحليلات من مجموعات التركيز والوسائط الاجتماعية وأسواق الاختبار وعمليات طرح المتاجر المبكرة لتخطيط منتجات جديدة وإنتاجها وإطلاقها.
2. الرعاية الصحية. ويمكن لصناعة الرعاية الصحية الجمع بين العديد من مصادر البيانات داخليًا مثل السجلات الصحية الإلكترونية والأجهزة القابلة للارتداء للمرضى وبيانات التوظيف، وخارجيًا، بما في ذلك سجلات التأمين ودراسات الأمراض، لتحسين تجارب مقدم الخدمة والمريض. وداخليًا، يمكن تحسين جداول التوظيف وسلاسل التوريد وإدارة المرافق من خلال الرؤى المقدمة من فرق العمليات. وبالنسبة للمرضى، يمكن أن تتغير الرعاية الفورية والطويلة الأجل مع البيانات التي تقود كل شيء مثل التوصيات المخصصة والفحوصات التنبؤية.
3. الخدمات المالية. عندما يتعلق الأمر بالأمان، لا يقتصر الأمر على عدد قليل من المهاجمين المحتالين فحسب، بل يتعارض مع فرق الخبراء بأكملها. تتطور ملفات مواصفات الأمان ومتطلبات التوافق باستمرار. تساعدك البيانات الكبيرة على تحديد الأنماط في البيانات التي تشير إلى الاحتيال وتجميع كميات كبيرة من المعلومات لجعل التقارير التنظيمية أسرع بكثير.
4. التصنيع. وقد تكون العوامل التي يمكن أن تتوقع الفشل الميكانيكي مدفونة بشكل عميق في البيانات المنظمة - فكر في سنة المعدات وتصنيعها وطرازها - وكذلك في البيانات غير المنظمة التي تغطي ملايين إدخالات السجلات وبيانات المستشعر ورسائل الخطأ وقراءات درجة حرارة المحرك. ومن خلال تحليل هذه الدلائل للمشكلات المحتملة قبل حدوث المشكلات، يمكن للمنظمات نشر الصيانة على نحو أكثر فعالية من حيث التكلفة وزيادة وقت تشغيل الأجزاء والمعدات إلى الحد الأقصى.
5. الخدمات الحكومية والعامة. يمكن للمكاتب الحكومية جمع البيانات من العديد من المصادر المختلفة، مثل سجلات DMV وبيانات المرور وبيانات الشرطة/رجال الإطفاء وسجلات المدارس العامة وأكثر من ذلك. ويمكن أن يؤدي ذلك إلى زيادة الكفاءات بعدة طرق مختلفة مثل اكتشاف اتجاهات السائق لتحسين إدارة التقاطع وتحسين تخصيص الموارد في المدارس. ويمكن للحكومات أيضًا نشر البيانات علنًا، ما يسمح بتحسين الشفافية لتعزيز ثقة الجمهور.
على الرغم من أن البيانات الضخمة تحمل الكثير من الوعود، إلا أنها تحمل الكثير من التحديات.
أولًا، البيانات الكبيرة... كبيرة. على الرغم من تطوير تقنيات جديدة لتسهيل تخزين البيانات، تتضاعف أحجام البيانات كل عامين تقريبًا وفقًا للمحللين. لن تجد المنظمات التي تواجه صعوبة في مواكبة البيانات وإيجاد طرق لتخزينها بفعالية تخفيفًا عن طريق تقليل الحجم.
ولا يكفي فحسب تخزين بياناتك بتكلفة معقولة وبصورة يمكن الوصول إليها. يجب استخدام البيانات لتكون ذات قيمة، ونجاح هذا يعتمد على المعالجة. ولا تظهر البيانات المنسقة - أي البيانات ذات الصلة بالعميل والمنظّمة بطريقة تمكّن من إجراء تحليل ذي معنى - وحسب. ويتطلب التنسيق الكثير من العمل. وفي العديد من المنظمات، يقضي علماء البيانات من 50% إلى 80% من وقتهم في تنسيق البيانات وإعدادها بحيث يمكن استخدامها بفعالية.
فور تخزين كل هذه البيانات داخل مستودع المنظمة، لا يزال ثمة تحديان كبيران. أولاً، ستؤثر احتياجات أمان البيانات والخصوصية على كيفية إدارة فرق تكنولوجيا المعلومات لتلك البيانات. ويشمل هذا الامتثال للوائح الإقليمية/لوائح المجال والتشفير والوصول المستند إلى الأدوار للبيانات الحساسة. ثانيًا، البيانات مفيدة وحسب في حالة استخدامها. وقد يكون إنشاء ثقافة قائمة على البيانات أمرًا صعبًا، خاصةً إذا كانت السياسات القديمة والمواقف القديمة جزءًا لا يتجزأ من الثقافة. ويمكن ان تمثل التطبيقات الديناميكية الجديدة، مثل تحليلات الخدمة الذاتية، تغييرًا جذريًا لجميع الأقسام، ولكن يجب على فرق تكنولوجيا المعلومات وضع الوقت والجهد في التعليم والتعرف والتدريب، وهذا استثمار طويل الأجل ينتج تغييرات تنظيمية كبيرة من أجل الحصول على الرؤى والتحسينات.
وأخيرًا، تتغير تكنولوجيا البيانات الكبيرة بوتيرة سريعة. منذ بضع سنوات، كانت Apache Hadoop التكنولوجيا الشائعة المستخدمة للتعامل مع البيانات الكبيرة. ثم تم تقديم Apache Spark في عام 2014. واليوم، تقدم مجموعة من التقنيات إنجازات جديدة في سوق البيانات الضخمة. وتشكل مواصلة العمل تحديًا مستمرًا.
تعمل البيانات الكبيرة من خلال توفير رؤى تلقي الضوء على الفرص الجديدة ونماذج الأعمال. وفور استيعاب البيانات، يتضمن البدء ثلاثة إجراءات رئيسية:
تجمع البيانات الكبيرة بين العديد من المصادر والتطبيقات المختلفة. لا ترقى آليات تكامل البيانات التقليدية، مثل الاستخراج والتحويل والتحميل (ETL) بشكل عام إلى هذه الدرجة. تتطلب استراتيجيات وتقنيات جديدة لتحليل مجموعات البيانات الكبيرة على نطاق واسع أو حتى بحجم بيتابايت.
أثناء التكامل، يجب جلب البيانات ومعالجتها والتأكد من صياغتها وتوفرها في نموذج يمكن لمحللي الأعمال بدء العمل به.
تتطلب البيانات الكبيرة التخزين. ويمكن أن يكون حل التخزين في السحابة أو مكان العمل أو كليهما. يمكنك تخزين البيانات في أي شكل تريده وتقديم متطلبات المعالجة المطلوبة ومحركات العمليات الضرورية إلى مجموعات البيانات هذه على أساس الطلب. يختار العديد من الأشخاص حل التخزين الخاص بهم وفقًا لمكان وجود بياناتهم حاليًا. تزداد شعبية بحيرات البيانات تدريجيًا لأنها تدعم متطلبات الحوسبة الحالية وتمكنك من زيادة الموارد حسب الحاجة.
يتحقق استثماراتك في البيانات الضخمة عند تحليل بياناتك والتعامل معها. ويمنحك التحليل المرئي لمجموعات البيانات المتنوعة وضوحًا جديدًا. استكشف البيانات بشكل أكبر لإجراء اكتشافات جديدة. شارك نتائجك مع الآخرين. إنشاء نماذج البيانات باستخدام التعلم الآلي والذكاء الاصطناعي. ضع بياناتك للعمل لمنظمتك.
لمساعدتك في رحلة بياناتك الكبيرة، قمنا بتجميع بعض أفضل الممارسات الرئيسة التي يجب مراعاتها. فيما يلي إرشادات لبناء أساس ناجح للبيانات الكبيرة.
تمكنك مجموعات البيانات الأشمل من إجراء اكتشافات جديدة. وتحقيقًا لهذه الغاية، من المهم بناء استثمارات جديدة في المهارات أو التنظيم أو البنية التحتية مع سياق قوي قائم على الأعمال لضمان الاستثمارات والتمويل المستمرين للمشروع. لتحديد ما إذا كنت على المسار الصحيح، اسأل كيف تدعم البيانات الكبيرة أولوياتك العليا لتكنولوجيا المعلومات والأعمال وتمكنها. تتضمن الأمثلة فهم كيفية تصفية سجلات الويب لفهم سلوك التجارة الإلكترونية، واستمداد المشاعر من الوسائط الاجتماعية وتفاعلات دعم العملاء، وفهم طرق الارتباط الإحصائية وأهميتها بالنسبة لبيانات العملاء والمنتجات والتصنيع والتنظيم.
أحد أكبر العقبات التي تحول دون الاستفادة من استثمارك في البيانات الضخمة هو عدم وجود ما يكفي من الموظفين ذوي المهارات اللازمة لتحليل بياناتك. يمكنك تقليل هذا الخطر من خلال ضمان إضافة تقنيات البيانات الكبيرة والاعتبارات والقرارات إلى برنامج إدارة تكنولوجيا المعلومات لديك. يمكنك توحيد نهجك من إدارة التكاليف والاستفادة من الموارد. يجب على المنظمات التي تنفذ حلول البيانات الكبيرة واستراتيجياتها تقييم متطلبات مهاراتها في وقت مبكر وفي كثير من الأحيان، وتحديد أي فجوات محتملة في المهارات بشكل استباقي. يمكن معالجتها عن طريق تدريب/تدريب متعدد للموارد الموجودة، وتوظيف موارد جديدة، والاستفادة من الشركات الاستشارية.
استخدم نهج مركز التميز لمشاركة المعرفة والتحكم في الإشراف وإدارة اتصالات المشروع. سواء كانت البيانات الكبيرة استثمارًا جديدًا أو توسيعًا، فيمكن مشاركة التكاليف البسيطة والصعبة عبر المؤسسة. يمكن أن يساعد الاستفادة من هذا النهج على زيادة إمكانات البيانات الكبيرة ونضج بنية المعلومات بشكل عام بطريقة أكثر تنظيمًا وانتظامًا.
ومن المهم بالتأكيد تحليل البيانات الكبيرة بمفردها. لكن يمكنك تقديم رؤى أعمال أفضل من خلال ربط البيانات الكبيرة قليلة الكثافة ودمجها مع البيانات المنظمة التي تستخدمها حاليًا.
سواء كنت تسجل بيانات كبيرة عن العميل أو المنتج أو المعدات أو البيئة، يتمثل الهدف في إضافة المزيد من نقاط البيانات ذات الصلة إلى الملخصات الرئيسة والتحليلية الأساس، مما يؤدي إلى نتائج أفضل. على سبيل المثال، ثمة اختلاف في التمييز بين كل مشاعر العملاء وتلك الخاصة بأفضل العملاء لديك فحسب. يعد هذا هو السبب في أن الكثيرين يرون البيانات الكبيرة كامتداد متكامل لإمكانات التحليل الذكي للأعمال الموجودة لديهم، والمنصة لتخزين البيانات، وبنية المعلومات.
ضع في اعتبارك أن النماذج والعمليات التحليلية للبيانات الكبيرة يمكن أن تكون قائمة على الإنسان والآلة على حد سواء. تتضمن الإمكانات التحليلية للبيانات الكبيرة الإحصائيات والتحليل المكاني والدلالات والاكتشاف التفاعلي والتمثيل المرئي. باستخدام النماذج التحليلية، يمكنك ربط أنواع ومصادر البيانات المختلفة لإنشاء ارتباطات واكتشافات مفيدة.
اكتشاف المعنى في بياناتك ليس واضحًا دائمًا. في بعض الأحيان لا نعرف حتى ما نبحث عنه. هذا متوقع. تحتاج الإدارة وتكنولوجيا المعلومات إلى دعم افتقار التوجيه هذا أو عدم وجود متطلبات واضحة.
في الوقت ذاته، من المهم أن يعمل المحللون وعلماء البيانات عن كثب مع الشركة لفهم الثغرات والمتطلبات الأساس في المعرفة بمجال الأعمال. ولاستيعاب الاستكشاف التفاعلي للبيانات وتجربة الخوارزميات الإحصائية، تحتاج إلى مساحات عمل عالية الأداء. تأكد من أن بيئات الاختبار المعزولة تحظى بالدعم الذي تحتاج إليه—وتدار بشكل مناسب.
تتطلب عمليات البيانات الكبيرة والمستخدمين الوصول إلى مجموعة واسعة من الموارد بالنسبة إلى التجريب المتكرر وتشغيل مهام الإنتاج. يتضمن حل البيانات الكبيرة جميع نطاقات البيانات بما في ذلك المعاملات والبيانات الرئيسة والبيانات المرجعية والبيانات الملخصة. يجب تكوين بيئات الاختبار المعزولة التحليلية عند الطلب. تُعد إدارة الموارد أمرًا بالغ الأهمية لضمان التحكم في تدفق البيانات بأكمله، بما في ذلك ما قبل المعالجة وبعدها والتكامل وتلخيص بقاعدة البيانات والنمذجة التحليلية. تلعب استراتيجية توفير وأمان السحابة الخاصة والعامة المخطط لها جيدًا دورًا أساسًا في دعم هذه المتطلبات المتغيرة.
بالنسبة للمنظمات التي تحتاج إلى إدارة فعالة وشاملة للبيانات الضخمة، توفر منصة Oracle Cloud Infrastructure (OCI) Big Data مجموعة واسعة من الإمكانات مع نسبة استثنائية من السعر مقابل الأداء. مع تكامل أدوات البيانات الضخمة محليًا، تُعدُّ OCI منصة بيانات ضخمة مُدارة بالكامل وقادرة على التوسع التلقائي ومرنة مقدمة باستخدام نموذج الدفع أولاً بأول وتجمع جميع بياناتك معًا.
إن حجم البيانات الكبيرة وسرعتها وتنوعها يجعل من الصعب استخلاص رؤى ذات مغزى وذكاء قابل للتنفيذ - ولكن الشركات التي تستثمر في الأدوات والخبرات اللازمة لاستخراج معلومات قيمة من بياناتها يمكن أن تكشف عن ثروة من الرؤى التي تمنح صانعي القرار القدرة على بناء الاستراتيجية على الحقائق، وليس التخمين.
لا يوجد ذكاء اصطناعي بدون بيانات - وكلما زادت البيانات، كان الذكاء الاصطناعي أفضل. قم بتنزيل تقريرنا لمعرفة كيفية تسجيل مكاسب سريعة تشجع على اعتماد الذكاء الاصطناعي وإثراء مخرجات الذكاء الاصطناعي باستخدام التوليد المُعزّز بالاسترجاع (RAG) والبحث الموجه.
ما معنى البيانات الضخمة؟
تشير البيانات الكبيرة إلى مجموعات البيانات الضخمة والمتنوعة للغاية التي لا تُدار بسهولة باستخدام أساليب وأدوات معالجة البيانات التقليدية.
ما المثال على البيانات الضخمة؟
تتميز البيانات الكبيرة بخمسة مبادئ - أي أنها تحتوي على حجم كبير من المعلومات، وتعرض سرعة عالية أو سرعة إنشاء البيانات، ولها متنوع من أنواع البيانات، وتؤكد القدرة والقيمة للبيانات. تتضمن مصادر المثال رسائل البريد الإلكتروني والنصوص ومقاطع الفيديو وقواعد البيانات وبيانات مستشعر إنترنت الأشياء والمشاركات الاجتماعية وصفحات الويب والمزيد.
ومن أمثلة الصناعات التي تعتمد على اتخاذ القرارات القائمة على البيانات الرعاية الصحية والبيع بالتجزئة والتمويل والتسويق. في مجال الرعاية الصحية، يمكن استخدام البيانات الكبيرة للبحث بعمق في مجموعات البيانات الضخمة للتنبؤ بالوقت الذي يمكن للمريض فيه الاستفادة من التدخل المبكر قبل تطور مرض مثل مرض السكري من النوع 2. في مجال البيع بالتجزئة، يمكن أن تساعد البيانات الكبيرة في تحسين المخزون وتخصيص العروض والتوصيات. وفي مجال التمويل، تُستخدَم البيانات الضخمة للكشف عن الاحتيال وتحديد أفضل للاتجاهات، في حين يمكن للمسوقين تتبع كمية كبيرة من بيانات الوسائط الاجتماعية غير المنظمة لاكتشاف التوجه وتحسين الحملات الإعلانية.