تتضمن خطط البيانات الكبيرة في فيسبوك المستودعات ، والتحليلات السريعة

قد يقدر فيسبوك البيانات التي يملكها على مستخدميه الذين يزيد عددهم على مليار شخص عن عوائد الإعلانات ، ولكن ومن المتوقع أن يظل التحليل الذي يُجرى الموقع على تلك البيانات مستمراً في تحديات عديدة خلال العام المقبل ، حسبما قال أحد المهندسين.

المشاكل التي أجبر موقع Facebook على معالجتها "في وقت أقرب بكثير من الصناعة الأوسع" ، تتضمن طرق أكثر فاعلية لمعالجة سلوك المستخدم على الموقع ، وكيفية الوصول بشكل أفضل ودمج أنواع مختلفة من البيانات عبر مراكز البيانات المتعددة في Facebook ، وتصميم أنظمة برمجيات مفتوحة المصدر جديدة لمعالجة تلك البيانات ، Ra قال vi Murthy ، الذي يدير البنية التحليلية لـ Facebook ، يوم الثلاثاء.

"إن Facebook هي شركة بيانات ، والشيء الأكثر وضوحًا الذي يفكر فيه الناس على ذلك هو استهداف الإعلانات" ، على حد تعبيره في مؤتمر صناعي في سان فرانسيسكو ، خلال تحدث عن البنية التحتية للفيسبوك ، وتحليلات البيانات ، ومشاريع مفتوحة المصدر.

[اقرأ المزيد: أفضل خدمات البث التلفزيوني]

"لكن الأمر أعمق من ذلك ،" <>> يتعلق العمل الذي يتم من وراء الكواليس بالبنية الأساسية للتحليلات في Facebook ، والتي تم تصميمها لتسريع تطوير المنتجات وتحسين تجربة المستخدم من خلال التحليل العميق لجميع البيانات المتاحة ، سواء كانت تتألف من الإجراءات التي يتخذها المستخدمون على الموقع مثل نشر تحديثات الحالة أو التطبيقات التي يستخدمونها داخل Facebook على أجهزة مختلفة.

يستخدم Facebook حاليًا العديد من أنظمة البرامج مفتوحة المصدر المعروفة باسم Hadoop و Corona و Prism لمعالجة وتحليل بياناتها ، والتي ستركز الشركة على جعلها وقال مرتي: "إن الكثير من التحديات التي تواجه الشركة مرتبطة بما يشير إليه فيسبوك كمستودع البيانات ، والذي يجمع البيانات من مصادر متعددة في قاعدة بيانات حيث يمكن تحليل نشاط المستخدم بشكل أسرع وأكثر فعالية خلال الأشهر الستة إلى الاثني عشر القادمة". في الإجمالي ، مثل تقديم تقرير يومي عن عدد الصور التي تم وضع علامة عليها في بلد معين ، أو بالنظر إلى عدد المستخدمين في منطقة معينة الذين تفاعلوا مع الصفحات التي تم التوصية بها لهم.

التحليل تم تصميمه لتحسين خبرات المستخدم ومعرفة ما يحب المستخدمون وما لا يعجبهم ، ولكنه أيضًا أصبح أكثر ضرائب نظرًا لأن Facebook قادرًا على الوصول إلى المزيد والمزيد من البيانات عن مستخدميه ، على حد قول مورثي. يستقبل مستودع Facebook حاليًا 500 تيرابايت من البيانات الجديدة كل يوم ، أو 500000 غيغابايت. وقد نما المستودع ما يقرب من 4000 مرة في الحجم على مدى السنوات الأربع الماضية ، "قبل نمو مستخدم الفيس بوك" ، قال مورثي.

للتعامل مع هذه القضايا ، قام فيس بوك بتطوير نظام برمجياته Prism ، الذي صمم لأداء تعمل مهام التحليل الرئيسية عبر مراكز بيانات الشركة في جميع أنحاء العالم ، وتقسم التحليلات إلى "أجزاء" ، على حد قول مورثي. وبهذه الطريقة ، لن يؤدي إجراء تحليل على بعض المقاييس المرتبطة بتغريدات الأخبار للمستخدمين إلى سد المستودع بشكل عام.

"نحن نفكر بشكل متزايد في كيفية التقاط هذه البيانات." كما أن الشركة تعمل أيضًا على نظام يأخذ نهجا مختلفًا تمامًا للاستعلام عن المستودع لإعطاء وقت استجابة في غضون ثوانٍ ، حسبما قال مورثي.

منطقة أخرى يتطلع فيها فيس بوك باستمرار إلى التحسين هي "البنية التحتية للمعاملات ، "التي تتعامل مع معالجة البيانات اليومية الأكثر أساسية ، على سبيل المثال ، إبداءات الإعجاب والتعليقات وتحديثات الحالة للحفاظ على تشغيل الشبكة الاجتماعية بسلاسة. ويشير مورثي إلى أن بعض الأسئلة التي يبحث عنها مهندسون ومحللو الشركة تدور حول معرفة كيفية التنبؤ بالنمو الفعلي في هذا النوع من البيانات ، ومدى أهمية الحوسبة التي يحتاج إليها فيسبوك بالفعل.وقال: "هل يمكننا التنبؤ بما سيحدث بعد ستة أشهر من الآن؟".

في هذه الأثناء ، يشارك فيس بوك أيضًا في جهد طويل الأمد لجعل خوادمه المادية أكثر كفاءة. بدأت الشركة مشروعها للحوسبة المفتوحة في عام 2011 ، بهدف تصميم خوادم معيارية تمنح العملاء سيطرة أكبر على الشبكات والذاكرة ومستلزمات الطاقة والمكونات الأخرى التي تدخل إلى خوادمهم. تم توسيعه ليشمل معالجات ARM في يناير