Yahoo Helps IIT Bombay إعداد مختبر Hadoop Cluster

ساعدت ياهو المعهد الهندي للتكنولوجيا Bombay في إنشاء مختبر Hadoop العنقودي في مومباي من خلال التبرع بمجموعة من الخوادم التي تدير برنامج Hadoop مفتوح المصدر.

Apache Hadoop هو مشروع حوسبة موزع مفتوح المصدر مؤسسة اباتشي للبرمجيات التي تدعمها ياهو.

تدير ياهو عددًا كبيرًا من عملياتها الحيوية باستخدام Hadoop ، ولا يمكنها إجراء جميع الأبحاث المطلوبة حول Hadoop داخل الشركة ، كما قال برابهاكار راغافان ، نائب الرئيس الأول ورئيس شركة Yahoo Labs ، مقابلة عبر الهاتف يوم الخميس.

أعلنت شركة ياهو في يونيو من العام الماضي توزيعها الخاص لـ Hadoop ، مشيرة إلى اهتمام مجتمع Apache Hadoop بنشر نسخة Hadoop التي تقوم باختبارها ونشرها على مجموعاتها الكبيرة الخاصة بها.

المجموعة مختبر في م سوف يساعد umbai الباحثين في مجالات الدراسة في المعهد مثل البحث وتقنيات الترتيب واستخراج المعلومات ومعالجة اللغات الطبيعية.

الباحثون الأكاديميون الراغبون في البحث في القضايا المتعلقة بالويب لم يكونوا عادة قادرين على الوصول إلى موارد الحوسبة وتيرابايت من البيانات المطلوبة للبحث في "مشاكل النطاق على الإنترنت" ، قال راغافان.

<> بدءا من توفير باحثين من جامعة هيندوب في جامعة كارنيجي ميلون مع حاسوب فائق سعة 4000 معالج في عام 2007 ، ساعدت ياهو جامعات أخرى في الولايات المتحدة على تأسيس Hadoop قال: لم يكن راغهاوان يعطي مزيدًا من التفاصيل حول المجموعة المثبتة في IIT ، لكنه قال فقط إن الخوادم المزودة بمئات من وحدات المعالجة المركزية والقدرة على التعامل مع تيرابايت من البيانات قد تم نشرها هناك.

إلى جانب IIT Bombay، Yahoo ويساعد على إنشاء مجموعات مماثلة في المؤسسات الأكاديمية في ألمانيا وسنغافورة ، كما قال راغافان. وهذه هي المؤسسات الأكاديمية الثلاثة الأولى خارج الولايات المتحدة ، حيث تساعد ياهو في إنشاء مثل هذه المجموعات ، كما أضاف.

تخطط ياهو لاحقًا لتوصيل بعض المجموعات حول العالم لإنشاء "أداة مساعدة أكبر". قبل ذلك ، يجب تعزيز قدرات إدارة النظام في Hadoop لمنع طالب في مؤسسة واحدة من تحطيم العمل في مؤسسة أخرى ، حسبما قال راغافان.

لقد تعاونت Yahoo في عام 2008 مع مختبرات الأبحاث الحاسوبية (CRL) ، وهو مختبر تديره الهند مجموعة تاتا ، لتوفير مرافق الحواسيب الفائقة مجانا للمؤسسات الأكاديمية في الهند التي تبحث عن الحوسبة واسعة النطاق ، ولا سيما حول Hadoop. هذا التعاون مستمر ، لكنه يركز على الحوسبة الفائقة عالية الأداء ، قال راغافان.

الشراكة مع المؤسسات الأكاديمية في Hadoop تساعد ياهو في بناء مجموعة من المهندسين المطلعين على منصة Hadoop ، وفقا لراغهافان. وأضاف أن البعض منهم استأجرته ياهو. استفادت ياهو أيضا من الأفكار التي ظهرت من المؤسسات الأكاديمية التي تقوم بالأبحاث باستخدام Hadoop ، حسبما قال راغافان. ومع ذلك لم يقدم أمثلة محددة من الأفكار التي تم التقاطها من هذا التعاون مع المؤسسات الأكاديمية.