Windows

Hadoop يحصل على المزيد من البحث مع MapR ، إصدارات Cloudera

How to Setup Multinode Hadoop 2 on CentOS/RHEL Using VirtualBox

How to Setup Multinode Hadoop 2 on CentOS/RHEL Using VirtualBox
Anonim

لدى مستخدمي منصة معالجة البيانات Hadoop الآن اثنتين من الأدوات الأخرى لمساعدتهم في فرز الجبال من المعلومات.

توزيع M7 الجديد من MapR يزيل طبقات Hadoop JVM لتعزيز الأداء

Hadoop قام الموزع MapR بدمج LucidWorks Search في توزيعه الخاص. وفي الوقت نفسه ، أطلقت Cloudera أول إصدار كامل من محرك الاستعلام Impala SQL مفتوح المصدر لـ Hadoop.

[المزيد من القراءة: أفضل خدمات البث التلفزيوني]

إن استخدام البحث كواجهة مستخدم للبيانات الكبيرة أمر مثير للاهتمام. وقال جاك نوريس ، رئيس قسم التسويق في شركة MapR ، إن البحث مناسب تمامًا للاستفادة من العديد من أنواع المعلومات المختلفة ، خاصة المعلومات غير المنظمة. "نحن نشهد بعض التطبيقات المثيرة للاهتمام مع محركات البحث في جوهرها ، حتى لو كان المستخدم العادي لا يفكر فيها كمحرك بحث مدفوع."

LucidWorks Search هو الإصدار التجاري من المصدر المفتوح Apache Lucene / Solr full محرك البحث النص. من خلال دمج MapR الجديد ، يمكن لـ LucidWorks Search البحث عبر أي من البيانات الموجودة على Hadoop File Systems (HDFS) أو الملفات الموجودة على أنظمة الملفات الأخرى.

يوفر LucidWorks Search لقطات ومرايا للتوفر العالي ، ويزيل الكثير من العمل المطلوب تثبيت Lucene / Solr من الصفر. كما يقدم دعمًا محليًا لمزيد من مصادر البيانات وواجهة مستخدم رسومية وإطار أمان.

يمكن استخدام محرك البحث في تطبيق ويب ديناميكي لاسترداد الصور والإعلان وتوصيات المنتجات والمعلومات الأخرى التي يمكن استخدامها بسرعة لتجميع مواقع الويب على الطاير. "هذا ليس بديلاً منخفض التكلفة لمستودعات البيانات. هذا يتعلق بالاستفادة من مصادر البيانات الجديدة والقيام ببعض الأشياء التي لها تأثير كبير على الأعمال التجارية "، كما قال نوريس.

لقد عملت MapR و LucidWorks معًا على إقران تقنياتهم منذ عام 2011 ، عندما شكلوا اتفاقية تسويق مشتركة. في وقت سابق من هذا العام ، أصدروا الموصل الذي يجعل من السهل استخدام Lucene / Solr مع توزيع MapR Hadoop.

يعمل LucidWords Search مع التوزيع M7 الذي تم إصداره حديثًا لـ MapR ، بشكل تجريبي. بالإضافة إلى دعم LucidWorks Search ، تمت إعادة تصميم الإصدار M7 لإزالة الصدمات أو التحقق من الاتساق في الخلفية ، مما أدى إلى تسريع الأداء.

هذا الأسبوع أيضًا ، أصدرت Cloudera الإصدار 1.0 من Cloudera Impala ، وهو محرك استعلام متوافق مع SQL مفتوح المصدر Hadoop. SQL هي لغة واجهة قاعدة البيانات المستخدمة في أنظمة إدارة قواعد البيانات العلائقية (RDMS) وهي معروفة جيداً من قِبل مسؤولي قواعد البيانات. تم تصميم Impala لتنفيذ استعلامات أسرع من Hadoop's Hive ، لأنه لا يستخدم إطار MapReduce ، الذي يتطلب نتائج البحث المراد كتابتها على القرص. بدلا من ذلك ، يمكن للمستخدمين الاستعلام عن البيانات المخزنة في HDFS و HBase مباشرة. يمكن للمستخدمين الاستعلام عن البيانات إما بشكل تفاعلي أو من خلال عمليات الدُفعة.

أصدرت كلوديرتا إصدارًا من هذا المحرك في شهر تشرين الأول (أكتوبر) الماضي كإصدار تجريبي. منذ ذلك الحين ، تم اختبار البرنامج من قبل شركات مثل 37signals و Expedia.

Impala هو المكون الأساسي في حزمة تكميلية Cloudera Enterprise RTQ (Real-Time Query) لمنصة Cloudera Hadoop. يمكن تحميل Impala بدون تكلفة.

تم تحديث 6 مايو لتصحيح المعلومات حول تقنية Cloudera Impala.