Hadoop

هدوپ يك پروژه مبتني بر برنامه نويسي متن باز است كه توسط سازمان نرم افزاري آپاچي ايجاد شده است.

به دنبال شرکت های ارائه دهنده پلت فرم برای زیرساخت محاسبات ابری بودم که به سایت Cloudera رسیدم . كلودرا شركتی است كه بصورت فعال در این زمینه فعال می باشد و بسته نرم افزاری بی نظیر هدوپ را ایجاد كرده و آن را انتشار داده و پشتیبانی می كند.

Hadoop یک فریم ورک متن‌باز برای مدیریت سیستم‌های ابری است که به دلیل انعطاف‌پذیر بودن در محیط‌های خوشه‌ای(cluster-based) و همچنین کار با داده‌های فشرده در میان توسعه‌دهندگان سرویس‌های ابری بسیار محبوب شده است. حتی یاهو نیز از یک توزیع مخصوص به خود به نام هادوپ استفاده می‌کند. به وسیله هادوپ مدیران قادر هستند که یک مجموعه چند هزارتایی از کامپیوتر‌ها را طوری پیکربندی کنند که بتوان از آنها به عنوان سرویس ابری برای انجام وظایف پیچیده استفاده کرد.

به وسیله کلاودرا(Cloudera) می‌‌توان هادوپ را نصب، راه‌اندازی، پیکربندی و مدیریت کرد. کلاودرا یک پشتیبانی تجاری از هادوپ محسوب می شود که در کار خود نیز موفق عمل کرده است.

ساختار كلی هدوپ
تكنولوژی هدوپ از دو بخش سیستم فایل انتشاری هدوپ (Hadoop Distribition File System) و تكنیك با كیفیت پردازش اطلاعات به نام MapReduce استفاده می كند.ساختار كلی اطلاعاتی در هدوپ به ا ین گونه می باشد كه اطلاعات توسط سیستم هدوپ شكسته شده و به چندین سرور فرستاده می شود.سرورها بسته به نوع اطلاعات كه ممكن است پردازشی یا ذخیره ای باشد اطلاعات را پردازش یا ذخیره سازی می كنند. در هنگام درخواست اطلاعات مجدد ، سیستم اطلاعات را از سرور های مختلف گرفته ، مونتاژ كرده و در خروجی نمایش می دهد.
خوبی این سیستم تهیه نسخه پشتیبان از اطلاعات بصورت خودكار است. هر تكه از اطلاعات در چندین قسمت ( برروی چندین سرور ) ذخیره می شود و در صورت آسیب دیدن یكی از سرورها ، سرور دیگر قادر است مسؤولیت را بر عهده گرفته و اطلاعات مورد نظر را جایگزین كند.
خب اگه بخواهیم هدوپ را پیاده سازی کنیم به چند سرور حداقل نیاز خواهیم داشت ؟

اگر فقط قصدتون از پیاده سازی هدوپ ، تست و آشنایی با عملکرد و تجربه کار با اونه یك سیستم کافی است. با توجه به اینكه در این سیستم نیاز به ایجاد گره سرور هستیم لذا پیشنهاد می كنم در صورتی كه مایل به راه اندازی سیستم ذخیره سازی هدوپ برای سازمان خود هستید از چهار سیستم كامپیوتری ( یك سیستم مركزی و سه گره) استفاده كنید.
چه شرکت هایی بهتر است به سراغ هدوپ روند ؟
سیستم هدوپ برای ذخیره سازی و پردازش حجم اطلاعات بسیار بالا طراحی شده است لذا اگر شركت شما در رده شركت های بزرگ بوده و دارای چندین هزار كارمند و چندین نرم افزار حجیم اطلاعاتی است یا جزو شرکت های بزرگی است که به دنبال پیاده سازی سیستم ابر برای مشتریان خود است ، بهتر است از این سیستم استفاده كنید.

ابزارهایی مانند هادوپ (Hadoop) بدون تردید جزء موفق‌ترین نمونه‌های پیاده‌سازی شده از تفکر NoSQL محسوب می‌شود. جنبش No SQL که در ابتدا با هدف جایگزینی پایگاه‌های رابطه‌ای و با شعار پایان رابطه‌ای‌ها (No SQL) خود را معرفی‌کرد، با مقاومت بزرگان و پشتیبانان مکانیزم‌های رابطه‌ای مواجه شد. مقاومتی که باعث شد تا این جنبش نوپا به‌درستی دست از سماجت برداشته و خود را به‌عنوان راه حلی مناسب برای مسائلی که پایگاه‌های داده رابطه‌ای در حل آن با دشواری مواجه هستند، مطرح کند و شعار «نه فقط رابطه‌ای» (Not only SQL) را برای خود برگزیند.

 این تغییر رویکرد، شرایط لازم را فراهم آورد تا تمامی فعالان این عرصه از موافق و مخالف بر مزایا و منافع این رویکرد تمرکز‌کرده و با مشارکت شرکت‌های‌قابل احترامی مانند یاهو و بنیاد آپاچی پروژه‌هایی مانند Hadoop، MangoDB، Cassandra، CouchDB و بسیاری از پروژه‌هاي دیگر، در جهت حل مسائل مرتبط با «داده بزرگ» پا به عرصه حیات بگذارند. رویکردی که بدون کمترین تردیدی در سال 2012 و سال‌های بعد از آن، در مرکز توجه بسیاری از شرکت‌های تولید‌کننده‌پایگاه‌های داده مانند آی‌بی‌ام، اوراکل، مایکروسافت و دیگران خواهد بود.

دو پاراگراف بالا ، بخشی از مقاله راهکارهای پایگاه داده در سال 2012 نوشته سبحان عطار است که در ماهنامه شبکه شماره 129 قرار گرفته است . بهتون پیشنهاد می کنم اگه با انواع پایگاه داده مانند کاساندرا ، مونگو و .. آشنایی دارین ( من بیشتر با این دو آشنام ) و دوست دارید در زمینه کلان داده موفق تر عمل کنید حتما زمانی رو برای مطالعه و کار روی هدوپ بذارید .