buy vpn kharid vpn kerio vpn mobile vpn
Hadoop | رایانش ابری
نرم افزار به عنوان سرویس
نرم افزار به عنوان سرویس
۱۳۹۳/۰۷/۱۳
احراز هویت به عنوان سرویس
احراز هویت به عنوان سرویس
۱۳۹۳/۰۷/۱۶
نمایش همه
هدوپ

هدوپ یک پروژه مبتنی بر برنامه نویسی متن باز است که توسط سازمان نرم افزاری آپاچی ایجاد شده است.

به دنبال شرکت های ارائه دهنده پلت فرم برای زیرساخت محاسبات ابری بودم که به سایت Cloudera رسیدم . کلودرا شرکتی است که بصورت فعال در این زمینه فعال می باشد و بسته نرم افزاری بی نظیر هدوپ را ایجاد کرده و آن را انتشار داده و پشتیبانی می کند.

Hadoop یک فریم ورک متن‌باز برای مدیریت سیستم‌های ابری است که به دلیل انعطاف‌پذیر بودن در محیط‌های خوشه‌ای(cluster-based) و همچنین کار با داده‌های فشرده در میان توسعه‌دهندگان سرویس‌های ابری بسیار محبوب شده است. حتی یاهو نیز از یک توزیع مخصوص به خود به نام هادوپ استفاده می‌کند. به وسیله هادوپ مدیران قادر هستند که یک مجموعه چند هزارتایی از کامپیوتر‌ها را طوری پیکربندی کنند که بتوان از آنها به عنوان سرویس ابری برای انجام وظایف پیچیده استفاده کرد.

به وسیله کلاودرا(Cloudera) می‌‌توان هادوپ را نصب، راه‌اندازی، پیکربندی و مدیریت کرد. کلاودرا یک پشتیبانی تجاری از هادوپ محسوب می شود که در کار خود نیز موفق عمل کرده است.

ساختار کلی هدوپ
تکنولوژی هدوپ از دو بخش سیستم فایل انتشاری هدوپ (Hadoop Distribition File System) و تکنیک با کیفیت پردازش اطلاعات به نام MapReduce استفاده می کند.ساختار کلی اطلاعاتی در هدوپ به ا ین گونه می باشد که اطلاعات توسط سیستم هدوپ شکسته شده و به چندین سرور فرستاده می شود.سرورها بسته به نوع اطلاعات که ممکن است پردازشی یا ذخیره ای باشد اطلاعات را پردازش یا ذخیره سازی می کنند. در هنگام درخواست اطلاعات مجدد ، سیستم اطلاعات را از سرور های مختلف گرفته ، مونتاژ کرده و در خروجی نمایش می دهد.
خوبی این سیستم تهیه نسخه پشتیبان از اطلاعات بصورت خودکار است. هر تکه از اطلاعات در چندین قسمت ( برروی چندین سرور ) ذخیره می شود و در صورت آسیب دیدن یکی از سرورها ، سرور دیگر قادر است مسؤولیت را بر عهده گرفته و اطلاعات مورد نظر را جایگزین کند.
خب اگه بخواهیم هدوپ را پیاده سازی کنیم به چند سرور حداقل نیاز خواهیم داشت ؟

اگر فقط قصدتون از پیاده سازی هدوپ ، تست و آشنایی با عملکرد و تجربه کار با اونه یک سیستم کافی است. با توجه به اینکه در این سیستم نیاز به ایجاد گره سرور هستیم لذا پیشنهاد می کنم در صورتی که مایل به راه اندازی سیستم ذخیره سازی هدوپ برای سازمان خود هستید از چهار سیستم کامپیوتری ( یک سیستم مرکزی و سه گره) استفاده کنید.
چه شرکت هایی بهتر است به سراغ هدوپ روند ؟
سیستم هدوپ برای ذخیره سازی و پردازش حجم اطلاعات بسیار بالا طراحی شده است لذا اگر شرکت شما در رده شرکت های بزرگ بوده و دارای چندین هزار کارمند و چندین نرم افزار حجیم اطلاعاتی است یا جزو شرکت های بزرگی است که به دنبال پیاده سازی سیستم ابر برای مشتریان خود است ، بهتر است از این سیستم استفاده کنید.

ابزارهایی مانند هادوپ (Hadoop) بدون تردید جزء موفق‌ترین نمونه‌های پیاده‌سازی شده از تفکر NoSQL محسوب می‌شود. جنبش No SQL که در ابتدا با هدف جایگزینی پایگاه‌های رابطه‌ای و با شعار پایان رابطه‌ای‌ها (No SQL) خود را معرفی‌کرد، با مقاومت بزرگان و پشتیبانان مکانیزم‌های رابطه‌ای مواجه شد. مقاومتی که باعث شد تا این جنبش نوپا به‌درستی دست از سماجت برداشته و خود را به‌عنوان راه حلی مناسب برای مسائلی که پایگاه‌های داده رابطه‌ای در حل آن با دشواری مواجه هستند، مطرح کند و شعار «نه فقط رابطه‌ای» (Not only SQL) را برای خود برگزیند.

 این تغییر رویکرد، شرایط لازم را فراهم آورد تا تمامی فعالان این عرصه از موافق و مخالف بر مزایا و منافع این رویکرد تمرکز‌کرده و با مشارکت شرکت‌های‌قابل احترامی مانند یاهو و بنیاد آپاچی پروژه‌هایی مانند Hadoop، MangoDB، Cassandra، CouchDB و بسیاری از پروژه‌های دیگر، در جهت حل مسائل مرتبط با «داده بزرگ» پا به عرصه حیات بگذارند. رویکردی که بدون کمترین تردیدی در سال ۲۰۱۲ و سال‌های بعد از آن، در مرکز توجه بسیاری از شرکت‌های تولید‌کننده‌پایگاه‌های داده مانند آی‌بی‌ام، اوراکل، مایکروسافت و دیگران خواهد بود.

دو پاراگراف بالا ، بخشی از مقاله راهکارهای پایگاه داده در سال ۲۰۱۲ نوشته سبحان عطار است که در ماهنامه شبکه شماره ۱۲۹ قرار گرفته است . بهتون پیشنهاد می کنم اگه با انواع پایگاه داده مانند کاساندرا ، مونگو و .. آشنایی دارین ( من بیشتر با این دو آشنام ) و دوست دارید در زمینه کلان داده موفق تر عمل کنید حتما زمانی رو برای مطالعه و کار روی هدوپ بذارید .

کریمی
کریمی
کارشناس سخت افزار | دانشگاه فردوسی مشهد محقق در زمینه رایانش ابری | زیرساخت به عنوان سرویس آشنایی با انواع پلت فرم های زیرساخت | openstack | Eucalyptus | OpenNebula تجربه کاری در زمینه شبکه : Linux | Debian | Ubuntu Cisco | CCNA | CCNP Microsoft | Server 2003

2 دیدگاه ها

  1. سارا می‌گه:

    با سلام و خسته نباشید. موضوع پایان نامه من درباره” نقش شبکه سنسور بی سیم برای نظارت بیماری در فضای ابر” هست. بین دو راه موندم: ۱-استفاده از شبیه ساز کلودسیم و تکنیک های داده کاوی .۲- استفاده از هدوپ.
    میشه یه راهنمایی کنید.

  2. کریمی می‌گه:

    سلام هر دو روش خوبه برای راه اندازی هدوپ هم از vmware استفاده کن

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *