اینترنت همه چیز (lnternet of Everything) پیش روی ماست و این عصر قطعاً نحوه و مسیر حرکت شرکت‌ها را عوض خواهد کرد ولی عمده مباحث در مورد اینترنت همه چیز حول مهارت‌ها و قابلیت‌های موردنیاز مهندسی داده‌ها خواهد چرخید.

اینترنت همه چیز (lnternet of Everything) پیش روی ماست و این عصر قطعاً نحوه و مسیر حرکت شرکت‌ها را عوض خواهد کرد ولی عمده مباحث در مورد اینترنت همه چیز حول مهارت‌ها و قابلیت‌های موردنیاز مهندسی داده‌ها خواهد چرخید.

به گزارش افتانا (پایگاه خبری امنیت فناوری اطلاعات)، چگونه فرصت‌های کسب‌وکار ۱۹تریلیون دلاری پیش می‌آیند؟ این سؤال اصلاً عجیب نیست. حتی اگر برای کسب و کارها قابل درک نباشد واقعیت این است که ما از زمان ظهور اینترنت از نظر شیوه کار و زندگی، وارد یک دوره خاص تاریخی شده‌ایم. 

شاید مقایسه آن با اختراع دستگاه چاپ و چاپ انجیل توسط گوتنبرگ مبالغه‌آمیز باشد اما درحقیقت فقط کمی اغراق کرده‌ایم. 

اینترنت همه چیز (lnternet of Everything) پیش روی ماست و این عصر قطعاً نحوه و مسیر حرکت شرکت‌ها را عوض خواهد کرد ولی عمده مباحث در مورد اینترنت همه چیز حول مهارت‌ها و قابلیت‌های موردنیاز مهندسی داده‌ها خواهد چرخید؛ عبارات زیر را زیاد خواهیم شنید:

۱- اینترنت همه چیز حجم زیادی از دستگاه‌های متصل به همدیگر را برای ما به ارمغان خواهد آورد که می‌توانند اطلاعات زیادی به ما بدهند.
۲- دستگاه‌ها به یکدیگر متصل خواهند شد و کاربران با فرایندهای مختلف از آنها استفاده می‌کنند.
۳- با همه این ارتباطات، سیلی از داده‌ها و اطلاعات به سمت ما سرازیر خواهد شد.
۴- این امر باعث رونق کسب‌وکارهای دارای پتانسیل شده و موجب افزایش رضایت مشتریان می‌شود.

امکان تحقیق و پژوهش در موارد ۳ و ۴ محدود است. مقادیر زیاد داده‌ها باید برداشت، سازمان‌دهی و تحلیل شوند. اپلیکیشن‌های جدیدی نیز باید ایجاد شوند. 

فرآیندها، خدمات و محصولات جدید نیز با سرازیر شدن سیل داده‌ها از راه خواهند رسید. این داده‌ها آن‌چنان با داده‌های کنونی ما متفاوت خواهند بود که پارادایم‌های قدیمی دیگر به کار نخواهند آمد. 

چیزی که اینترنت همه چیز پدید می‌آورد یک مسئله ETL یا یک مشکل در انبارش داده نخواهد بود. این یک مسئله و مشکل مهندسی داده است. 

هدف این مقاله توصیف چالش‌های مهندسی داده در عصر اینترنت همه چیز است. این مقاله تحولات سازمان‌ها را بررسی می‌کند و اینکه چگونه مجبور می‌شوند قابلیت‌ها و مهارت‌های خود را ارتقا دهند.

تحولات بسیار عصر اینترنت همه چیز
این پدیده تحولات زیادی را با خود به همراه خواهد آورد و به همین دلیل باید به آن توجه زیادی شود. 

تحلیل‌های ما روی مهارت‌ها، قابلیت‌ها و زیرساخت لازم برای کنترل سیل داده‌ها معطوف خواهد شد؛ اما باید به یاد داشته باشیم که IoE بر حوزه‌های زیر تأثیر خواهد گذاشت:
■ ماهیت و تعریف محصول: چگونه دستگاه‌های هوشمند و متصل به هم ماهیت محصولات را تغییر می‌دهند؟ کدام محصولات به خدمات تبدیل خواهند شد؟ چه خدمات جدیدی در دسترس خواهند بود؟ به کدام داده‌ها نیاز خواهیم داشت؟
■طراحی فرآیند: چگونه یک مدل دقیق‌تر در دنیا کسب و کارها را شکل می‌دهد؟ چگونه می‌توانیم روابط بین افراد شاغل در کسب‌وکارهای خود را تغییر داده و با مشتریان‌مان روابط بهتری برقرار کنیم؟
■ تحلیل: به چه پرسش‌های جدیدی می‌توانیم پاسخ دهیم؟ چه مدل‌های جدیدی را می‌توانیم ایجاد کنیم؟ چه مهارت‌های تحلیلی را باید در خود تقویت کنیم؟ چه چیزی را از آینده می‌توانیم پیش‌بینی کنیم؟ در دنیای واقعی چه تحلیلی به ما کمک خواهد کرد؟
■توسعه اپلیکیشن‌ها: اپلیکیشن‌های عصر اینترنت همه چیز چگونه شکل می‌گیرند؟ آن‌ها کی باید متمرکز یا پخش شوند؟ ابزارهای صحیح برای ساخت این اپلیکیشن‌ها کدم‌اند؟ نحوه گردش داده‌ها بین آنها چگونه خواهد بود؟

کلید پاسخ به این سؤالات نحوه تقویت قابلیت‌ها در مهندسی داده است. در گذشته، مهندسی داده یک فرآیند نسبتاً باثبات بود که جریان باریکی از داده را به‌صورت یک‌طرفه ارزیابی و تحلیل می‌کرد.
 
فرآیند استخراج، انتقال، تغییر و بارگیری داده(ETL) برای پر کردن یک انبار داده مثال خوبی در این زمینه است. 

در عصر اینترنت همه چیز، مهندسی داده به معنای سازمان‌دهی حجم بالایی از انواع داده‌هاست که اکثر آن در زمان واقعی انجام می‌شود. باید توجه کرد که بدون فهم زبان ماشین و تحلیل داده‌ها، فهم و درک آنها با مشکل مواجه خواهد شد. حجم‌های زیادی از داده‌ها به‌محض ورود نیاز به پردازش خواهند داشت. 

روش استفاده از داده‌ها تا مدت زیادی پس از ذخیره آنها مشخص نخواهد شد. شاید ساختار و معنی داده‌ها تغییر کند. ممکن است داده‌ها از سمت بسیاری از اپلیکیشن‌ها و منابع به سمت بسیاری دیگر در جریان باشند. 

اگر کار کردن با حجم بالای اطلاعات ممکن و فناوری موردنیاز نیز در دسترس باشد، پردازش داده‌های عصر اینترنت همه چیز نیازمند رویکردی مبتنی بر نرم‌افزار، سخت‌افزار و شبکه یکپارچه است. بدون وجود چنین سیستمی، هزینه‌ها و تأخیرهای احتمالی غیرقابل‌تحمل خواهند بود.

درک اینترنت همه چیز
درحالی‌که اخیراً بازار اینترنت اشیا (loT) شتاب خوبی پیدا کرده است شاید بعضی از شرکت‌ها با اینترنت همه چیز (loE) آشنایی چندانی نداشته باشند. 

loE و loT مثل هم نیستند: loT یکی از سه روش اتصال است که برای IoE ایجاد شده‌اند. loT از داده‌های تولیدشده توسط دستگاه‌های دارای فناوری اتصال ماشین به ماشین و قابلیت خودآگاهی استفاده می‌کند. 

به‌عنوان مثال می‌توان به لامپ‌هایی اشاره کرد که به کاربر در مورد عمر باقی‌مانده خود هشدار می‌دهند، دستگاه‌های خانگی که از هر جایی قابل‌مشاهده هستند و قفل‌ها و تجهیزات امنیتی که قابلیت کنترل از راه دور را دارند.

سیسکو پیش‌بینی می‌کند که در سال ۲۰۲۰ حدود ۱۰میلیارد دستگاه این‌چنینی به کار گرفته شوند و درمجموع ۵۰میلیارد دستگاه در حال خدمات‌دهی باشند. این دستگاه‌ها صحبت می‌کنند و خود عملکرد خود را رصد خواهند کرد ولی اکانت‌های foE نه تنها برای IoT به کار می‌روند بلکه همچنین در سایر ارتباطات و مسائلی کاربرد دارند که در زندگی به آنها نیاز داریم. علاوه بر اتصالات و ارتباطات ماشین به ماشین IoE ارتباطات فردبه‌فرد و فرد به ماشین را نیز ایجاد می‌کند.

ارتباطات فردبه‌فرد بسیار واضح و شفاف هستند و شامل رسانه‌ها به‌علاوه مشارکت‌ها و فعالیت‌های تشریک مساعی می‌شوند. ارتباطات فرد با ماشین راهی را که در آینده می‌توانیم با ماشین‌ها برهم‌کنش داشته باشیم به ما نشان می‌دهند. 

پاسخ‌های ما به دستگاه‌های متصل شده بر اینکه IoE چگونه زندگی ما را مانند ماشین‌ها شکل می‌دهد، تأثیر خواهد گذاشت. تا این لحظه همچنان سه راه‌حل برای رسیدن به این فرصت بزرگ وجود دارد. یک فروشنده لباس را در نظر بگیرید که رفتار مشتریان در رسانه‌های اجتماعی را رصد می‌کند تا مطمئن شود در هر انبار مقدار کافی از تی‌شرت‌های محبوب وجود دارد.

فرصتی که بازار loE ایجاد می‌کند شرکت‌ها را ترغیب می‌کند تا حتی بیشتر روی رشد داده‌ها و مسائل مربوط تمرکز کنند. بین ۸۰ تا ۹۰ درصد بنگاه‌ها طبق تخمین گارتنر در حال کار روی استراتژی‌هایی هستند که بر مبنای حجم بالای داده‌ها شکل گرفته‌اند. 

فهمیدن علت آن مشکل نیست: بر مبنای یک تحقیق صورت گرفته از سوی مؤسسه اسلون MIT حدود ۶درصد کسب‌وکارهای دیجیتال شرکت‌های داده‌محور جایگاه صنعتی بهتری دارند و میزان سوددهی آن‌ها نیز ۲۶ درصد بهتر از بقیه است.

شرکت‌ها و سازمان‌های زیرک به‌خوبی فرصتی را که loE به وجود می‌آورد تشخیص می‌دهند. آنها قادر خواهند بود که اطلاعات کلیدی درباره محصولات و روش‌هایی را کسب کنند که مشتریان به آنها پاسخ می‌دهند. توانایی داشتن همه چیز در یک زنجیره تولید با اطلاعات به‌دست آمده به معنی داشتن بازخورد بهتر در زمان واقعی بر اساس فهم چگونگی کارکرد زنجیره است. 

هنوز کسب‌وکارهای زیادی از نظر ساختاری آمادگی دریافت داده‌های حاصل از loE را ندارند و نمی‌توانند ریسک این کار را قبول کنند و از مزایای آن بی‌بهره خواهند ماند. مزیت رقابتی سهم آنانی خواهد بود که از داده‌های loE برای درک بهتر مشتریان و فرایندهای کسب‌وکار استفاده می‌کنند و راه‌های خلق ارزش را پیدا می‌کنند. این به معنی ترکیب مهارت‌ها برای مهندسی و تحلیل داده‌ها با توانایی پردازش آنها در زمان مناسب است.

IoE: یک چالش و تحیر در کسب‌وکار و مهندسی داده
loE از هرچه قبلاً دیده‌ایم بیشتر داده تولید می‌کند. وقتی همه اشیا و افراد در هر لحظه مرتبط هستند، جریان‌های ثابتی از اطلاعات تولید در شکل‌های مختلف ایجاد می‌کنند. روش‌های فعلی پردازش، تحلیل و انبارش داده برای چنین حجمی از داده‌ها طراحی نشده‌اند. سازمان‌ها برای استفاده بهتر از داده‌های loE باید زیرساخت‌های لازم را فراهم کنند ولی در این بازی تحرکات سازمانی هم وجود دارد. 

مدیران و نیروهای اجرایی سازمان‌ها زیر فشار هستند تا قابلیت‌های جدیدی را دریافت کنند که loE برای سازمان‌شان فراهم می‌سازد. این مدیران اجرایی به بخش IT مراجعه کرده و می‌گویند: «لطفاً این کار را انجام دهید».

در ابتدا دریافت داده‌های اولیه خیلی مشکل نیست اما اگر پروژه‌های «اثبات مفهوم» با موفقیت اجرا شوند حجم وسیعی از داده‌ها از راه می‌رسند که درنتیجه با چالش‌های زیر مواجه خواهید شد:
■ باید مطمئن شوید که زیرساخت‌ها با توجه به مقیاس کار برای بهترین عملکرد با کمترین هزینه مالکیت ایجاد شده‌اند.
■ مطمئن شوید که خوشه‌های پردازش اطلاعات به میزان کافی برای دو بخش انبارش و محاسبه ساخته شده‌اند.
■ باید زمان لازم برای خلق و یا از بین بردن گره‌ها برای کارهای بزرگ یا آزمایش‌ها را به حداقل برسانید.
■ مدیریت مؤثر زیرساخت‌های در حال رشد برای استقرار سریع منابع جدید و سازمان‌دهی آنها لازم است.
■ بهینه‌سازی شبکه برای دریافت داده‌ها با بازده بالا در زمان و مکان موردنیاز.
■ انجام کارها به‌نحوی که نیازمندی‌های IT نظیر امنیت، محافظت از داده‌ها و احیای اطلاعات تأمین شوند.

مشکل اینجاست که نمی‌توانید ساختاری طراحی کنید که همه نیازهای loE شما را پوشش دهد و حتی اگر قادر به این کار بودید همه‌چیز باید قابل تطبیق می‌بود. به یاد داشته باشید که تنها قابلیت انطباق مهم نیست بلکه مقیاس نیز اهمیت دارد. باید زیرساختی منعطف را انتخاب کنید که کاملاً مقیاس‌پذیر بوده و در عین کارایی، کم‌هزینه باشد. حتی با داشتن زیرساخت منعطف بسیاری از چالش‌های طراحی باقی می‌مانند. 

داده‌های جابه‌جاشده در انبارهای داده موجود انباشته‌ شده و نوعی زنجیره تأمین داده را ایجاد می‌کنند. اپلیکیشن‌ها، موبایل‌ها و دستگاه‌های loE هم به داده‌های این زنجیره اضافه و هم از داده‌های آن مصرف خواهند کرد. 

برای ایجاد مخازن جدید داده وسوسه می‌شوید ولی آخرین چیزی که نیاز دارید حتی فراتر از مخزن داده است. به‌علاوه سازمان‌ها باید برای سازمان‌دهی داده‌های loE، قابلیت‌های جدید تحلیل و پردازش اطلاعات را نیز به‌دست آورند.

اعتماد به انبارهای داده برای سازمان‌ها به‌صورت یک سنت درآمده است. این اعتماد برای داده‌های منظم و دارای ساختار با حجم معقول جواب داده است ولی اعتماد به این انبارهای داده برای حجم بالای داده‌های loE که دارای ساختار نبوده و حجم آنها بسیار بالاست، گران تمام خواهد شد و سودی برای ما نخواهد داشت؛ بنابراین شما به پلتفرمی نیاز دارید که بتواند همه انواع داده را در هر حجمی سازمان‌دهی کند. 

یک نکته کلیدی در زیرساخت‌های مهندسی داده ایجاد خوشه هادوپ است که انطباق‌پذیر بوده و قابلیت اجرای بالا دارد و نیز می‌تواند با باقی زیرساخت‌های محاسباتی‌تان یکپارچه شود.

هادوپ باید بر روی یک پلتفرم قدرتمند اجرا شده و از مهندسی صحیح داده و اپلیکیشن‌هایی پشتیبانی کند که به‌وسیله افراد و دستگاه‌ها در راستای گام برداشتن به سمت loE ایجاد می‌شوند. یک راه‌حل مهندسی داده loE پشتیبانی هم‌زمان موافق و مخالف جریان داده‌هاست تا بتوان حجم عظیم داده را با به‌روزرسانی‌های مکرر پردازش کرد.

تحلیل داده‌های آینده
loE به یک تغییر مفهومی در تحلیل داده‌ها نیاز دارد. تفکر سنتی درباره تحلیل بر مبنای فرآیند متمرکز و تک‌منبع شکل گرفته بود. داده‌ها در یک انبار داده مرکزی، جمع‌آوری و ذخیره و پس از آن برای استفاده تحلیل‌گران داده آماده می‌شدند. آن‌ها با پارامترهای مختلف جستجو را آغاز می‌کردند و اطلاعات موردنیاز خود را بیرون می‌کشیدند تا سازمان‌ها بتوانند تصمیم‌گیری کنند. در این فرآیند، داده در خدمت تحلیل بود. 

داده‌ها در یک جا انباشته و بعد منتقل می‌شدند. این فرآیند از بالا به پایین و با دقت بسیار انجام می‌شد و برای خیلی از سازمان‌ها بسیار موفقیت‌آمیز بود. این روش تحلیل داده در عصر loE جواب نخواهد داد.

پیش‌بینی می‌شود که استفاده از داده‌های loE بر این فهم استوار خواهد بود که دیگر تحلیل موجب اخذ تصمیماتی نخواهد شد که افق سازمان‌ها را به‌طور کامل تغییر دهند. در عصر loE، سازمان‌ها از داده‌ها به‌طور ثابت استفاده خواهند کرد و تصمیمات سریع و کوچکی خواهند گرفت.
تحلیل دیگر یک فرآیند از بالا به پائین نیست در حقیقت دیگر با loE ، تحلیل‌گران همیشه تصمیم‌گیر نخواهند بود. 

ممکن است بسیاری از تصمیم‌ها را ماشین‌ها بر مبنای داده‌هایی بگیرند که تولید می‌کنند. سازمان‌هایی که دارای یک محیط بزرگ و جامع داده هستند و هر دو نوع پردازش داده در سکون و حرکت را انجام می‌دهند مؤثرتر و کاراترند. 

نتیجه می‌گیریم که دیگر ETL وظیفه جمع‌آوری داده‌ها از جاهای مختلف و انتقال آنها به یک هاب متمرکز و بعد انجام نقل و انتقالات موردنیاز را نخواهد داشت. 

آن سیستم دیگر قدیمی است. با loE یک سازمان به run-time ETL نیاز خواهد داشت. بسیار مهم است که نوع طراحی به‌گونه‌ای باشد که ارزش زمانی داده‌ها مشخص شود و این قابلیت وجود داشته باشد که در مواقع نیاز زمان واقعی اعلام شود. 

یک مؤلفه کلیدی برای سازمان‌ها برای طراحی زیرساخت این است که بتوانند پردازش داده را به صورت‌های ایستا و پویا انجام دهند. 

سیستم پردازش داده در حرکت مثل دوربین‌های امنیتی، سیستمی است که داده را در حال حرکت و انتقال پردازش می‌کند و سازمان‌ها را قادر به تصمیم‌گیری در کوتاه‌ترین زمان ممکن می‌کند. این سیستم به سطح متفاوتی از پشتیبانی نیاز دارد ولی بسیاری از سیستم‌های مهم از روش پردازش داده ایستا و در حال سکون استفاده خواهند کرد.

دنیای واقعی
دگرگونی‌های loE هم‌اکنون در بسیاری از صنایع در حال رخ دادن است. یک شرکت سازنده توربین‌های بادی، همه توربین‌ها را متصل کرده و پردازش و استفاده از داده‌ها را در زمان واقعی انجام می‌دهد. به حداکثر رساندن قدرت توربین‌ها سخت است چون سرعت باد غیرقابل پیش‌بینی است. 

معماری foE شرکت، پاسخ به داده‌ها را در زمان واقعی ممکن می‌سازد. بر اساس تغییرات سرعت و شدت باد، توربین‌ها خود را با آن مطابقت می‌دهند تا بیشترین میزان انرژی الکتریکی را تولید کنند.

این نمونه‌ای از بازخورد داده‌های loE در زمان واقعی است که یک زیرساخت صحیح می‌تواند آن را ایجاد کند. چالش ذاتی در ایجاد یک پلتفرم برای مهندسی داده برای loE مرز جدیدی را برای IT ترسیم می‌کند و به زیرساخت تازه‌ای نیاز دارد. 

در شرکت‌های پیشرو اینترنت و سازمان‌های داده‌محور برای ایجاد سیستم‌های هدفمند به‌ منظور سازمان‌دهی داده‌ها سال‌ها تلاش شده است. هادوپ، خودش نتیجه بعضی از این نوآوری‌هاست ولی سیستم‌هایی هم هستند که بر روی هادوپ ایجاد شده‌اند ازجمله HBase, Hive, Spark و Storm.

بانک‌های داده‌ای گراف، محیط‌های توسعه اپلیکیشن‌ها نظیر آبشاری و چند دوجین از سایر فناوری‌ها برای انجام مهندسی داده که از توسعه اپلیکیشن و تحلیل داده‌ها پشتیبانی می‌کند به کار گرفته می‌شوند. 

حال چالش فراروی ما چگونگی ایجاد یک زیرساخت مهندسی داده برای رفع نیازهای بنگاه است. شرکت‌های معدودی خارج از Silicon Valley خواهان داشتن یک زیرساخت مهندسی داده قابل اعتماد، قابل کنترل و قابل ارتقا از منابع باز خام هستند. (raw open source) 

به یاد داشته باشید که متخصصان داده‌های حجیم همچنین متخصص خوشه هم هستند و در خلق و پیکربندی و تنظیم خوشه‌های رایانه‌ای تبحر دارند. این نحوه کار برای بسیاری از متخصصان IT در شرکت‌ها که نمی‌خواهند همه‌چیز را با چالش به‌دست آورند، جدید است.

Cisco و MapR برای آنالیز داده‌های بزرگ
Cisco و MapR نیروهایشان را برای ایجاد یک پلتفرم زیرساخت با عملکرد بسیار بالا برای تحلیل و مهندسی داده loE ادغام کرده‌اند. 

هدف این دو شرکت از این شراکت ساخت سخت‌افزار، نرم‌افزار و تجهیزات شبکه‌ای موردنیاز برای ایجاد زیرساخت لازم برای مهندسی داده است که ویژگی‌های رؤیایی مدنظر را که به آنها اشاره کردیم، داشته باشد. 

سیستم موردنظر بر پایه سیستم محاسبه متحد(UCS) سیسکو و معماری پلتفرم اصلی (UCS) برای داده‌های بزرگ شکل گرفته است که عملیات محاسبه و شبکه کردن و انبارش را یکپارچه می‌کنند.

زیربنای مرکزی اپلیکیشن سیسکو (ACI) بر این اساس و با فراهم کردن شبکه و قابلیت اپلیکیشن‌نویسی برای بهینه کردن عملکرد حین کار با داده‌های بزرگ عمل می‌کند. در اینجا از چند مؤلفه کلیدی برای این راه‌حل اسم می‌بریم. 

مقیاس‌پذیری: Cisco UCS قابلیت ایجاد خوشه‌ها در مقیاس ۱۰هزار سیستم را حتی با بازده بالاتر فراهم می‌کند. 

سیستم‌های UCS محاسبه، شبکه شدن و انبارش را به‌صورت یکپارچه ممکن می‌سازند و شما را قادر به پردازش حتی بزرگ‌ترین خوشه‌های داده در مقیاس بالا می‌سازند.

این سیستم، LAN، SAN و SingleConnect را ممکن می‌سازد. این اتصال هرچقدر که حجم داده‌ها بالاتر می‌رود هزینه و پیچیدگی ارتباط را پائین می‌آورد. مشترکان کاهش ۶۶ درصدی را در پورت‌ها و میزان کابل مصرفی تجربه خواهند کرد. 

قابلیت مدیریت: UCS مسئولان IT را قادر به اجرای خوشه‌های محاسبه و شبکه می‌کند و این امکان را می‌دهد تا آنها را به‌صورت خودکار مدیریت، کنترل، مقیاس‌بندی و پیکربندی مجدد کنند. سیستم کنترل MapR (MCS) برای ادمین‌ها یک صفحه نمایش ساده برای پیکربندی، رصد و مدیریت خوشه‌هایشان در نظر گرفته است. 

اجرا: UCS CPA سیسکو مخصوص داده‌های بزرگ طراحی شده و طراحی آن به‌گونه‌ای است که کارهای با داده‌های با حجم بالا را به‌راحتی سازمان‌دهی کند.

ترکیب سیستم سیسکو با MapR بالاترین توزیع هادوپ را در یک پلتفرم ارتقا یافته داده با قابلیت اعتماد بسیار بالا فراهم می‌کند. ضمناً مدیریت این پلتفرم بسیار راحت است. درمجموع، توزیع MapR’s از هر سیستم دیگری سریع‌تر است. این توزیع بر روی Cisco UCS CPA برای داده‌های با حجم بالا کار می‌کند. MapR مقدار ۱۵میلیارد رکورد در ۵۹ ثانیه را به نام خود ثبت کرده است. همین‌که کار با داده‌های بزرگ را شروع می‌کنید، قابلیت برنامه‌نویسی ACI مزیت‌های فوق‌العاده‌ای را برای‌تان ایجاد می‌کند. به‌عنوان مثال می‌توانید از قابلیت هوش شبکه‌ای Cisco ACI در وضعیت‌های دشوار و پیچیده با ترافیک بالای داده، برای افزایش عملکرد شبکه از ۵۰ تا ۱۰۰ درصد بهره ببرید. این سیستم نه‌تنها بسیار کارآمد است، بلکه باعث کاهش هزینه‌های شما می‌شود.
سیستم مشترک این دو مجموعه به شرکت‌ها اجازه می‌دهد تا به‌راحتی داده‌های با حجم بالای خود را مدیریت کنند و هرچه حجم داده‌ها بیشتر می‌شود قابلیت مقیاس‌پذیری بالای این مجموعه کار را راحت می‌کند.

یک مسئول IT با استفاده از UCS می‌تواند سرورهای مختلف را در آن واحد مدیریت کند گویی همه یکی هستند و این کار انعطاف‌پذیری را بالا می‌برد.
سرعت بالای مدیریت خودکار سرورهای مستقر در شبکه، زمان لازم برای بازبینی را نسبت به سیستم‌های سنتی ۸۴ درصد کاهش می‌دهد و سیسکو یک سیستم متحد فابریک ایجاد کرده که سه نوع مختلف ترافیک LAN و SAN و ترافیک مدیریت را هم‌گرا کرده و آن را در قالب یک ذخیره ساده داده مدیریت می‌کند.

راه‌حل کارآمد سیسکو، از یک جفت پیوند ساده بین شبکه‌ای برای اتصال ۱۶۰ سرور استفاده می‌کند. این سرورها می‌توانند چند دوجین LAN، SAN و سوییچ‌های مدیریتی را جابه‌جا کنند. با این مجموعه می‌شود هزاران سرور را با استفاده از UCS مرکزی مدیریت کرد.
MapR از همان ابتدا در کارهای خلاقانه طراحی برای ساده‌تر کردن استفاده از هادوپ پیشرو بوده است.
این نوآوری‌ها شامل ایجاد سیستم‌های با قابلیت برطرف کردن عیب خود، احیای داده‌ها و ارتقای عملکرد هستند که همه اینها درمجموع از قطع شدن جلوگیری می‌کند.

MapR محدودیت ذخیره فایل‌ها بر روی HDFS را از بین می‌برد و تعداد فایل‌های قابل ذخیره را به یک تریلیون می‌رساند. این یکی از الزامات اصلی loE است، زیرا باید تعداد زیادی فایل‌های کوچک مورد نیاز ذخیره و مدیریت شوند.
شرکت‌ها با استفاده از سیستم مشترک MapR و Cisco می‌توانند TCO خود را کاهش دهند به‌طوری‌که حتی با حجم‌های بسیار بالای داده، مقادیر بی‌سابقه‌ای را در سرعت شبکه تجربه کنند.

نتیجه‌گیری
یک فرصت کسب‌وکار ۱۹ تریلیون دلاری چیزی نیست که هرروز شاهد آن باشیم. چشم امید سازمان‌ها به IT است تا در این عرصه یاری‌شان دهد. 

IT به راهکارهای طراحی در سطح سازمان نیاز دارد تا بتواند مهندسی داده را به یک سطح بالاتر ارتقا دهد و مدیریت حجم عظیم داده‌های loE را در زمان واقعی ممکن سازد. این طراحی به مقیاس‌پذیری و قابلیت پیکربندی مجدد برای پشتیبانی از سیستم‌های جدید نیاز خواهد داشت. شراکت بین Cisco و MapR ایجاد چنین سیستم‌هایی را امکان‌پذیر خواهد ساخت. 

چالش‌های مهندسی داده در loE بسیار بزرگ هستند. سازمان‌ها باید مطمئن شوند که معماری foE آنها درست بوده است. اگر آنها مهندسی داده‌های حجیم را به‌خوبی بهینه کرده باشند، هر جنبه از loE از ذخیره تا تحلیل داده برای آنها آسان و مفید خواهد بود.
منبع: ماهنامه دیده‌بان فناوری- شماره دوم