بررسی و ارزیابی عملکرد زمان بندهای وظایف بر روی چارچوب نرم افزاری Hadoop YARN

نوع فایل : word

تعداد صفحات : 38

تعداد کلمات : 9800

مجله : CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE

انتشار : 2016

ترجمه متون داخل جداول : ترجمه شده است

درج جداول در فایل ترجمه : درج شده است

منابع داخل متن : به صورت فارسی درج شده است

کیفیت ترجمه : طلایی

:

تاریخ انتشار
10 دسامبر 2020
دسته بندی
تعداد بازدیدها
1489 بازدید
33,000 تومان

عنوان فارسی مقاله:بررسی و ارزیابی عملکرد زمان بندهای وظایف بر روی چارچوب نرم افزاری Hadoop YARN

 چکیده  

 برای حل محدودیت Hadoop (هادوپ) در زمینه‌ی مقیاس پذیری، به اشتراک گذاری منابع و پشتیبانی برنامه، انجمن متن باز با جداسازی توابع مدیریت منابع از مدل برنامه نویسی، نسل بعدی سیستم محاسباتی Hadoop را به نام YARN پیشنهاد می‌کند. این تفکیک انواع مختلف برنامه‌ها را قادر می‌سازد تا به طور موازی بر روی YARN اجرا شوند. برای دستیابی به اشتراک منابع منصفانه و استفاده زیاد از منابع، YARN زمانبند ظرفیت و زمانبند منصفانه را فراهم می‌کند. با این حال، هنگامی که برنامه‌های ترکیبی روی یک خوشه YARN اجرا می‌شوند، تأثیرات عملکرد دو زمان بند مشخص نیست. بنابراین، در این مقاله، ما چهار ترکیب سیاست زمان بندی (مختصر SPC) حاصل از دو برنامه ریز را مطالعه می‌کنیم و سپس چهار SPC را در حالات گسترده ارزیابی می‌کنیم، که نه تنها چهار نوع برنامه، بلکه سه ساختار مختلف صف برای سازماندهی برنامه‌ها را نیز در نظر می‌گیرند.. نتایج تجربی مدیران YARN را قادر می‌سازد تا تأثیر SPC های مختلف و ساختارهای مختلف صف را در برنامه‌های مختلف درک کنند. همچنین نتایج به آنها کمک می‌کند تا SPC مناسب و ساختار صف مناسبی را برای دستیابی به عملکرد بهتر اجرای برنامه انتخاب کنند(چارچوب نرم افزاری Hadoop YARN).

ادامه مطلب

راهنمای خرید:
  • لینک دانلود فایل بلافاصله بعد از پرداخت وجه به نمایش در خواهد آمد.
  • همچنین لینک دانلود به ایمیل شما ارسال خواهد شد به همین دلیل ایمیل خود را به دقت وارد نمایید.
  • ممکن است ایمیل ارسالی به پوشه اسپم یا Bulk ایمیل شما ارسال شده باشد.
  • در صورتی که به هر دلیلی موفق به دانلود فایل مورد نظر نشدید با ما تماس بگیرید.

Title: Performance evaluation of job schedulers on Hadoop YARN

Abstract

To solve the limitation of Hadoop on scalability, resource sharing, and application support, the opensource community proposes the next generation of Hadoop’s compute platform called Yet Another Resource Negotiator (YARN) by separating resource management functions from the programming model. This separation enables various application types to run on YARN in parallel. To achieve fair resource sharing and high resource utilization, YARN provides the capacity scheduler and the fair scheduler. However, the performance impacts of the two schedulers are not clear when mixed applications run on a YARN cluster. Therefore, in this paper, we study four scheduling-policy combinations (SPCs for short) derived from the two schedulers and then evaluate the four SPCs in extensive scenarios, which consider not only four application types, but also three different queue structures for organizing applications. The experimental results enable YARN managers to comprehend the influences of different SPCs and different queue structures on mixed applications. The results also help them to select a proper SPC and an appropriate queue structure to achieve better application execution performance. Copyright © 2016 John Wiley & Sons, Ltd.
دیدگاهتان را بنویسید