Які переваги рамки Hadoop 2.0 (YARN)?

Зміст

• Що таке Рамка YARN?
• Обмеження рамки Hadoop 1.0
• Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя
• Пряжа Рамки та її переваги
• Висновок

Джерело: Джим Х'юз / Dreamstime.com

Винос:

YARN - це суттєве вдосконалення в рамках Hadoop 1.0. Тут ми розглянемо деякі переваги, які він має перед своїм попередником.

З часу введення поняття великих даних воно пройшло через кілька етапів еволюції. Hadoop був представлений у 2005 році з деякими початковими особливостями, такими як двигун обробки MapReduce, який дозволив широкомасштабну обробку даних, розподілену в кластерах. Сама Hadoop пережила багато змін і розробила передові рамки та методи.

Пряжа є основним компонентом Hadoop 2.0. Він в основному управляє ресурсами в кластерному середовищі. Брокер YARN взаємодіє з обчислювальними ресурсами (від імені додатків) і призначає ресурси для кожної програми на основі різних критеріїв фільтрації.

У цій статті ми розглянемо основні переваги YARN над Hadoop 1.0.

Що таке Рамка YARN?

Yта ін Анічого Rресурс Negotiator є основним компонентом Hadoop 2.0, який управляє ресурсами в кластерному середовищі. Рамка Hadoop YARN - це вдосконалена версія Hadoop 1.0, яка забезпечує покращену продуктивність, що вигідно для екосистеми Hadoop та всього спектру технологій, пов’язаних з нею. Тепер, коли ми трохи більше знайомі з YARN, розглянемо детальніше Hadoop 1.0 та YARN.

Обмеження рамки Hadoop 1.0

Для того, щоб зрозуміти переваги рамки YARN, дуже важливо зрозуміти, як працює Hadoop 1.0 та які обмеження цього фреймворку.

Тут відбувається роль JobTracker. Він керує обома ресурсами кластера та визначає виконання завдання MapReduce. Коротше кажучи, JobTracker планує та резервує слоти задач, а також налаштовує та контролює кожне запущене завдання. Якщо завдання не вдається, воно перерозподіляє новий слот, щоб завдання почалося заново. Після завершення завдання JobTracker звільняє слот для інших завдань і очищує тимчасові ресурси.

Основні недоліки вищезазначеного підходу:

• Доступність - JobTracker - єдиний пункт доступності в Hadoop 1.0. Це означає, що якщо JobTracker не вдасться, всі завдання перезапустяться за замовчуванням.
• Обмежена масштабованість - Оскільки JobTracker виконує кілька завдань і працює на одній машині, інші доступні машини не використовуються; отже, в результаті обмежена масштабованість.
• Використання ресурсів - У наведеному вище підході слоти для карти та скорочення слотів визначені заздалегідь. Може статися, що один із слотів заповнений, але інші слоти машини порожні. Оскільки порожні слоти зарезервовані, вони будуть сидіти в режимі очікування, а не робити компроміси для повних слотів. Це може спричинити проблему використання ресурсів.
• Запуск додатків, які не є MapReduce - JobTracker - це програма, створена для фреймворку MapReduce. Проблема виникає, коли програма, яка не MapReduce, намагається запуститись у цій рамці. Для успішного запуску програми потрібно відповідати рамковому програмуванню MapReduce. Деякі поширені проблеми, що виникають із-за цього, включають проблеми з:
  • Спеціальний запит
  • Аналіз у реальному часі
  • прохідний підхід
• Збій у каскадному стані - Одне з найважливіших проблем у цій структурі виникає, коли кількість вузлів перевищує 4000. За такого сценарію виникає каскадний збій, що призводить до погіршення всього кластеру.

Це деякі основні обмеження, з якими стикаються під час роботи з цією рамкою. Існують і деякі інші незначні обмеження, які не згадуються. Для подолання цих обмежень було введено структуру YARN.

Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя

Ви не можете покращити свої навички програмування, коли ніхто не піклується про якість програмного забезпечення.

Пряжа Рамки та її переваги

Рамка YARN, запроваджена в Hadoop 2.0, має на меті розподілити обов'язки MapReduce та піклуватися про завдання управління кластером. Це дозволяє MapReduce виконувати лише обробку даних і, отже, впорядкувати процес.

YARN запроваджує концепцію централізованого управління ресурсами. Це дозволяє запускати кілька програм на Hadoop, використовуючи спільне управління ресурсами.

Деякі основні компоненти рамки YARN:

• ResourceManager - Компонент ResourceManager є переговорником у кластері для всіх ресурсів, наявних у цьому кластері. Крім того, цей компонент класифікується в менеджер програм, який відповідає за управління роботами користувачів. З Hadoop 2.0 будь-яке завдання MapReduce вважатиметься додатком.
• ApplicationMaster - Цей компонент є місцем, де існує робота або додаток. Він також управляє всіма завданнями MapReduce і завершується після завершення обробки завдань.
• NodeManager - компонент диспетчера вузлів виконує функції сервера для історії завдань. Він несе відповідальність за забезпечення інформації про виконані завдання. Він також відстежує завдання користувачів, а також їх робочий процес для певного вузла.

Маючи на увазі, що рамка YARN має різні компоненти для управління різними завданнями, давайте подивимось, як вона протидіє обмеженням Hadoop 1.0.

• Краще використання ресурсів - Рамка YARN не має жодних фіксованих слотів для виконання завдань. Він забезпечує центральний менеджер ресурсів, який дозволяє обмінюватися кількома програмами через загальний ресурс.
• Запуск додатків, які не є MapReduce - У YARN можливості планування та управління ресурсами відокремлені від компонента обробки даних. Це дозволяє Hadoop запускати різні типи програм, які не відповідають програмуванню рамки Hadoop. Кластери Hadoop тепер здатні виконувати незалежні інтерактивні запити та виконувати кращий аналіз у режимі реального часу.
• Зворотна сумісність - YARN - це сумісна із зворотною рамкою, що означає, що будь-яке існуюче завдання MapReduce може бути виконано в Hadoop 2.0.
• JobTracker більше не існує - Двома основними ролями JobTracker були управління ресурсами та планування роботи. Із впровадженням структури YARN вони тепер поділяються на два окремих компоненти, а саме:
  • NodeManager
  • ResourceManager

Висновок

Впровадження рамки YARN спростило створення додатків для розробників Hadoop. Тепер додатки більше не потрібно реалізовувати із сторонніми інструментами. ПРАВА - це величезна зміна, яка дозволить користувачам розглянути Hadoop 2.0 для створення додатків та ефективнішого маніпулювання даними. З часом з'являться подальші розробки для підвищення зручності використання Hadoop. Наразі рамки YARN відіграватимуть вирішальну роль у вирішенні існуючих проблем та створенні безпроблемного середовища, більш універсального, ніж попередня версія моделі MapReduce.