Екосистема Hadoop

Автор: Roger Morrison
Дата Створення: 18 Вересень 2021
Дата Оновлення: 19 Червень 2024
Anonim
Очень кратко про Hadoop и Spark
Відеоролик: Очень кратко про Hadoop и Spark

Зміст

Визначення - Що означає екосистема Hadoop?

Екосистема Hadoop посилається на різні компоненти бібліотеки програм Apache Hadoop, а також на аксесуари та інструменти, що надаються програмним фондом Apache для цих типів програмних проектів, та на способи спільної роботи.


Hadoop - це база на Java, яка надзвичайно популярна для обробки та аналізу великих наборів даних.

Вступ до Microsoft Azure та Microsoft Cloud | У цьому посібнику ви дізнаєтеся, що стосується хмарних обчислень та як Microsoft Azure може допомогти вам мігрувати та вести свій бізнес із хмари.

Техопедія пояснює екосистему Hadoop

Як основний пакет Hadoop, так і його аксесуари - це здебільшого проекти з відкритим кодом, ліцензовані Apache. Ідея екосистеми Hadoop передбачає використання різних частин основного набору Hadoop, таких як MapReduce, рамок для обробки великої кількості даних та розподіленої файлової системи Hadoop (HDFS), складної системи обробки файлів. Є також YARN, менеджер ресурсів Hadoop.

На додаток до цих основних елементів Hadoop, Apache також постачав інші види аксесуарів або додаткових інструментів для розробників. До них належить Apache Hive, інструмент аналізу даних; Apache Spark, загальний двигун для обробки великих даних; Apache Pig, мова потоку даних; HBase, інструмент бази даних; а також Ambarl, якого можна розглядати як менеджера екосистеми Hadoop, оскільки він допомагає одночасно керувати використанням цих різних ресурсів Apache. Коли Hadoop стає фактичним стандартом для збору даних і стає всюдисущим у багатьох організаціях, менеджери та лідери розвитку вивчають все про екосистему Hadoop та які види речей, що беруть участь у загальних налаштуваннях Hadoop.