Розподілена файлова система Hadoop (HDFS)

Автор: Judy Howell
Дата Створення: 28 Липня 2021
Дата Оновлення: 1 Липня 2024
Anonim
Hadoop. Распределённая файловая система HDFS
Відеоролик: Hadoop. Распределённая файловая система HDFS

Зміст

Визначення - Що означає розподілена файлова система Hadoop (HDFS)?

Розподілена файлова система Hadoop (HDFS) - це розподілена файлова система, яка працює на стандартному або низькому рівні апаратного забезпечення. Розроблений Apache Hadoop, HDFS працює як стандартна розподілена файлова система, але забезпечує кращу пропускну здатність та доступ даних за допомогою алгоритму MapReduce, високу стійкість до відмов та підтримку великих наборів даних.


Вступ до Microsoft Azure та Microsoft Cloud | У цьому посібнику ви дізнаєтеся, що стосується хмарних обчислень та як Microsoft Azure може допомогти вам мігрувати та вести свій бізнес із хмари.

Техопедія пояснює розподілену файлову систему Hadoop (HDFS)

HDFS зберігає велику кількість даних, розміщених на декількох машинах, як правило, у сотнях і тисячах одночасно підключених вузлів, і забезпечує надійність даних шляхом реплікації кожного екземпляра даних у три різні копії - дві в одній групі та одна в іншій. Ці копії можуть бути замінені у разі виходу з ладу.

Архітектура HDFS складається з кластерів, до кожного з яких можна отримати доступ через один програмний інструмент NameNode, встановлений на окремій машині для контролю та керування файловою системою кластерів та механізмом доступу користувачів. Інші машини встановлюють один екземпляр DataNode для управління зберіганням кластерів.

Оскільки HDFS написаний на Java, він має вбудовану підтримку інтерфейсів програмного забезпечення Java (API) для інтеграції та доступності додатків. До нього також можна отримати доступ через стандартні веб-браузери.