Apache Spark

Автор: Eugene Taylor
Дата Створення: 8 Серпень 2021
Дата Оновлення: 1 Липня 2024
Anonim
Что такое Apache Spark
Відеоролик: Что такое Apache Spark

Зміст

Визначення - Що означає Apache Spark?

Apache Spark - програма з відкритим кодом, що використовується для аналізу даних. Це частина більшого набору інструментів, включаючи Apache Hadoop та інші ресурси з відкритим кодом для сьогоднішньої аналітичної спільноти.


Експерти описують це відносно нове програмне забезпечення з відкритим кодом як інструмент обчислення кластерної аналітики даних. Він може використовуватися з файловою системою розподілених файлів Hadoop (HDFS), яка є особливим компонентом Hadoop, що полегшує складну обробку файлів.

Деякі ІТ-профі описують використання Apache Spark як потенційного замінника компонента Apache Hadoop MapReduce. MapReduce - це також інструмент кластеризації, який допомагає розробникам обробляти великі набори даних. Ті, хто розуміє дизайн Apache Spark, зазначають, що він може бути в багато разів швидшим, ніж MapReduce, в деяких ситуаціях.

Вступ до Microsoft Azure та Microsoft Cloud | У цьому посібнику ви дізнаєтеся, що стосується хмарних обчислень та як Microsoft Azure може допомогти вам мігрувати та вести свій бізнес із хмари.

Техопедія пояснює Apache Spark

Ті, хто повідомляє про сучасне використання Apache Spark, показують, що компанії використовують його різними способами. Одне поширене використання - для агрегування даних та їх структурування більш досконалими способами. Apache Spark також може бути корисним при аналітичній машинній роботі або класифікації даних.


Зазвичай організації стикаються з проблемою вдосконалення даних ефективним та дещо автоматизованим способом, коли Apache Spark може використовуватися для виконання таких завдань. Деякі також мають на увазі, що використання Spark може допомогти забезпечити доступ для тих, хто мало обізнаний з програмуванням та хоче взяти участь у роботі з аналітикою.

Apache Spark включає API для Python та пов'язані з ними мови програмного забезпечення.