Джерело: Agsandrew / Dreamstime.com
Винос:
Джерельно-агностичні методи ідеально підходять для обробки даних для аналітики Hadoop.
Поєднання джерел даних у Hadoop - справа складна. Деякі з причин цього:
- Спеціальні сценарії, специфічні для джерел, що поєднують джерела даних, є проблематичними.
- Використання інструментів інтеграції даних або засобів наукових даних вводить занадто велику невизначеність.
- Додавання даних із зовнішніх джерел поруч із неможливим.
Сьогодні я збираюся обговорити, як поліпшується аналітика Hadoop завдяки джерельно-агностичним технологіям, що полегшують комбінування внутрішніх та зовнішніх джерел даних. На додаток до опису того, як працюють джерельно-агностичні методи, я також розповім, чому аналітиці Hadoop потрібні вбудовані можливості інтелекту та передачі знань, розуміння взаємозв'язків та характеристик даних, а також масштабована та високоефективна архітектура.
- Джерельно-агностичні методи включають гнучку модель суттєвої роздільної здатності, яка дозволяє додавати нові джерела даних, використовуючи статистично обгрунтовані, повторювані процеси наукових даних. Ці процеси використовують алгоритми для збору знань з даних та їх оцінки, аналізу, щоб визначити найкращий інтеграційний підхід.
Незалежно від того, наскільки фрагментованими або неповними є оригінальні записи джерел, технології Hadoop-аналітики повинні бути джерелами агностики і мати можливість уніфікувати дані, не змінюючи або маніпулюючи вихідними даними. Ці технології також повинні створювати індекси суб'єктів господарювання на основі вмісту даних та атрибутів про осіб та те, як вони існують у світі. Для цього вони повинні розуміти зміст, конфігурацію, структуру даних та взаємозв'язок компонентів один з одним. - Вбудована наука про дані та досвід інтеграції даних дозволяє очищати, стандартизувати та співвідносити дані з високим ступенем точності та точності. Засоби візуалізації та звіти допомагають аналітикам оцінювати та вчитися на основі даних, а також здійснювати налаштування системи на основі знань, отриманих з різних етапів у процесі.
- Розуміння стосунків між сутностями призводить до більш точних процесів вирішення сутності. Оскільки суб'єкти реального світу - це не лише сума їх атрибутів, а й їх зв'язки, знання про стосунки слід використовувати для виявлення, коли записи однакові. Це особливо важливо для обробки кутових справ та великих даних.
- Характеристика даних вдосконалює аналіз, розв’язання та зв'язування даних шляхом визначення та надання інформації в межах джерел даних. Це може допомогти перевірити вміст, щільність та розподіл даних у стовпцях структурованої інформації. Характеристика даних може також використовуватися для ідентифікації та вилучення важливих даних, пов'язаних із сутністю (ім'я, адреса, дата народження тощо) з неструктурованих та напівструктурованих джерел для співвіднесення зі структурованими джерелами.
- Масштабована, паралельна архітектура швидко виконує аналітику, навіть підтримуючи сотні структурованих, напівструктурованих та неструктурованих джерел даних та десятки мільярдів записів.
Hadoop змінює те, як світ виконує аналітику. Коли нові екосистемні аналітики додаються до екосистем Hadoop, організації можуть з'єднувати точки в багатьох внутрішніх та зовнішніх джерелах даних та отримувати уявлення, які раніше не було можливо.
Ця стаття була спочатку розміщена на Novetta.com. Це було очеретом тут з дозволу. Novetta зберігає всі авторські права.