Зміст
- ETL створює вузькі місця для Analytics
- Упорядкування ETL за допомогою машинного навчання та AI
- Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя
Джерело: Pop Nukoonrat / Dreamstime.com
Винос:
Дані мають вирішальне значення для бізнесу, але для того, щоб вони були корисними, не повинно бути помилок при зборі, обробці та представленні цих даних. Штучний інтелект може контролювати процеси ETL, щоб переконатися, що вони не мають помилок.
ETL (витяг, перетворення та завантаження) - один з найважливіших процесів в аналітиці великих даних - і водночас це може бути одним із найбільших вузьких місць. (Докладніше про великі дані, перегляньте 5 корисних великих курсів даних, які можна взяти в Інтернет.)
Причина ETL настільки важлива в тому, що більшість даних, які збирає бізнес, не готові в своєму сирому вигляді для аналізу даних аналітичного рішення. Для того щоб рішення аналітики створило розуміння, необроблені дані потрібно витягнути з програми, де вона зараз перебуває, перетворити у формат, який може прочитати програма аналітики, а потім завантажити в саму програму аналітики.
Цей процес є аналогом приготування. Ваші сирі інгредієнти - це ваші необроблені дані. Їх потрібно витягти (придбати в магазині), перетворити (приготувати), а потім завантажити (покрити), перш ніж їх можна буде проаналізувати (скуштувати). Складність і витрати можуть масштабуватися непередбачувано - легко зробити мак-сир для себе, але набагато складніше створити меню гурманів для 40 осіб на вечері. Потрібно сказати, що помилка в будь-якій точці може зробити вашу страву непереборною.
ETL створює вузькі місця для Analytics
ETL в чомусь є основою процесу аналітики, але він також має деякі недоліки. Перш за все, це повільно і обчислювально дорого. Це означає, що підприємства часто надають пріоритет лише своїм найважливішим даним для аналітики, а просто зберігають решту. Це сприяє тому, що до 99% усіх бізнес-даних залишаються невикористаними для цілей аналітики.
Крім того, процес ETL ніколи не є певним. Помилки в процесі ETL можуть пошкодити ваші дані. Наприклад, коротка мережна помилка може запобігти вилученню даних. Якщо ваші вихідні дані містять кілька типів файлів, вони можуть бути неправильно перетворені. Сміття в, сміття, як кажуть - помилки під час процесу ETL майже напевно виявляться у неточній аналітиці.
Пошкоджений процес ETL може мати погані наслідки. Навіть у найкращому випадку вам, мабуть, доведеться перезапустити ETL, що означає затримку годин - а тим часом ваші особи, які приймають рішення, нетерплячі. У гіршому випадку ви не помічаєте неточної аналітики, поки не почнете втрачати гроші та клієнтів.
Упорядкування ETL за допомогою машинного навчання та AI
Ви можете - і, мабуть, зробити це - призначити когось для моніторингу ETL, але це чесно не так просто. Погані дані можуть бути результатом помилок процесу, які трапляються так швидко, що їх не помічають у режимі реального часу. Результати пошкодженого процесу ETL часто не відрізняються від правильно завантажених даних. Навіть коли помилки очевидні, проблему, яка створила помилку, може бути не так просто простежити. (Щоб дізнатися більше про аналіз даних, див. Роль роботи: Аналітик даних.)
Хороша новина полягає в тому, що машини можуть ловити те, що людина не може. Це лише кілька способів, завдяки яким AI та машинне навчання можуть вловлювати помилки ETL, перш ніж вони перетворяться на неточну аналітику.
Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя
Ви не можете покращити свої навички програмування, коли ніхто не піклується про якість програмного забезпечення.
1. Виявлення та оповіщення за показниками ETL
Незважаючи на те, що ваші дані являють собою картину, що постійно рухається, процес ETL все одно повинен давати стійкі значення з постійною швидкістю. Коли ці речі змінюються, це викликає тривогу. Люди можуть бачити великі хитання у даних та розпізнавати помилки, але машинне навчання може швидше розпізнати тонкі помилки. Система машинного навчання може запропонувати в режимі реального часу виявити аномалію та безпосередньо попередити ІТ-відділ, що дозволяє їм призупинити процес та виправити проблему, не відкладаючи години на обчислювальні зусилля.
2. Визначення конкретних пляшок
Навіть якщо ваші результати точні, вони все одно можуть вийти занадто повільно, щоб бути корисними. Гартнер говорить про це 80% розумінь отримані за допомогою аналітики ніколи не будуть використані для створення грошової вартості, і це може бути тому, що керівник бізнесу не може бачити уявлення вчасно, щоб скористатися ним. Машинне навчання може сказати вам, де ваша система сповільнюється, і дасть вам відповіді - швидше ви отримуєте кращі дані.
3. Кількісно оцінити вплив управління змінами
Системи, які виробляють ваші дані та аналітику, не є статичними - вони постійно отримують виправлення та оновлення. Іноді вони впливають на те, як вони виробляють або інтерпретують дані - призводять до неточних результатів. Машинне навчання може позначати результати, які були змінені, і відстежувати їх на певній машині чи програмі.
4. Знизити вартість операцій
Затримані аналітичні операції дорівнювали втраченим грошам. Час, який ви витрачаєте, з'ясовуючи не тільки як вирішити проблему, але й хто відповідає для вирішення проблеми - час, коли ви можете витратити будівельну вартість. Машинне навчання допомагає дійти до суті справи, попереджаючи лише команди, які можуть відповідати за реагування на конкретні типи інцидентів, дозволяючи решті ІТ-відділу вільно продовжувати виконувати основні функції роботи. Крім того, машинне навчання допоможе усунути помилкові позитиви, зменшивши загальну кількість сповіщень, одночасно збільшивши деталізацію інформації, яку вони можуть надати. Тривожність оповіщення дуже реальна, тому ця зміна матиме помітний вплив на якість життя.
Що стосується перемоги в бізнесі, аналітика має вирішальне значення. Визначне дослідження Bain Capital показує, що у компаній, що використовують аналітику, більше ніж удвічі більше шансів на фінансову ефективність. ETL забезпечує основу для успіху на цій арені, але затримки та помилки також можуть запобігти успіху програми аналітики. Отже, машинне навчання стає безцінним інструментом для успіху будь-якої програми аналітики, допомагаючи гарантувати чисті дані та точні результати.