Сьогоднішні великі виклики даних виникають із різноманітності, а не обсягу чи швидкості

Зміст

• Три VS великих даних
• Вирішення проблеми різноманітності даних
• Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя

Винос:

Забагато ІТ-підрозділів кидає все, що у них є, щодо питань обсягу та швидкості передачі даних, забуваючи вирішити фундаментальну проблему різноманітності даних.

За словами Дуга Лейні, віце-президента з дослідження компанії Gartner, виклик управління та використання великих даних пов'язаний із трьома елементами. Більше десяти років тому Лейні зазначив, що великі дані створюють таку проблему для підприємства, оскільки вони вводять важкі для управління обсяги, швидкості та різноманітність. Проблема полягає в тому, що занадто багато ІТ-підрозділів кидають усе, що у них є, при питаннях обсягу та швидкості передачі даних, забуваючи вирішити фундаментальне питання різноманітності даних.

Ще в 2001 році Лані писав, що "провідні підприємства все частіше використовуватимуть централізований сховище даних для визначення загальної бізнес-лексики, що покращує внутрішню та зовнішню співпрацю". Питання цього словникового запасу - та мінливості, що стримує компанії від його створення - залишається найменш розглянутим аспектом загальної проблематики великих даних на сьогодні. (Ознайомтеся з тим, що мають сказати інші фахівці. Ознайомтеся з експертами з великих даних, яких слід далі.)

Три VS великих даних

Численні підприємства знайшли методи для збільшення обсягу та швидкості передачі даних. наприклад, можна проаналізувати величезні обсяги даних. Звичайно, ці дані часто і знову подаються в одних і тих же параметрах. Це сприяло нововведенням технологій, таких як бази даних стовпців, які зараз широко використовуються іншими компаніями, що стикаються з однаково схожими сховищами даних.

Що стосується швидкості приручення, то такі постачальники, як Splunk, допомагають підприємствам аналізувати швидко створені дані за допомогою файлів журналів, які фіксують кілька тисяч подій в секунду. Цей аналіз широкомасштабних подій орієнтований на випадки використання моніторингу безпеки та ефективності. Як і у випадку виклику обсягу даних, проблема випробування швидкості значною мірою вирішується за допомогою складних методів індексації та розподіленої аналітики даних, які дозволяють обробляти можливості масштабування зі збільшенням швидкості передачі даних.

Що стосується різноманітності, то занадто багато підприємств все ще стикаються з великою проблемою у своєму підході до аналітики великих даних. Ця проблема обумовлена ​​трьома факторами: по-перше, завдяки зростанню, придбанням та технологічним інноваціям, що додають нові системи в навколишнє середовище, підприємства перебувають у замкнутому середовищі, що сильно неоднорідне, і ця гетерогенність з часом збільшується. Підприємствам потрібно відстежувати безліч типів систем та керувати десятками тисяч типів даних, а також одними і тими ж даними, представленими за допомогою різних номенклатур та форматів.

По-друге, ці системи та типи даних у багатьох випадках подають як відповідну інформацію, так і інформацію, яка може бути безпечно відфільтрована як неістотна для вирішення проблеми. Потрібно надійно визначити вражаючу інформацію.

Третій аспект виклику сорту - постійна мінливість або зміна середовища. Системи вдосконалюються, вводяться нові системи, додаються нові типи даних та вводиться нова номенклатура. Це ще більше напружує нашу здатність приборкати виклик різноманітності даних. Це додає додатковий шар виклику сорту. (Для отримання більш детальної інформації ознайомтеся з великими даними: як їх захопили, розчавили та використовували для прийняття бізнес-рішень.)

Вирішення проблеми різноманітності даних

Для вирішення проблеми різноманітності даних підприємства повинні починати з ІТ-області, оскільки вона часто представляє як найгірших правопорушників, так і найгірших жертв проблеми різноманітності. Перший крок - почати з вичерпного визначення або систематики всіх елементів або активів ІТ. Це забезпечує базову лінію або основу для посилання на що-небудь в ІТ або про нього і дає можливість підприємствам управляти зростаючою неоднорідністю проти відомої систематики або термінології.

Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя

Ви не можете покращити свої навички програмування, коли ніхто не піклується про якість програмного забезпечення.

Наступним кроком є ​​визначення численних способів, по яких один і той же об'єкт представлений у різних системах запису. Це дає можливість ІТ-фахівцям переглядати своє гетерогенне середовище та високо фільтрувати та стискати дані у відповідні та керовані фрагменти.

Нарешті, ІТ-менеджери повинні прийняти процес постійного вивчення середовища на предмет змін, таких як нові типи елементів або нові номенклатури для позначення того ж елемента.

За допомогою цих кроків ІТ-організації можуть вирішувати різноманітні проблеми та отримувати глибокі розуміння, які історично уникали ІТ-команд. Більше того, управління проблемою сорту значно покращує рентабельність інвестицій в інструменти та методи, які вирішують більш традиційні проблеми великих обсягів та швидкості передачі даних.