Зміст
- Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя
- Вниз до бізнесу
- Як Kafka змінить управління даними
Винос:
Kafka зробить для інформаційних систем те, що LinkedIn робить для ділових людей: підтримуйте їх на зв’язку в широких межах.
Віруючи пристрасно в те, що досі не існує, ми створюємо це. Неіснуюче - це те, чого ми недостатньо бажали.~ Франц Кафка
Необхідність залишається основою винахідництва. Як один раз промовистий консультант сказав мені: "Якщо в організації щось трапляється, це відбувається". Його думка була двоякою: 1) деякі люди завжди знайдуть спосіб зробити справи; і 2) керівництво вищої ланки, а то й середнє керівництво, можливо, не знає, як саме все відбувається в їх власному закладі.
Якщо ми поширимо цю метафору на весь Всесвіт управління даними, ми можемо побачити, що трансформація відбувається саме зараз. Невисокий тиск великих даних у поєднанні з віссю потокової передачі даних створює настільки великий тиск, що застарілі системи стискаються по краях, якщо не руйнуються взагалі. Тим не менш, в цей момент існує безліч професіоналів, які займаються своєю роботою, які значною мірою не знають про цю реальність.
Підприємства, керовані даними, мають дані на передньому ряду і багато в чому сприяють цій зміні. Поміркуйте, як потужні електростанції, такі як Yahoo !, та LinkedIn перетворили індустрію програмного забезпечення підприємства своїми величезними пожертвами на відкритий код: Hadoop, Cassandra та зараз Kafka, які всьому пастували Фондом Apache, який є центральним гравцем у цій метаморхфозі .
Що є результатом усієї цієї зміни? Сьогодні ми спостерігали категоричну рекласифікацію та реструктуризацію самого управління даними. Це не означає, що застарілі системи тепер будуть вирвані та замінені. Будь-який ветеран галузі скаже вам, що розпущення застарілих систем оптом відбувається приблизно так часто, як Чикаго Кубки виграють Всесвітню серію. Це рідкісна подія, якщо не сказати.
Що насправді відбувається, так це те, що над структурами старого світу будується надбудова. Розглянемо аналогію міждержавних автомобільних доріг, які часто піднімаються над містами та містечками, які вони обслуговують, розробленими для доставки людей та вантажів у ці населені центри та забезпечують вихід будь-кого та будь-що всередині них. Вони не замінюють існуючі дороги настільки, що збільшують їх швидкісними альтернативами.
Саме це робить Apache Kafka: вона забезпечує швидкісні маршрути для руху даних між інформаційними системами та серед них. Щоб дотримуватися аналогії автодороги, все ще існує багато компаній, що використовують лінійні черги або старий стандарт ETL (витяг-перетворення-завантаження); але ці шляхи мають низькі обмеження швидкості, і є багато вибоїн; крім того, витрати на утримання часто непомітні; вивіски погані.
Kafka пропонує альтернативний метод для передачі даних, який, безумовно, в режимі реального часу, масштабований та довговічний. Це означає, що Кафка - це не лише транспортний засіб для передачі даних, а й реплікатор даних; і певною мірою технологія розподілених баз даних. Ми повинні бути обережними щодо того, щоб зайняти аналогію занадто далеко, оскільки є характеристики баз даних, сумісних із кислотою, кисними, які Кафка ще не займається спортом. Все-таки зміна реальна.
Це чудова новина для інформаційного ландшафту, оскільки тепер дані вільно рухаються про країну - і про світ, що стосується цього. Те, що колись було болісним обмеженням, а саме - потрапляння на пакетні вікна для процесів ETL, зараз сильно розсіюється, оскільки туман поступається місцем ясним небом під відблиском жаркого сонця. Коли переміщення даних з однієї системи в іншу стає безмежною, настає ера нових можливостей.
Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя
Ви не можете покращити свої навички програмування, коли ніхто не піклується про якість програмного забезпечення.
Люди, ймовірно, представлятимуть найбільш тертя на шляху до нового майбутнього. Старі звички важко вмирають. Nary, CIO, надто схвильований щодо внесення оптових змін до корпоративних систем. Сказав один кмітливий старший керівник на роль: "Будь готовий бути самотнім". Протягом року після цього коментаря він був консультантом. Це непростий шлях, намагаючись керувати надзвичайно незграбним світом даних підприємств.
Хороша новина полягає в тому, що Кафка надає змогу майбутньому. Оскільки він служить потужною багатогранною шиною, він створює мости між застарілими системами та їх перспективними аналогами. Таким чином, організації, які сприймають цю нову можливість з відкритою думкою та достатнім бюджетом, зможуть ступити у новий світ, не залишаючи позаду старого. Це серйозно велика справа.
Вниз до бізнесу
Хоча Apache Kafka - це технологія з відкритим кодом, безкоштовна для завантаження та використання будь-яких людей, але люди, які створили це програмне забезпечення для LinkedIn, створили окрему організацію під назвою Confluent, яка зосереджена на посиленні пропозицій для використання в бізнесі. Так само, як Cloudera, Hortonworks і MapR створили свій бізнес навколо проекту з відкритим кодом Apache Hadoop, тому Confluent прагне монетизувати Kafka.
В недавньому інтерв'ю InsideAnalysis генеральний директор Confluent та співзасновник Джей Крепс пояснив своє походження в LinkedIn:
"Ми намагалися вирішити там декілька різних проблем. Одна з них - у нас були всі ці різні системи даних з різними видами даних. У нас були бази даних, у нас були файли журналів, ми мали показники щодо серверів, а у нас користувачі натискали речі. Отримати всі ці дані - як вони стали великими - було дуже важко. Сила даних була лише у тому випадку, якщо ви могли отримати їх до додатків, обробці або до потрібних систем. Це була велика проблема.
"Інша проблема, яку ми мали, це те, що ми прийняли Hadoop, і це те, в чому я був причетний. У нас була ця фантастична платформа для роботи в режимі офлайн, яку ми могли масштабувати і ми могли розмістити всі наші дані. Для LinkedIn всі наші дані відбулися реально час. Постійне генерування даних було постійно. Завжди було це невідповідність, коли ми намагалися фактично будувати ключові частини бізнесу поза нашими даними; між тим, що працювало один раз на день, можливо, вночі, і отримувало результати до наступного дня, і такого роду безперервних даних - коротких часів взаємодії - які вам довелося наздогнати. Ми хотіли, щоб ми могли зробити щось, що було деякий час в академічних колах, але насправді це не головна річ, яка повинна бути в змозі запускайте та обробляйте потоки даних під час їх створення, а не як вони сиділи ".
Ну. Саме цього зараз прагне зробити Confluent з даними підприємств усіх форм і розмірів. Можливість у грі? Грінфілд. Відверто кажучи, за всю історію корпоративного програмного забезпечення можна стверджувати, що адресний ринок цієї технології абсолютно займає торт. Немає жодної великої організації, або навіть малого бізнесу, яка б не мала великої кількості даних, яка не могла б отримати користь від цієї технології.
Особливо це стосується неврологічного аспекту цієї технології; не лише розум, що стосується, але і характер того, що робить Кафка для інформаційних систем. Оскільки Kafka може використовуватися для управління переміщенням даних по всій організації, це може розглядатися як більше, ніж просто дорожній поліцейський, а швидше, мізки самої операції. Були на ранніх стадіях цього бачення, але будьте впевнені, його справжнє.
Як Kafka змінить управління даними
Щоб зрозуміти, як Kafka змінить характер управління даними, просто подумайте про способи, якими LinkedIn змінив мережу. Знайти колег стало набагато простіше; залишатися на зв’язку з людьми зараз нескладно. Kafka зробить для інформаційних систем те, що LinkedIn робить для ділових людей: підтримуйте їх на зв’язку в самих широких межах світу.
Спінофф Confluent є символікою того, що ми могли б назвати "Нова інновація", рухом, який керується роз'єднанням розробки програмного забезпечення та менталітетом із закритим кодом, керуючись творцями технології з відкритим кодом, що підживлюється великою кількістю венчурного капіталу, що монетизується для некомерційних компаній, які прагнуть зробити революцію в тому, як організації та люди створюють, збирають, аналізують та використовують дані.
Цитуючи Франца Кафку: "З певного моменту вперед вже немає повороту назад. Це точка, якої треба досягти".
Ми пройшли Рубікон. Зараз немає повернення назад.