Зміст
Q:
Які основні питання слід врахувати у стратегії зберігання великих даних?
A:
Одне з найбільших проблем, яке ігнорується для зберігання великих даних, - це доступність для команд, які потребують цього. Дані регулярно зберігаються без документації в місцях, де важко отримати доступ, або де відповідні команди не звертають уваги на те, що вони взагалі існують. Зрештою, для великого зберігання даних повинна бути відкрита перша стратегія, коли команди отримують інформацію про її існування, з яких даних складається і як отримати доступ до них, щоб команди могли використовувати їх у програмному забезпеченні, якщо вони потребують.
Ще одне критичне питання, яке я вважаю, - це якість даних, що зберігаються. Дані слід зберігати у формі найвищої якості, у якій вони можуть існувати на остаточному місці зберігання. Зберігання даних низької якості в озері даних, як правило, добре, але в міру того, як воно продовжується вниз по потоку даних, кожен етап повинен підвищувати якість даних таким чином, щоб вони зберігалися у формі найвищої якості в такій системі, як сховище даних або аналітична база даних. Це підвищить якість систем, які споживають дані відпочинку.