Виявлення крадіжок даних за допомогою Hadoop та Big Data

Автор: Roger Morrison
Дата Створення: 20 Вересень 2021
Дата Оновлення: 1 Липня 2024
Anonim
Штучний Інтелект та Аналітика Даних у Виборі Кар’єри та в Освіті
Відеоролик: Штучний Інтелект та Аналітика Даних у Виборі Кар’єри та в Освіті

Зміст


Джерело: Ximagination / Dreamstime.com

Винос:

Об'єднані повноваження великих даних та Hadoop об'єднуються для виявлення крадіжок даних - і припиняють це.

На сьогодні ризик викрадення даних через експозицію даних у компаніях та державних установах різко збільшився, щодня визначаються нові випадки. Цей вид крадіжок даних може стати величезним ударом для організацій, оскільки вони розкривають конфіденційну інформацію і призводять до втрати великих сум грошей. Дані не можуть бути захищені настільки легко, і навіть багато передових методів не спрацьовують у цій галузі. Найстрашніше у цих крадіжках - це те, що їх надзвичайно важко виявити. Іноді для їх виявлення може знадобитися кілька місяців або навіть років. Ось чому організації повинні вживати потужних заходів, які забезпечуватимуть збереження їх даних завжди. Одним із таких методів є використання комбінації Hadoop та великих даних для виявлення шахрайських веб-сайтів, а також для оповіщення інших організацій.


Чому нам потрібно захистити дані?

Як було сказано раніше, про нові випадки крадіжок даних повідомляють щодня. Такі типи крадіжок даних можуть відбуватися в будь-якій компанії, будь то урядова організація, бізнес або навіть сайт для знайомств. Підраховано, що лише викрадення даних може призвести до втрати значного капіталу. Скільки ви можете запитати? Близько 455 мільярдів доларів щорічно!

Хоча нинішні системи безпеки, якими користуються компанії, можуть протидіяти деяким видам простих методів крадіжки даних, вони все ще не можуть протистояти більш складним спробам або загрозам всередині організацій. Додамо до цього, оскільки ці випадки займають стільки часу для виявлення, злочинці можуть легко маніпулювати лазівками систем безпеки.

Як протистояти цим загрозам

Зі збільшенням кількості та складності таких видів крадіжок даних хакери знаходять нові методи керування системами безпеки. Таким чином, організації, які підтримують важливі конфіденційні дані, повинні змінити існуючі архітектури безпеки, які здатні реагувати лише на більш прості загрози. Тільки практичне рішення може бути корисним для уникнення подібних крадіжок. Компанія повинна бути готова до будь-якого виду крадіжок, на які їх потрібно запланувати заздалегідь. Це дозволить їм швидко реагувати на таку ситуацію та вирішувати її.


Багато компаній взяли на себе ініціативу запропонувати рішення, які дозволять іншим компаніям захищати свої дані від злодіїв. Прикладом такої компанії є Terbium Labs, яка використовує новий метод використання великих даних та Hadoop для ефективного виявлення та реагування на такі загрози.

Як нова техніка Terbium може допомогти у захисті даних?

Метод, який Terbium використовує для того, щоб допомагати компаніям швидко реагувати на загрози, називається Matchlight. Ця потужна технологія може бути використана для сканування Інтернету, включаючи його приховані частини, для пошуку будь-якого типу конфіденційних даних. Якщо він знайде такі дані, він негайно повідомить про це користувачеві. Ця програма теж дуже точна. Він фактично створює унікальні підписи конфіденційних даних компанії, які називаються "пальцями". Після створення унікальних підписів конфіденційних даних компанії програма точно узгоджує дані з "пальцями" даних, знайдених в Інтернеті. Таким чином, ця програма великих даних може бути використана для ефективного виявлення випадків крадіжок даних, шукаючи докази в Інтернеті. Якщо дані будуть знайдені в будь-якому місці, окрім дозволених, наприклад, в Інтернеті, Темній павутині або на веб-сайті конкуруючої компанії, він негайно повідомить материнську компанію про викрадену інформацію та про її місцезнаходження.

Технологія «пальця»

Matchlight включає в себе спеціальну технологію під назвою fingering, за допомогою якої вона може зіставляти велику кількість даних без зайвих проблем. Додаток спочатку знаходить пальці конфіденційних даних. Після цього він зберігається у своїй базі даних і регулярно порівнюється з даними пальців, зібраними в Інтернеті. Ці дані тепер можна використовувати для виявлення експозиції даних в Інтернеті. Якщо буде знайдено відповідний підпис даних, він автоматично попередить компанію-клієнта, яка може негайно здійснити заплановані заходи безпеки.

Які типи даних охоплюють?

Matchlight може знайти будь-який тип даних. Це може включати файли зображень, документи, програми та навіть коди. Рішення настільки потужне, що може обробляти одразу цілі, дуже складні набори даних. Через це багато компаній використовують Matchlight для захисту даних, а поточна база даних Terbium містить понад 340 мільярдів пальців, яка з кожним днем ​​збільшується.

Ні помилок, ні стресу - покроковий посібник зі створення програмного забезпечення, що змінює життя, не руйнуючи ваше життя

Ви не можете покращити свої навички програмування, коли ніхто не піклується про якість програмного забезпечення.

Як допомагає Hadoop?

Щоб ефективно обробляти величезну кількість даних у базі даних, Terbium вимагала потужної платформи великої обробки даних. Вони вибрали для цього Hadoop. Однак їм була потрібна швидка та ефективна версія Hadoop, яка може бути використана для ефективної великої обробки даних. З цього приводу вони вважали, що розподіл Hadoop для підприємств, що працюють в кодовому коді, буде найбільш підходящим варіантом. Вони не обрали версію JVM, оскільки це погіршило розподіл ресурсів.

Співзасновник Terbium, містер Денні Роджерс, відзначив важливість Hadoop. Він сказав, що ефективність Matchlight залежить від ефективності збору даних, яка залежить від Hadoop. Це свідчить про важливість Hadoop у забезпеченні безпеки даних в організаціях.

Перспективи Hadoop у галузі безпеки даних

Terbium швидко набирає популярність, і вже деякі великі компанії Fortune 500 почали використовувати сервіс Matchlight для відстеження викрадених даних. До таких компаній належать медичні компанії, постачальники технологій, банки та інші такі постачальники фінансових послуг. Результати також вражають. Компанії відновили близько 30 000 записів інформації про кредитні картки та 6000 нових адрес, які були викрадені зловмисниками, і все в перші секунди першого дня. Вони, очевидно, були продані в Темній павутині.

Переваги використання Hadoop для виявлення викрадених даних

Такий потужний тип інтеграції між машинним навчанням, базами даних, що базуються на хмарі, та високонадійною та точною версією Hadoop для корпоративних клієнтів може принести користь компаніям багатьма способами. Ці хмарні бази даних зможуть накопичити великий обсяг даних, який буде використано додатком за допомогою Hadoop, щоб за лічені секунди підібрати підписи через Інтернет. Таким чином, Hadoop зможе значно підвищити швидкість загального пошуку. Через це компанії зможуть знайти свої викрадені дані за дуже короткий час, тобто за кілька секунд, замість поточного середнього часу пошуку, який становить 200 днів.

Чому лише розподіл MapR?

Matchlight використовує розподіл MapR лише Hadoop. Це пов’язано з різноманітними причинами. Перша причина полягає в тому, що корпоративна версія Hadoop працює на вбудованому коді, і як результат, вона ефективно використовує кожен ресурс легко. Він також використовує дуже невеликі витрати на зберігання, враховуючи, що це хмарна основа. Крім того, він надзвичайно швидкий, тому може легко допомогти в управлінні великою кількістю пальців даних. Він пропонує безліч додаткових функцій бізнес-класу, як найсучасніша безпека, висока надійність та просте резервне копіювання та відновлення.

Висновок

Hadoop виявляється надзвичайно корисним у галузі безпеки даних в організаціях.Багато компаній використовують MapR для ефективного управління даними та складання плану для виконання у випадку крадіжки даних. Також з’являється багато нових компаній, які обіцяють захистити дані цих організацій і навіть визначити крадіжку даних за лічені секунди замість місяців.