Big Data рішення
АМ-БІТС зібрав команду сертифікованих Big Data інженерів, які забезпечують повний цикл розробки, побудови, впровадження та підтримки рішень на базі Apache Hadoop.
Накопичені масиви бізнес-даних повинні забезпечувати гравцям ринку додаткові конкурентні переваги за рахунок більш якісної комунікації з замовником, швидкості реакції на події, прогнозування тощо. Стандартні підходи, засновані на реляційних базах даних та одновузлових обчислювальних ресурсах, часто не в змозі обробляти обсяги архівних даних, а також своєчасно реагувати на потік онлайн-даних.
Наші інноваційні рішення на основі технологій Big Data дозволяють вирішувати бізнес-завдання з управління великими корпоративними даними у найбільш ефективний і економічний спосіб, забезпечуючи наступні переваги:
- Оптимальне зберігання
- Своєчасна обробка
- Аналіз інформації
- Побудова прогнозів
Наші кейси з напрямку Big Data рішення
- BDWE - розширення корпоративного сховища
- Розробка та побудова корпоративного Data HUB
- Розрахунок KPI працівників
Задача:
Розробка економічно ефективного рішення, що дозволяє масштабувати ємності зберігання великих корпоративних даних.
Рішення:
Запропоновано перенести дані, що рідко використовуються та частину ETL процесів у Hadoop, а також використовувати віртуалізацію даних для побудови вітрин представлення для BI.
Результат:
Збільшення ROI на 200% та на 500% для 1 і 2 рівнів відповідно. Зниження витрат до 75% на підготовку та публікацію даних для подальшої аналітики.
Задача:
Створення багатофункціонального центру агрегації, обробки та надання даних із забезпеченням безпеки обміну корпоративними даними в реальному часі.
Рішення:
Структура функціональних компонентів:
- Data Broker (Kafka) – забезпечує обмін даними в реальному часі.
- Big Data Platform (Hortonworks / Cloudera Hadoop Data Platform, Hadoop Data Float) – зберігає всі дані, що надходять через брокер.
- Logical Datawarehouse (Tibco Data Virtualization) – логічне сховище даних, інструмент для бізнес-користувачів для доступу і роботи з даними, також забезпечує швидкий доступ до даних для оперативного моніторингу наскрізного технічного процесу (від збору даних до споживання даних), надає дані для технічного моніторингу.
- Data Governance – управління даними, включає якість і безпеку даних.
Результат:
Побудована масштабируемая архітектура на Apache Kafka для обміну даними в реальному часі, 24/7. Кількість оброблюваних подій у день – близько 2-3 млн., в секунду – до 200. Оптимізація управління даними, включаючи їх якість та безпеку.
Рішення:
- Побудована інфраструктура Azure Cloud. В основу архітектури лягли контейнери в Azure Blob Storage. Автоматизація процесу завантаження локальних файлів у blob контейнери разом із збагаченням даних.
- Створено модель Azure Analysis Services для підрахунку KPI співробітників на основі бізнес-логіки та даних замовника.
- Побудова аналітичних дашбордів у Power BI, інтеграція між Power BI та моделлю AAS. Автоматизація процесів завантаження даних за день, перерахунок KPI як окремих, так і всіх співробітників з урахуванням дати, метрики, міста, відділення.
- Створення трьох груп доступу в AD, прописані правила фільтрації даних в AAS та протестований процес переходу користувача з однієї групи в іншу.
Запросити повну версію: