Зачем мигрировать с HDP / CDH?
В 2019 году компания Cloudera презентовала новую платформу — Cloudera Data Platform, которая позиционируется как универсальное решение, позволяющее управлять данными в любой среде: Public Cloud, bare metal, Private Cloud, а также гибридное облако.
В соответствии с новой стратегией развития, презентованной главным техническим директором Cloudera по эксплуатации в регионе EMEA Яном Кунигком (Jan Kunigk),и старшим менеджером по инженерным решениям Cloudera в Германии, Австрии, Восточной Европе и России Флорианом фон Вольтером (Florian von Walter) – журнал “Storage News” № 1 (76), 2020 , развитие решений на базе Hadoop on premise является первым этапом, далее предполагается перенос мощностей в Public Cloud, и, в конечном итоге, в Hybrid Cloud.
Учитывая новую стратегию Cloudera, рекомендуется мигрировать с платформ CDH – Cloudera Distribution of Hadoop и HDP – Hortonworks Data Platform на CDP, поскольку их поддержка будет прекращена после 31 декабря 2021, т.е., данные продукты не будет обновляться, и невозможно будет закупить техническую поддержку на решения на базе HDP, CDH. Это означает, что корпоративным клиентам, с целью сохранения функциональности своих решений, построенных на базе HDP, CDH необходимо провести миграцию на актуальный стек.
Почему CDP?
Мы рекомендуем пользователям HDP и CDH провести миграцию на Cloudera стек, поскольку Cloudera предлагает наиболее полный набор инструментов для работы с корпоративными данными:
- Cloudera Data Platform – платформа для организации сбора и хранения данных, для построения EDW, EDH
- EDGE & FLOW MANAGEMENT – для управления, контроля и мониторинга конечных устройств
- STREAMS MESSAGING – для доставки больших объемов поступающих данных в реальном времени.
- STREAM PROCESSING & ANALYTICS – для получения аналитических данных в режиме реального времени.
- DATA SCIENCE WORKBENCH — Обеспечивает возможность анализа данных, использование AI ML инструментов.
- Cloudera Manager — подсистема управления кластером.
- Cloudera также предлагает полный перечень инструментов, которые покрывают задачи, связанные с Data Security, Data Management, Data Governance.
- Для решений Cloudera доступна полноценная техническая поддержка от вендора.
Сравните функции и компоненты рассматриваемых платформ.
Важным изменением политики вендора является отсутствие бесплатного дистрибутива CDP в свободном доступе. В то же время, дополнительные функции и инструменты превращают Cloudera стек в самый удобный и экономически эффективный инструмент для построения решений на базе Hadoop на корпоративном уровне.
Подготовка к миграции
Cloudera предоставляет подробные инструкции по организации процесса миграции, предполагается несколько сценариев:
Для скачивания доступны пробные версии CDP для различных сред:
- 48-часовый тест-драйв платформы Cloudera в облаке
- бесплатная пробная версия CDP Private Cloud для ознакомления и тестирования
- также доступен CDP Upgrade Advisor , где собраны подробные рекомендации по отдельным кластерам.
Процесс интеграции
- Определите свой вариант миграции CDP: полное обновление или миграция с учетом требований к безотказной работе.
- Проверьте требования к обновлению и выполните все предварительные условия.
- Определите целевую среду:
- CDP Public Cloud Cloudera рекомендует для систем до 50 нод:
- CDP Private Cloud Cloudera рекомендует для систем свыше 50 нод:
- CDP on premise рекомендуется для заказчиков, которые в силу требований законодательства или внутренних корпоративных политик не рассматривают вариант миграции в облако.
- Установите, перенесите, протестируйте и подтвердите.
Пример плана миграции:
1.
Миграция DEV окружения со стека Hortonworks (HDP/HDF) на стек Cloudera (СDP/CDF)
2 недели
1.1
Очистка тестового окружения и подготовка требований к инфраструктуре и безопасности.
1.2
Инсталляция и конфигурирование CDP DEV Environment
1.3
Перенос разработок и данных из HDP/HDF DEV Environment в CDP DEV Environment
1.4
Тестирование и тюнинг окружения CDP DEV Environment
2.
Расширение кластера TEST и миграция со стека Hortonworks (HDP/HDF) на стек Cloudera (СDP/CDF)
2 недели
2.1
Очистка HDP/HDF DEV Environment
2.2
Инсталляция и конфигурирование CDP TEST Environment
2.3
Перенос разработок и данных из CDP DEV Environment в CDP TEST Environment
2.4
Тестирование и тюнинг окружения CDP TEST Environment
3.
Построение кластера PROD на стеке Cloudera (СDP/CDF)
3 недели
3.1
Очистка HDP/ HDF PROD Environment
3.2
Инсталляция и конфигурирование CDP PROD Environment
3.3
Перенос разработок и данных из HDP/HDF Prod Enviroment в CDP PROD Environment
3.4
Тестирование и тюнинг окружения CDP Prod Environment
Компания АМ-БИТС является прямым партнёром Cloudera (Silver Partner) и имеет выделенную Big Data команду из 15 высококвалифицированных архитекторов и инженеров, в числе которых 7 специалистов сертифицированных Hortonworks и Cloudera. АМ-БИТС имеет 5 лет опыта по построению Big Data решений на базе технологий Hadoop для корпоративных клиентов (включая проекты для международных банков, телеком операторов и медиа компаний).
Мы готовы разработать стратегию развития корпоративной платформы данных с учётом лучших международных практик и реализовать проект по миграции или внедрению Cloudera Data Platform, обеспечив бесперебойную работу сервисов, а также, по завершению проекта миграции/внедрения, обеспечить техническую поддержку решения как в удалённом режиме так и on-site.
