Программа курса
MapReduce - Batch Processing и Yarn
- Введение в MapReduce и YARN
- Функции и архитектура MapReduce и YARN
- Управление ресурсами и планирование задач в YARN
- Расширенные функции
HBase - Распределенная база данных NoSQL
- Введение в HBase
- Функции и архитектура HBase
- Ключевые процессы HBase
- Расширенные функции Huawei HBase
HDFS - Распределенная файловая система Hadoop
- Обзор HDFS и прикладные сценарии
- Позиционирование HDFS в FusionInsight HD
- Системная архитектура HDFS
- Ключевые функции
Streaming - Распределенная система потоковых вычислений
- Введение в Streaming
- Системная архитектура
- Ключевые функции
- Введение в StreamCQL
Kafka - Распределённый программный брокер сообщений
- Введение в Kafka
- Архитектура и ключевые функции Kafka
- Ключевые процессы Kafka
Zookeeper - Распределенная координация облачных приложений
- Введение в ZooKeeper
- Позиционирование ZooKeeper в FusionInsight
- Системная архитектура
- Ключевые функции
- Взаимодействие с другими компонентами
Технологические стандарты Big Data
- Эта больших данных
- Сферы применения больших данных
- Возможности и проблемы, связанные с большими данными
- Решения Huawei Big Data
Обзор решения FusionInsight HD
- Обзор FusionInsight
- Функции FusionInsight
- Сценарии использования FusionInsight
Flume - сбора, агрегирование и перемещение больших объемов логов
- Обзор и архитектура Flume
- Ключевые характеристики Flume
- Приложения Flume
Hive - Распределенное хранилище данных
- Введение в Hive
- Функции и архитектура Hive
- Базовые операции Hive
Spark2x - Распределённая обработка неструктурированных и слабоструктурированных данных
- Обзор Spark
- Принципы и архитектура Spark
- Интеграция Spark в FusionInsight HD
Loader - Трансформация данных
- Введение в Loader
- Loader Job Management
Flink – Платформа обработки потоков и процессов
- Обзор Flink
- Технические принципы и архитектура Flink
- Интеграция Flink в FusionInsight HD