From Data to Insights with Google Cloud Platform (DIGCP)

Программа курса

Модуль 1: Введение в Google Cloud Platform

  • Сравнение обработки Big Data на локальных мощностях и в облаке
  • Примеры использования облачных решений для аналитики больших данных
  • Навигация по проекту Google Cloud Platform
  • Лабораторная работа 1: Начало работы с Google Cloud Platform

Модуль 2: Обзор механизмов для работы с Big Data

  • Введением в механизмы Google Cloud Platform Data Tools
  • Демонстрационное задание: Анализ 10 миллионов записей с Google BigQuery
  • Обзор и анализ возможностей Google BigQuery
  • Сравнение механизмов GCP для аналитиков, специалистов по данным, инженеров по данным.
  • Лабораторная работа: Изучение Datasets с Google BigQuery

Модуль 3: Ценообразование Google BigQuery

  • Анализ BigQuery Job
  • Вычисление стоимости BigQuery: Storage, Querying, Streaming Costs
  • Оптимизация запросов с точки зрения стоимости
  • Лабораторная работа: Вычисление стоимости Google BigQuery

Модуль 5: Cleaning и Transforming

  • Изучение 5 принципов обеспечения целостности данных
  • Dataset Shape и Skew
  • Clean и Transform данных с использованием SQL
  • Введение в Cloud Dataprep
  • Лабораторная работа: Работа в Cloud Dataprep

Модуль 6: Хранение и экспорт данных

  • Сравнение Permanent vs Temporary таблиц
  • Сохранение и экспорт результатов запросов
  • Кеш запросов
  • Лабораторная работа: Creating new Permanent Tables

Модуль 7: Добавление новых Datasets в Google BigQuery

  • Запросы из внешних источников данных
  • Добавление новых данных в Permanent Tables
  • Потоковые вставки
  • Лабораторная работа: Работа с Datasets

Модуль 8: Визуализация данных

  • Обзор принципов визуализации данных
  • Exploratory vs Explanatory подходы к анализу
  • Демонстрационное задание: Google Data Studio UI
  • Подключение Google Data Studio к Google BigQuery
  • Лабораторная работа: Dataset в Google Data Studio

Модуль 9: Добавление и объединение Datasets

  • Объединение Historical Data Tables с UNION
  • Table Wildcards
  • Обзор и сравнение схем: Linking Data против Multiple Tables
  • JOIN примеры
  • Лабораторная работа: Использование Multiple Tables

Модуль 10: Расширенные функции

  • Введение в функции Analytical Window
  • Сохранение данных с One-Way Field Encryption
  • Обсуждение эффективных Sub-query и дизайна CTE
  • Сравнение SQL и Javascript UDF
  • Лабораторная работа: Расширенные функции SQL

Модуль 11: Схема дизайна

  • Сравнение архитектур Google BigQuery vs Traditional RDBMS
  • Normalization vs Denormalization
  • Обзор схем: The Good, The Bad, и The Ugly
  • Google BigQuery
  • Лабораторная работа: Querying Nested, Repeated Data

Модуль 12: Больше визуализации с Google Data Studio

  • Расчет полей
  • Избежание ошибок производительности при использовании кеша
  • Общие Dashboards

Модуль 13: Оптимизация производительности

  • Избежание ошибок в работе Google BigQuery
  • Предотвращение Hotspots в данных
  • Диагностика проблем производительности с использованием Query Explanation map
  • Лабораторная работа: Оптимизация и устранение неисправностей в производительности системы

Модуль 14: Расширенные сведения

  • Введение в Cloud Datalab
  • Cloud Datalab Notebooks и Cells
  • Преимущества Cloud Datalab

Модуль 15: Доступ к данным

  • Сравнение IAM и ролей BigQuery Dataset
  • Как избежать проблем и ошибок в организации доступа
  • Обзор Members, Roles, Organizations, Account Administration, и Service Accounts