Как построить архитектуру Medallion в Databricks с помощью PySpark

Необработанные данные редко поступают готовыми для анализа. Файлы появляются с опозданием, схемы меняются без предварительного уведомления, идентификаторы пропадают, и одно и то же событие может быть доставлено несколько раз. Если каждая информационная панель и рабочий процесс машинного обучения решают эти проблемы независимо, противоречивые результаты почти гарантированы. Архитектура Medallion создает четкие границы между необработанными, проверенными и готовыми к использованию данными. В этом руководстве мы создадим слои Bronze, Silver и Gold в Databricks, используя небольшой набор данных о коммерческих событиях. Мы также рассмотрим менее заметные части проекта: отклоненные записи, смещение схемы, обработку дубликатов, просроченные данные, оркестрацию и восстановление. Что такое архитектура Medallion в Databricks? Архитектура-медальон — это шаблон проектирования домика у озера, который постепенно улучшает данные по мере их прохождения через несколько слоев. Databricks описывает этот шаблон как рекомендуемую практику, а не как требование для каждой рабочей нагрузки. Три стандартных слоя: Слой Цель Типичная работа Обещание качества Основные потребители Бронза Сохранить исходные данные Постепенный прием и сбор метаданных Данные остаются близкими к тому, что предоставил источник Серебряные конвейеры, аудит и восстановление