Data Lake vs Data Warehouse: що вибрати для ML-проєкту

## Чому вибір архітектури зберігання даних критичний для ML Вибір між data lake і data warehouse — одне з перших фундаментальних рішень при побудові ML-інфраструктури. Помилковий вибір не зупинить перший пілот, але ускладнить масштабування і може коштувати значних витрат на міграцію через рік-два. Обидві концепції вирішують схожу задачу — централізоване зберігання та обробка даних — але з принципово різними підходами до структури, гнучкості та оптимізації. ## Data Warehouse: структура насамперед Data Warehouse (сховище даних) — це централізована система для зберігання структурованих, очищених і трансформованих даних, організованих за чітко визначеною схемою. Дані завантажуються через ETL-процес: спочатку Extract (вилучення з джерел), потім Transform (очищення і трансформація за бізнес-правилами), потім Load (завантаження в схему). Ключові характеристики: схема визначається до завантаження (schema-on-write), дані структуровані і чисті, оптимізовані для аналітичних SQL-запитів, висока надійність і консистентність. **Коли підходить для ML:** якщо ваш ML-проєкт базується переважно на структурованих транзакційних даних — продажі, клієнтські записи, фінансові операції — data warehouse є природним вибором. Прогнозування попиту, моделі відтоку клієнтів, fraud detection на транзакціях — все це добре лягає на warehouse-архітектуру. **Популярні рішення:** BigQuery (Google), Snowflake, Amazon Redshift, Azure Synapse. ## Data Lake: гнучкість насамперед Data Lake — це централізоване сховище сирих даних у будь-якому форматі: структурованих (CSV, таблиці), напівструктурованих (JSON, XML, логи) і неструктурованих (зображення, відео, аудіо, текст). Схема визначається при читанні (schema-on-read) — ви вирішуєте, як інтерпретувати дані в момент їх використання. Ключові характеристики: приймає будь-які дані у сирому вигляді, значно дешевший у зберіганні, необхідний для роботи з неструктурованими даними, вимагає більше роботи при споживанні. **Коли підходить для ML:** комп'ютерний зір (потрібно зберігати мільйони зображень), NLP на великих корпусах текстів, IoT-аналітика з потоковими даними сенсорів, будь-який ML з неструктурованими або напівструктурованими даними. **Популярні рішення:** Amazon S3 + AWS Glue, Azure Data Lake Storage, Google Cloud Storage + Dataproc, Hadoop HDFS (on-premise). ## Lakehouse: найкраще з обох світів Lakehouse — відносно нова архітектурна концепція, що поєднує гнучкість data lake з аналітичними можливостями warehouse. Ключові технології: Delta Lake (Databricks), Apache Iceberg, Apache Hudi. Lakehouse зберігає дані у відкритих форматах (Parquet) у об'єктному сховищі (S3/GCS), але додає транзакційний шар (ACID-гарантії), schema evolution і можливість прямих SQL-запитів із продуктивністю, близькою до warehouse. Для ML це особливо цінно: треновані моделі часто потребують як структурованих табличних даних, так і неструктурованих — зображень, текстів. Lakehouse дозволяє тримати все разом без подвійного зберігання. ## Порівняння витрат **Amazon S3 (data lake):** $0.023/GB/міс зберігання + $0.0007/1 000 GET-запитів. 10 TB даних — приблизно $235/міс на зберігання. Дуже дешеве зберігання, але обчислення потрібні окремо (Athena, EMR, Databricks). **BigQuery (warehouse):** $0.020/GB/міс активне зберігання, $10/TB для аналітичних запитів. При інтенсивних запитах вартість може швидко зростати. Зручна альтернатива: flat-rate pricing від $1 700/міс для великих обсягів. **Snowflake:** оплата за обчислення (credits) і зберігання окремо. Середня вартість для команди 3–5 аналітиків: $500–2 000/міс залежно від обсягу. Відмінна масштабованість, але може бути дорогим при непередбачуваних навантаженнях. **Delta Lake на Databricks:** від $0.07/DBU для обчислень + вартість S3/GCS. Оптимальний при великих обсягах ML-роботи: тренування, feature engineering, batch inference. ## Практичне рішення для українського бізнесу Для більшості українських ML-проєктів на старті рекомендуємо наступний підхід. **Маленький стартап або перший ML-проєкт:** BigQuery або Snowflake з безкоштовним tier. BigQuery надає 10 GB зберігання і 1 TB запитів безкоштовно щомісяця — більш ніж достатньо для пілоту. **Середня компанія з різнорідними даними:** S3 + Delta Lake (через Databricks або Apache Spark). Гнучкість lakehouse при прийнятній вартості. **Великий enterprise з compliance-вимогами:** Snowflake або BigQuery Enterprise — зрілі інструменти аудиту, RBAC, шифрування, відповідність GDPR. Не переускладнюйте на старті. Для першого ML-проєкту навіть PostgreSQL зі структурованими даними може бути достатнім. Ускладнення виправдовується лише тоді, коли ви чітко бачите конкретне обмеження поточного рішення.