Як підготувати дані для ML-проєкту: чеклист для бізнесу

## Чому дані — це найважливіша частина ML-проєкту Є стара приказка серед ML-інженерів: "Garbage in, garbage out". Найсучасніша нейромережа не дасть хорошого результату, якщо дані, на яких вона навчається, неякісні, неповні або неправильно підготовлені. За різними оцінками, 70-80% часу в ML-проєктах витрачається саме на роботу з даними, а не на розробку алгоритмів. Ось чеклист для бізнесу: що потрібно зробити до того, як ви передаєте дані підряднику. ## 1. Аудит наявних даних Перший крок — зрозуміти, що у вас взагалі є. Зберіть список усіх джерел: CRM, ERP, аналітика сайту, Excel-таблиці, PDF-звіти, бази даних. Для кожного джерела визначте: який формат (CSV, JSON, SQL), за який період є дані, хто має доступ і наскільки дані актуальні. Оцініть якість: скільки пропущених значень (ціль — менше 5% для критичних полів), чи є дублікати, чи є явні помилки (наприклад, від'ємні ціни або дати у майбутньому). ## 2. Мінімальний обсяг даних для різних задач Мінімальні обсяги залежать від типу задачі: - Бінарна класифікація (спам/не спам): від 1 000 прикладів кожного класу - Мультикласова класифікація (5-10 категорій): від 500-1 000 прикладів на клас - Прогнозування часових рядів: від 2-3 років щоденних даних - Детекція аномалій: від 10 000 нормальних прикладів + будь-яка кількість аномалій - NLP-задачі (аналіз тексту): від 2 000-5 000 розмічених прикладів Якщо даних менше — розгляньте збір додаткових даних або transfer learning. ## 3. Розмітка даних: коли потрібна і скільки коштує Для задач навчання з учителем (supervised learning) дані потребують розмітки: людина повинна вказати правильну відповідь для кожного прикладу. Класифікація зображень, аналіз тональності тексту, NER — всі ці задачі вимагають розміченого датасету. Вартість розмітки залежить від складності: проста бінарна класифікація тексту — $0.01-0.05 за приклад. Складна розмітка зображень (bounding boxes) — $0.5-2 за зображення. Медична або юридична розмітка (потребує експерта) — $5-20 за приклад. При бюджеті $1 000-3 000 можна розмітити 10 000-50 000 простих прикладів через платформи як Label Studio або Scale AI. ## 4. GDPR та анонімізація Якщо ваші дані містять персональну інформацію клієнтів (імена, email, телефони, адреси), перед передачею підряднику їх необхідно анонімізувати або псевдонімізувати відповідно до GDPR. Мінімальні кроки: видалити або замінити прямі ідентифікатори (ім'я, email, телефон), замінити ID клієнтів на анонімні хеші, перевірити, чи поєднання непрямих ідентифікаторів не дозволяє деанонімізувати особу. Уточніть у юриста або DPO (Data Protection Officer) вашої компанії, які вимоги діють для конкретного типу даних. ## 5. Типові помилки підготовки даних **Замало даних.** Бізнес каже "у нас є дані за 3 роки", але при аналізі виявляється 800 релевантних прикладів — недостатньо для більшості задач. **Data leakage.** Інформація з майбутнього потрапляє в навчальний набір. Наприклад, модель прогнозування відтоку навчається на ознаках, які стають відомі вже після того, як клієнт пішов. **Неправильне розбиття на train/validation/test.** Типова помилка — перемішати дані, що мають тимчасову структуру. Для часових рядів train завжди повинен бути хронологічно раніше test. **Ігнорування дисбалансу класів.** Якщо 99% прикладів — один клас (наприклад, нормальні транзакції), а 1% — другий (шахрайство), модель може просто передбачати "нормально" для всього і мати 99% точності, але 0% корисності. ## Очікуваний час на підготовку даних Мінімальний термін для простого проєкту — 2-3 тижні. Типовий для середньої складності — 4-6 тижнів. Для складних кейсів зі збором нових даних та розміткою — 2-4 місяці. Інвестуйте час у підготовку даних на початку — це заощадить 30-40% бюджету в подальшому і значно підвищить якість фінального рішення.