Data Labeling стратегія для малих команд: crowd, in-house чи synthetic data

## Чому data labeling — прихований bottleneck ML-проєктів «Дайте нам дані — і ми побудуємо модель.» Ця фраза звучить у кожному pitch ML-компанії. Але за нею ховається жорстка реальність: отримати «дані» і отримати «розмічені дані» — принципово різні речі. Для supervised learning (а це більшість production ML-систем) потрібні мітки. Хтось має відповісти: «цей email — spam чи ні?», «цей документ — договір поставки чи акт виконаних робіт?», «ця деталь — бракована чи годна?» Для великих компаній рішення — найняти команду анотаторів або скористатись платформами на кшталт Scale AI. Для малих команд і стартапів — потрібен більш прагматичний підхід. ## Три виміри вибору стратегії Вибір підходу до розмітки залежить від трьох параметрів: **1. Спеціалізованість задачі:** чи можна навчити анотатора за день, чи потрібен профільний фахівець (юрист, лікар, технолог)? **2. Обсяг:** скільки прикладів потрібно? Сотні, тисячі, мільйони? **3. Бюджет:** скільки коштує одна мітка і який загальний бюджет? ## Підхід 1: Crowd Labeling ### Що це Краудсорсинг розмітки: завдання виконують тисячі людей через платформи — Amazon Mechanical Turk, Toloka (Яндекс), Appen, Scale AI. **Переваги:** - Масштабується: тисячі завдань за кілька годин - Відносно дешево для нескладних задач: $0.01–0.50 за мітку - Не потрібен власний штат анотаторів **Обмеження:** - Низька якість на складних або спеціалізованих задачах - Потрібна система контролю якості (inter-annotator agreement, gold questions) - Не підходить для конфіденційних даних - Потребує чіткого annotation guideline (розробка займає час) ### Коли використовувати Crowd labeling ефективний для задач, де: - Завдання однозначне і не вимагає спеціальних знань (класифікація sentiment, категоризація продуктів) - Потрібні десятки тисяч міток за тиждень - Дані не конфіденційні **Золоті питання (gold questions):** вбудовуйте у батч завдань кілька з відомими відповідями. Анотатори з accuracy < 80% на gold questions відсіваються автоматично. Це критично для якості. ### Платформи для українського бізнесу Toloka (зараз незалежна від Яндекс) має велику базу україномовних анотаторів — гарний вибір для задач, де важлива мовна компетентність. ## Підхід 2: In-house Annotation ### Що це Ваша команда або найнятий штат анотаторів розмічає дані самостійно. **Переваги:** - Контроль якості і конфіденційності - Анотатори можуть ставити запитання і розуміти контекст - Накопичений expertise залишається в компанії - Гнучкість у annotation guideline **Обмеження:** - Дорого для великих обсягів - Повільно масштабується - Анотатори «вигорають» від монотонної роботи ### Ефективна організація in-house annotation **Annotation guideline:** найважливіший документ. Описує кожен клас з прикладами, граничними випадками і тим, що НЕ відноситься до класу. Витратьте на нього час — заощадите набагато більше на переробці. **Two-pass review:** перший прохід — анотатор, другий — reviewer. Для критично важливих даних — triple annotation з majority vote. **Batch structure:** розмічайте батчами 200–500 прикладів, після кожного батча — перевірка якості і оновлення guideline. **Інструменти:** - Label Studio (безкоштовний, open source, підтримка тексту/зображень/аудіо) - CVAT (для computer vision) - Prodigy (від spaCy, платний, але дуже ефективний) ### Залучення domain experts Для спеціалізованих задач (медична діагностика, юридичні документи, технічна інспекція) crowd labeling не підходить апріорі. Потрібні лікарі, юристи, інженери. **Практика:** знайдіть 3–5 domain experts, погодьте почасову оплату ($20–50/год) і сесійний формат (по 2–3 год). Між сесіями можна використовувати pre-annotation (автоматичне попереднє підписування, яке expert тільки коригує) — це економить 50–70% часу. ## Підхід 3: Active Learning ### Що це Активне навчання — стратегія, що мінімізує кількість розмічених прикладів, необхідних для досягнення цільової якості моделі. **Ідея:** замість випадкового вибору прикладів для розмітки, модель сама вказує, які приклади найкорисніше розмітити наступними. **Стратегії вибору:** - **Uncertainty sampling:** обирати приклади, де модель найменш впевнена (confidence близька до 0.5) - **Query by committee:** кілька моделей «голосують» — обирати приклади де голоси розходяться - **Expected model change:** теоретично оптимально, але обчислювально дорого ### Практичний цикл active learning 1. Розмічаємо невеликий seed dataset (100–500 прикладів) 2. Навчаємо baseline модель 3. Модель оцінює нерозмічені дані → вибирає top-N найбільш «невпевнених» 4. Ці N прикладів передаємо анотаторам 5. Перенавчаємо модель → повторюємо **Результати:** в типових задачах active learning дозволяє досягти тієї ж якості моделі з 30–70% меншою кількістю розмічених прикладів. ### Обмеження active learning - Потрібен початковий розмічений датасет - Ефективний при дорогій розмітці і великому пулі нерозмічених даних - Може вводити sampling bias — обирати нетипові приклади ## Підхід 4: Synthetic Data Generation ### Коли synthetic data рятує Synthetic data особливо корисна коли: - Реальних прикладів певного класу катастрофічно мало (дефекти, шахрайство, рідкісні хвороби) - Збір реальних даних дорогий або неможливий (аварійні ситуації, небезпечні умови) - Потрібна аугментація для балансування класів ### Методи генерації synthetic data **Для зображень:** - GAN-based генерація: StyleGAN, DALL-E, Stable Diffusion для аугментації - Synthetic дефекти: накладання текстур дефектів на зображення годних деталей - 3D rendering: фізично коректна рендеризація синтетичних сцен (NVIDIA Isaac Sim) **Для тексту:** - LLM-генерація: GPT-4o або Llama 3.1 для генерації прикладів різних класів - Back-translation: переклад на іншу мову і назад для парафразування - Template-based: шаблони з заповнюваними слотами **Для табличних даних:** - SMOTE: синтетичні приклади міноритарного класу через інтерполяцію - CTGAN: GAN для табличних даних - Bayesian networks: генерація на основі умовних розподілів ### Валідація synthetic data Synthetic data — не панацея. Ризик: модель навчиться на синтетичних артефактах, що не відповідають реальному розподілу. **Обов'язкова перевірка:** - FID (Frechet Inception Distance) для оцінки якості зображень - Тестування на виключно реальних даних (не змішаних з synthetic) - Domain expert validation ## LLM як анотатор Відносно новий і перспективний підхід: використовувати GPT-4o або Claude для автоматичної розмітки. **Де це добре працює:** - Sentiment analysis, тематична класифікація - NER (Named Entity Recognition) - Класифікація текстових документів **Реальна точність:** на багатьох NLP-задачах GPT-4o-розмітка досягає 90–95% від якості людських анотаторів — і коштує значно менше. **Схема LLM annotation:** 1. Розмітити GPT-4o 80% датасету автоматично 2. Low-confidence або суперечливі приклади — на human review 3. Результат: 70–80% економія часу при мінімальній втраті якості ## Рекомендована стратегія для малої команди **Початок (0–500 прикладів):** in-house annotation разом з domain experts. Розробка guideline — найважливіший крок. **Розширення (500–5 000 прикладів):** LLM pre-annotation + human review для низько-confidence прикладів. Active learning для вибору наступних прикладів. **Масштабування (5 000+ прикладів):** crowd labeling для нескладних задач, synthetic data для балансування рідкісних класів, active learning для ефективного використання бюджету розмітки. **Бюджетний орієнтир:** розкладіть бюджет як 60% — людська розмітка (in-house або crowd), 25% — інструменти і платформи, 15% — LLM API для pre-annotation. Data labeling — це не одноразова активність, а постійний процес. Нові дані надходять, розподіл змінюється, модель деградує і потребує перенавчання. Вбудуйте annotation pipeline в операційний процес з першого дня — і уникнете болю «накопичення боргу розмітки» в майбутньому.