Transfer Learning: як розпочати ML-проєкт без мільйона зразків

## Проблема малих датасетів і як transfer learning її вирішує Навчання глибоких нейронних мереж з нуля потребує величезної кількості даних: ImageNet містить понад 14 мільйонів зображень, GPT-3 навчено на 570 GB тексту. Для більшості українських компаній такі обсяги розмічених даних недосяжні ані фізично, ані фінансово. Transfer learning (перенос навчання) вирішує цю проблему елегантно: замість навчання з нуля ви берете модель, вже навчену на великому датасеті, і адаптуєте її до вашої специфічної задачі на значно меншому наборі даних. Модель вже "знає" базові поняття — як виглядають краї та форми (для зображень) або синтаксичні конструкції і семантику (для тексту). Вам залишається лише навчити її специфіці вашого домену. ## Чому це особливо важливо для України Українські компанії стикаються з подвійним викликом: малі обсяги власних даних плюс брак україномовних навчальних корпусів у відкритому доступі. При спробі навчити, наприклад, класифікатор юридичних документів з нуля потрібно мінімум 50 000–100 000 розмічених зразків. З transfer learning — від 500 до 5 000 вистачить для отримання прийнятної точності. Різниця у вартості розмітки: від кількох мільйонів гривень до десятків тисяч. ## Як працює transfer learning на практиці Архітектурно процес складається з двох фаз. **Фаза 1: Pretrained модель як base.** Беремо модель, навчену на великому загальному датасеті: ResNet або EfficientNet для зображень, BERT або RoBERTa для тексту, Wav2Vec для аудіо. Нижні шари цих моделей навчились виявляти універсальні патерни — їх "замороюємо" (freeze), щоб не перезаписати під час навчання. **Фаза 2: Fine-tuning на вашому датасеті.** Верхні шари (класифікаційна голова) замінюємо на нові і навчаємо на вашому специфічному датасеті. Опційно після початкового навчання "розморожуємо" частину нижніх шарів і навчаємо їх з дуже малим learning rate — це дозволяє моделі тонко адаптуватись до вашого домену. ## Практичні приклади для бізнесу **Класифікація дефектів на виробництві.** Замість збору 100 000 фотографій дефектів, використовуйте EfficientNet, навчений на ImageNet. 500–2 000 зображень дефектів вашого конкретного виробництва достатньо для точності 90%+. **Аналіз юридичних документів.** XLM-RoBERTa, fine-tuned на 3 000 розмічених українських контрактах, класифікує типи договорів і виділяє ключові пункти з точністю, недосяжною для загальних моделей без fine-tuning. **Розпізнавання медичних знімків.** Лікарня з 2 000 рентгенівських знімків з розміткою може отримати класифікатор точністю 85%+, використовуючи DenseNet, навчений на CheXpert (224 000 знімків). **Sentiment для специфічного домену.** Загальна sentiment-модель плутається у технічному жаргоні. Fine-tuning на 2 000 відгуків з вашого специфічного сегменту (наприклад, відгуки на ПЗ для бухгалтерів) підвищує точність на 10–15 відсоткових пунктів. ## Few-shot і zero-shot learning: коли даних зовсім мало Якщо розмічених прикладів менше 100, класичний fine-tuning часто не дає стабільних результатів. На допомогу приходять newer підходи. **Few-shot learning** — модель навчається з кількох десятків прикладів завдяки meta-learning: вона вчиться "вчитись швидко". Prototypical Networks та MAML (Model-Agnostic Meta-Learning) — популярні архітектури. **Zero-shot learning** — класифікація без жодного розміченого прикладу нового класу. Модель використовує семантичні описи класів. GPT-4 здатен класифікувати документи за описаними категоріями без єдиного прикладу, хоча точність нижча, ніж при fine-tuning. **Prompt engineering для LLM** — технічно теж форма transfer learning: ви не змінюєте параметри моделі, але через промпт передаєте контекст, що "активує" потрібні знання. ## Коли навчати з нуля Transfer learning — не завжди правильний вибір. Навчайте з нуля, якщо ваш домен радикально відрізняється від будь-яких відомих датасетів: промислові сенсори зі специфічним форматом сигналу, унікальна нотація даних, що не схожа на жодні публічні датасети. Також з нуля, якщо у вас є дійсно великий датасет (500 000+ прикладів) і ви хочете максимальну адаптованість до домену без компромісів pretrained-моделі. В іншому 90% випадків transfer learning — правильний старт. ## Практичний чекліст для старту Перший крок — знайдіть претреновану модель, максимально близьку до вашого домену. Для медичних зображень — BioViL або CheXpert-pretrained, для юридичних текстів — Legal-BERT, для загальних завдань — XLM-RoBERTa large. Другий крок — підготуйте мінімальний датасет: 500 прикладів на клас достатньо для першого тесту. Розмітка важливіша за обсяг: 500 якісних прикладів переважають 5 000 зашумлених. Третій крок — заморозьте нижні шари, навчіть класифікаційну голову 5–10 епох. Потім розморозьте верхні шари і донавчіть з дуже малим learning rate (1e-5 або менше). Валідуйте на відкладеній вибірці, що модель не перенавчилась.