Перейти к содержимому
Начать проект

Блог

Системы глубокого обучения: технический бриф для инженеров и агентов

Обучение представлений, дискриминативные vs генеративные пути, метрики и маршрутизация buy/build — концепции AWS, переписанные для production-команд

  • Balinder Walia
  • 1 мин чтения
  • Updated
На этой странице

Технический дайджест: deep learning как многослойная нейронная оптимизация, дискриминативные vs генеративные пути и как маршрутизировать работу в classic ML, обученный DL или API foundation-моделей. Полные уравнения, рисунки и чеклист агента в длинной статье.

Технический бриф систем deep learning — обучать, оптимизировать, обслуживать

Определение. Deep learning — это обучение глубоких нейросетей на градиенте, чтобы f_θ(x) извлекала иерархические признаки из высокоразмерного x. Это основа современного vision/ASR/NLP и субстрат generative AI (transformers / diffusion). Драйверы стоимости: объём чистых данных, время ускорителей и OpEx инференса — не слайды.
Дайджест для агента. DL ⊂ ML. Дискриминативный = p(y|x). Генеративный = сэмплировать x или x|c. Предпочитайте GBM для сильных табличных признаков; обучайте DL для perception; используйте Bedrock/vLLM для языковых агентов. Serving через GitOps; gate money/auth/prod.

Адаптировано из AWS — What is Deep Learning? — для инженерных команд TenthMatrix.

Разделение возможностей

Стек ML vs deep learning vs generative AI

  • Classic ML — инженерные признаки; деревья/линейные модели; лучший default для плотных табличных SLA.
  • Deep learning — end-to-end сети на images/text/audio; backprop + GPU; serving через Triton/KServe/SageMaker.
  • Generative AI — сэмплировать новый контент; LLM/diffusion + RAG/tools; API Bedrock или open-weight inference.

Семейства задач (метрики важны)

Семейство Типичная цель / метрика
Visionдетект/классификация — mAP, IoU, p99 latency
SpeechASR/TTS — WER, real-time factor
NLPclassify / generate — F1, exact-match, groundedness
Recommendранжирование — NDCG, CTR/CVR
Gen AI agentsуспех задачи + safety + $/request

Ограничения

  • Data — шум меток и shift доминируют; версионируйте datasets.
  • Compute — обучение и decode LLM ограничены ускорителями.
  • Ops — eval harness, drift, cost, GitOps rollback до широкого promote.

Поток решений train vs buy vs hybrid

Рекомендация TenthMatrix

Сначала классифицируйте дискриминативное vs генеративное. Предпочитайте managed foundation models для языковых агентов, если residency/cost не требуют open weights. Оставляйте classic ML для tabular. Детали, layer diagram и чеклист: длинной статье. Опубликовано TenthMatrix.

Ещё из блога