Турбонаддув LLMs
TenthMatrix с турбонаддувом LLMs: подкачка PagedAttention для кэша KV, обслуживание vLLM, Self-Debugging для агентов, скорость токенов PowerInfer и сокращение памяти EG-MLA — с компромиссами в производстве.
Тема
Machine Learning
Посты с тегом Machine Learning
Системы глубокого обучения: технический бриф для инженеров и агентов
Технический бриф TenthMatrix по deep learning: глубокие сети, обученные градиентом, дискриминативные vs генеративные модели, метрики задач и Bedrock vs serving в Kubernetes.
Объяснение больших языковых моделей: как работают LLM и как запустить свои собственные модели на Kubernetes
Что такое большие языковые модели и как они работают? Четкое, нетехническое объяснение для менеджеров и инженеров — токены, внедрения, преобразователи, обучение и логические выводы — а также рабочий Kubernetes YAML для развертывания собственного LLM с Ollama и vLLM.