Turbocompresor LLMs
TenthMatrix con turbocompresor LLMs: paginación PagedAttention para caché KV, servicio vLLM, Self-Debugging para agentes, tasas de token PowerInfer y cortes de memoria EG-MLA, con compensaciones en la producción.
Tema
Machine Learning
Publicaciones etiquetadas con Machine Learning
Sistemas de deep learning: brief técnico para ingenieros y agentes
Brief técnico de TenthMatrix sobre deep learning: redes profundas entrenadas por gradiente, modelos discriminativos vs generativos, métricas de tarea y Bedrock vs serving en Kubernetes.
Explicación de los modelos de lenguajes grandes: cómo funcionan los LLM y cómo ejecutar el suyo propio en Kubernetes
¿Qué son los modelos de lenguaje grande y cómo funcionan? Una explicación clara y no técnica para gerentes e ingenieros (tokens, incorporaciones, transformadores, capacitación e inferencia) además de producción Kubernetes YAML para implementar su propio LLM con Ollama y vLLM.