Tema
Publicaciones etiquetadas con MLOps
TenthMatrix sobre cómo descubrir cuellos de botella del agente LLM con observabilidad: OpenTelemetry, Prometheus/Grafana/Thanos, Langfuse, con claras ventajas y desventajas, niveles de costos y métricas de uso que protegen los márgenes.
TenthMatrix con turbocompresor LLMs: paginación PagedAttention para caché KV, servicio vLLM, Self-Debugging para agentes, tasas de token PowerInfer y cortes de memoria EG-MLA, con compensaciones en la producción.
Brief técnico de TenthMatrix sobre deep learning: redes profundas entrenadas por gradiente, modelos discriminativos vs generativos, métricas de tarea y Bedrock vs serving en Kubernetes.
Kimi K3 lleva los modelos open-weight al territorio de agentes de frontera. Qué cambia para desarrolladores, serving vLLM, MCP y consejos de producción TenthMatrix.
Implementa Amazon Bedrock, Bedrock AgentCore, SageMaker y Amazon Q, y luego lanza un primer agente de negocio en Microsoft Teams — con requisitos, tooling y cajas de tiempo.
Combina Kubeflow y Argo CD para MLOps en Kubernetes: entrena y registra modelos en Kubeflow, promueve InferenceServices con GitOps, haz rollback con git revert.
¿Qué son los modelos de lenguaje grande y cómo funcionan? Una explicación clara y no técnica para gerentes e ingenieros (tokens, incorporaciones, transformadores, capacitación e inferencia) además de producción Kubernetes YAML para implementar su propio LLM con Ollama y vLLM.