الشحن التوربيني LLMs
TenthMatrix على الشحن التوربيني LLMs: ترحيل PagedAttention لذاكرة التخزين المؤقت KV، وخدمة vLLM، وSelf-Debugging للوكلاء، ومعدلات الرمز المميز PowerInfer، وقطع ذاكرة EG-MLA - مع مقايضات الإنتاج.
الموضوع
Machine Learning
منشورات موسومة بـ Machine Learning
أنظمة التعلم العميق: موجز تقني للمهندسين والوكلاء
موجز تقني من TenthMatrix حول التعلم العميق: شبكات عميقة مدرَّبة بالتدرج، نماذج تمييزية مقابل توليدية، مقاييس المهام، وBedrock مقابل الخدمة على Kubernetes.
شرح نماذج اللغات الكبيرة: كيف تعمل LLMs وكيفية تشغيل نماذجك الخاصة على Kubernetes
ما هي نماذج اللغات الكبيرة وكيف تعمل؟ شرح واضح وغير تقني للمديرين والمهندسين - الرموز المميزة والتضمينات والمحولات والتدريب والاستدلال - بالإضافة إلى إنتاج Kubernetes YAML لنشر LLM الخاص بك مع Ollama وvLLM.