सामग्री पर जाएँ
प्रोजेक्ट शुरू करें

ब्लॉग

LLM बाधाओं का खुलासा: ऑब्ज़र्वेबिलिटी, OTEL और लागत नियंत्रण

बिज़नेस ब्रीफ: OpenTelemetry, Prometheus/Grafana, Langfuse — फायदे, नुकसान, लागत और एजेंट खर्च घटाने वाले उपयोग मेट्रिक्स

  • Balinder Walia
  • 5 मिनट में पढ़ें
  • Updated
इस पृष्ठ पर

TenthMatrixव्यापार संक्षिप्त: LLM और एजेंट बाधाओं को अवलोकनीयता के साथ उजागर करें — OpenTelemetry, Prometheus/Grafana/Thanos, और LLM प्लेटफ़ॉर्म जैसे कि Langfuse — ताकि आप लागत में कटौती कर सकें, SLOs को कस सकते हैं, और सबूतों के साथ एजेंट भेज सकते हैं। डीप डाइव:लंबा तकनीकी लेख (OTEL, FinOps, एजेंट बजट)। संबंधित:टर्बोचार्जिंग LLMs·Enterprise AI Lab.

Uncovering LLM bottlenecks with OpenTelemetry and cost control

बॉटम लाइन।अधिकांश "स्लो AI" टिकट रहस्यमय मॉडल विफलता नहीं हैं — उनमें एट्रिब्यूशन की कमी है। इंस्ट्रूमेंट एजेंट OpenTelemetry के साथ चलता है, स्कोर आउटपुट करता है, हर कॉल को किरायेदार / मॉडल/मार्ग/टोकन / लागत के साथ टैग करता है, और बजट लागू करता है। ऐसा करने वाली टीमों को आमतौर पर पहले माप चक्र के भीतर रीट्रीज़, ओवरसाइज़्ड मॉडल और अनकैश किए गए प्रॉम्प्ट में 20 -50% कचरा मिलता है।

टेलीमेट्री के बिना अड़चनें क्यों छिपती हैं

LLM एजेंट चेन प्रॉम्प्ट, टूल, RAG रिट्रीवल और फिर से कोशिश करते हैं। लेटेंसी और हॉप्स पर कंपाउंड खर्च करें। बिना स्पैन और मैट्रिक्स के आप यह नहीं बता सकते कि अड़चन मॉडल है या नहीं, वेक्टर स्टोर, फ़्लैकी टूल या अनबाउंड सेल्फ - डिबग लूप। इसके बाद व्यावसायिक हितधारक GPUs या API कोटा खरीदते हैं, जबकि उत्पाद की गुणवत्ता स्थिर रहती है।

एआई एस्टेट के लिए

TenthMatrix का रुख: किसी भी अन्य उत्पादन सेवा की तरह एजेंट पाइपलाइनों का इलाज करें —पहले, फिर सेवारत को अनुकूलित करें (PagedAttention/vLLMदेखें), फिर अनुशासन के साथ प्रचार करें (Ring Promoter)।

वह ऑब्ज़र्वेबिलिटी स्टैक जो अपने लिए भुगतान करता है

OpenTelemetry to Prometheus, Langfuse, Grafana, and FinOps gates

  • OpenTelemetry (OTEL)— ट्रेस, मेट्रिक्स और (जहाँ उपयोगी हो) लॉग के लिए एक इंस्ट्रूमेंटेशन लेयर। कलेक्टर को एक्सपोर्ट करें; फ़ैन आउट से बैकएंड तक।
  • Prometheus + Grafana (+ Thanos)- सुनहरे सिग्नल: अनुरोध दर, त्रुटि दर, विलंबता, टोकन थ्रूपुट, अनुमानित $/अनुरोध, GPU उपयोग। Thanos (या समतुल्य) FinOps समीक्षाओं के लिए दीर्घकालिक मीट्रिक रखता है।
  • LLM ऑब्जर्वेबिलिटी प्लेटफॉर्म(जैसेLangfuse,LMNR) — सत्र/ट्रेस UI, शीघ्र संस्करण, मानव और स्वचालित स्कोर, प्रतिगमन के लिए डेटासेट।

इस दृष्टिकोण के पेशेवर और विपक्ष

का मूल्य यदि आप पहले से ही Grafana चलाते हैं तो
आयामपेशेवरविपक्ष / ट्रेड - ऑफ
लागत नियंत्रणएट्रीब्यूट किरायेदार, फ़ीचर, मॉडल और एजेंट स्टेप पर खर्च करता है; फिजूलखर्ची को खत्म करता है।इंस्ट्रूमेंट के लिए इंजीनियरिंग समय; यदि अवधारण भोला है तो ट्रेस के लिए भंडारण लागत।
क्वालिटीस्कोर + डेटासेट ग्राहकों के ऐसा करने से पहले शीघ्र प्रतिगमन पकड़ते हैं।स्वचालित स्कोरिंग शोर हो सकती है; महत्वपूर्ण रास्तों के लिए अभी भी मनुष्यों की आवश्यकता है।
ऑप्सवही OTEL/Prometheus कौशल आपकी अन्य माइक्रोसर्विसेज के रूप में सेट है।LLM - विशिष्ट UI (Langfuse आदि) चलाने या खरीदने के लिए एक और उत्पाद जोड़ें।
अनुपालनऑडिट किसने किस मॉडल को किस प्रॉम्प्ट संस्करण के साथ कॉल किया।प्रॉम्प्ट/PII प्रतिधारण नीतियों को सामने से डिज़ाइन किया जाना चाहिए।
की गति सेदिनों में पहला डैशबोर्ड।मल्टी - एजेंट ग्राफ़ में पूर्ण लागत एट्रिब्यूशन में ज़्यादा समय लगता है।

लागत: आप क्या खर्च करते हैं बनाम आप

की बचत करते हैं

इंस्ट्रूमेंटेशन कॉस्ट (सामान्य मिड - साइज़ एजेंट प्लैटफ़ॉर्म):

  • 1 -2 इंजीनियर - सप्ताह OTEL स्पैन कन्वेंशन + एक्सपोर्टर वायरिंग को अपनाने के लिए।
  • कलेक्टर + मेट्रिक्स रिटेंशन: सैंपलिंग ट्यून होने के बाद अक्सर मासिक LLM API/GPU खर्च का <5 -10%।
  • वैकल्पिक सास LLM अवलोकन: प्रति घटना/ट्रेस की कीमत — इसे मॉडल खर्च के % के रूप में बजट करें, न कि बाद की सोच के रूप में।

बचत लीवर (उपयोग मीट्रिक जो सुई को स्थानांतरित करते हैं):

  • टोकन प्रति सफल कार्य— प्रति रॉ कॉल टोकन नहीं। कैप टूल लूप और सेल्फ - डिबग राउंड।
  • प्रति सफल कार्य की लागत— वर्गीकृत/मार्ग के लिए मार्ग सस्ते मॉडल; कठिन चरणों के लिए फ्रंटियर मॉडल आरक्षित करें।
  • कैश हिट रेट- जहां सुरक्षित हो वहां प्रॉम्प्ट/प्रीफिक्स कैशिंग; शुद्धता को मापें, न केवल विलंबता को।
  • रेट और डेड - लेटर रेट को फिर से आज़माएँ— फ़्लैकी टूल "मॉडल क्वालिटी" के मुद्दों के रूप में मास्करेड करते हैं।
  • p95 TTFT और एंड - टू - एंड लेटेंसी— खर्च में कटौती करते समय UX की रक्षा करें।
अंगूठे का नियम।यदि आप जवाब नहीं दे सकते हैं "ग्राहक द्वारा और चरणबद्ध तरीके से पिछले सप्ताह इस एजेंट की लागत क्या थी ?" तो आप उपयोग को बढ़ाने के लिए तैयार नहीं हैं — आप वित्त को आश्चर्यचकित करने के लिए तैयार हैं।

स्कोरिंग: मैनुअल बनाम ऑटोमैटिक

का उपयोग कब करें
विधिव्यावसायिक नोट
मैनुअल स्कोरिंगगोल्ड सेट, विनियमित उत्तर, ब्रांड - संवेदनशील कॉपी।महंगा लेकिन ग्राउंड ऑटोमेटेड जज।
स्वचालित स्कोरिंगहाई - वॉल्यूम रिग्रेशन, LLM - as - judge, rubric checks।पैमाने पर सस्ता; मनुष्यों के खिलाफ मासिक कैलिब्रेट करें।

माइग्रेशन प्लेबुक (छोटा शुरू करें)

  1. इंस्ट्रूमेंटONEप्रोडक्शन एजेंट पथ OTEL + टोकन/लागत विशेषताओं के साथ एंड - टू - एंड।
  2. दर / त्रुटियों/विलंबता/$/सफलता के लिए Grafana बोर्ड शिप करें।
    3. उस पथ पर शीघ्र संस्करणों और स्कोर के लिए
  3. Langfuse (या समतुल्य) जोड़ें।
  4. हार्ड कैप लागू करें: अधिकतम टोकन, अधिकतम टूल कॉल, प्रति सत्र अधिकतम पुनः प्रयास।
  5. पहले पथ पर मापी गई लागत या विलंबता जीत दिखाने के बाद ही अगले एजेंट तक विस्तार करें।

वॉच: AI सिस्टम के लिए प्रेक्षणीयता क्यों मायने रखती है

ऑब्ज़र्वेबिलिटी कल्चर पर कॉन्टेक्स्ट टॉक — TenthMatrix प्रोडक्ट डेमो नहीं।OpenTelemetry डॉक्सऔरTenthMatrix तकनीकी लेखके साथ पेयर करें ।

अगला पढ़ें

  1. लंबा लेख— OTEL स्पैन स्कीमा, कलेक्टर, लागत सूत्र, एजेंट कैप, Langfuse/LMNR नोट्स।
  2. टर्बोचार्जिंग LLMs— उन्हें देखने के बाद सेवारत - साइड बाधाएं।
  3. स्थानीय एजेंट·Enterprise AI Lab·संपर्क TenthMatrix

TenthMatrixद्वारा प्रकाशित । संदर्भ:langfuse/langfuse·lmnr - AI/lmnr·OpenTelemetry.

ब्लॉग से और