মূল বিষয়বস্তুতে যান
প্রজেক্ট শুরু করুন

ব্লগ

LLM বাধাগুলি উন্মোচন করা: পর্যবেক্ষণযোগ্যতা, OTEL এবং খরচ নিয়ন্ত্রণ

ব্যবসায়িক সংক্ষিপ্ত: OpenTelemetry, Prometheus/Grafana, Langfuse — সুবিধা, অসুবিধা, খরচ, এবং ব্যবহারের মেট্রিক যা এজেন্টের খরচ কমায়

  • Balinder Walia
  • 4 মিনিটে পড়া
  • Updated
এই পৃষ্ঠায়

TenthMatrixব্যবসায়িক সংক্ষিপ্ত: LLM এবং পর্যবেক্ষণযোগ্যতার সাথে এজেন্টের বাধাগুলি উন্মোচন করুন — OpenTelemetry, Prometheus/Grafana/Thanos, এবং LLM প্ল্যাটফর্ম যেমন Langfuse — যাতে আপনি প্রমাণ সহ খরচ কমাতে, SLOs শক্ত করতে এবং জাহাজ এজেন্টদের করতে পারেন৷ গভীর ডুব:দীর্ঘ প্রযুক্তিগত নিবন্ধ (OTEL, FinOps, এজেন্ট বাজেট)। সম্পর্কিত:টার্বোচার্জিং LLMs·এন্টারপ্রাইজ এআই ল্যাব।

Uncovering LLM bottlenecks with OpenTelemetry and cost control

নীচের লাইন।অধিকাংশ "ধীর AI" টিকিট রহস্যময় মডেল ব্যর্থতা নয় — তারা বৈশিষ্ট্য অনুপস্থিত. ইনস্ট্রুমেন্ট এজেন্ট ওপেনটেলিমেট্রির সাথে চলে, আউটপুট স্কোর করে, প্রতিটি কলকে ভাড়াটে/মডেল/রুট/টোকেন/কস্ট দিয়ে ট্যাগ করে এবং বাজেট প্রয়োগ করে। যে দলগুলি এটি করে তারা সাধারণত প্রথম পরিমাপ চক্রের মধ্যে পুনরায় চেষ্টা, বড় আকারের মডেল এবং ক্যাশবিহীন প্রম্পটে 20-50% বর্জ্য খুঁজে পায়।

কেন টেলিমেট্রি ছাড়া বাধা লুকিয়ে থাকে

LLM এজেন্ট চেইন প্রম্পট, টুল, RAG পুনরুদ্ধার, এবং পুনঃপ্রচার। হপস জুড়ে বিলম্ব এবং ব্যয় যৌগ। স্প্যান এবং মেট্রিক্স ছাড়া আপনি বলতে পারবেন না যে বটলনেকটি মডেল, ভেক্টর স্টোর, একটি ফ্ল্যাকি টুল, বা একটি সীমাহীন স্ব-ডিবাগ লুপ। ব্যবসায়িক স্টেকহোল্ডাররা তখন GPUs বা API কোটা অতিরিক্ত ক্রয় করে যখন পণ্যের গুণমান সমতল থাকে।

AI এস্টেটের জন্য

Workstation-এর অবস্থান: অন্য যে কোনও প্রোডাকশন পরিষেবার মতো এজেন্ট পাইপলাইনগুলি ব্যবহার করুন —পর্যবেক্ষণযোগ্যতা প্রথমে, তারপর পরিবেশন অপ্টিমাইজ করুন (PagedAttention / vLLMদেখুন), তারপর শৃঙ্খলার সাথে প্রচার করুন (Ring PromoterXTAG3)৷

পর্যবেক্ষণযোগ্যতা স্ট্যাক যা নিজের জন্য অর্থ প্রদান করে

OpenTelemetry to Prometheus, Langfuse, Grafana, and FinOps gates

এই পদ্ধতির সুবিধা এবং অসুবিধা

ভাড়াটে, বৈশিষ্ট্য, মডেল এবং এজেন্ট পদক্ষেপের জন্যআপনি যদি ইতিমধ্যেই Grafana চালান তাহলেমাল্টি-এজেন্ট গ্রাফ জুড়ে
মাত্রাপেশাদারকনস / ট্রেড-অফ
খরচ নিয়ন্ত্রণবৈশিষ্ট্য ব্যয়; অপব্যয় পুনঃ চেষ্টা হত্যা.প্রকৌশল যন্ত্রের সময়; ধারণ নিষ্পাপ হলে ট্রেস জন্য স্টোরেজ খরচ.
গুণমানস্কোর + ডেটাসেট গ্রাহকদের আগে প্রম্পট রিগ্রেশন ক্যাচ করে।স্বয়ংক্রিয় স্কোরিং গোলমাল হতে পারে; মানুষের এখনও সমালোচনামূলক পথের জন্য প্রয়োজন।
Opsআপনার অন্যান্য মাইক্রোসার্ভিসের মতো একই OTEL/Prometheus দক্ষতা সেট।LLM-নির্দিষ্ট UIs (Langfuse ইত্যাদি) চালানো বা কেনার জন্য অন্য পণ্য যোগ করুন।
কমপ্লায়েন্সঅডিট কে কোন মডেলকে কোন প্রম্পট সংস্করণ দিয়ে কল করেছে।প্রম্পট/PII ধরে রাখার নীতিগুলি অবশ্যই সামনের দিকে ডিজাইন করা উচিত৷
গতির মানদিনের মধ্যে প্রথম ড্যাশবোর্ড।সম্পূর্ণ খরচের অ্যাট্রিবিউশন বেশি সময় নেয়।

খরচ: আপনি যা খরচ করেন বনাম আপনি

কি সংরক্ষণ করেন

ইন্সট্রুমেন্টেশন খরচ (সাধারণ মাঝারি আকারের এজেন্ট প্ল্যাটফর্ম):

    OTEL স্প্যান কনভেনশন + রপ্তানিকারক ওয়্যারিং গ্রহণ করতে
  • 1-2 ইঞ্জিনিয়ার-সপ্তাহ।
  • সংগ্রাহক + মেট্রিক্স ধরে রাখা: প্রায়ই <5-10% মাসিক LLM API/GPU একবার স্যাম্পলিং টিউন হয়ে গেলে খরচ করে৷
  • ঐচ্ছিক SaaS LLM পর্যবেক্ষণযোগ্যতা: ইভেন্ট/ট্রেস প্রতি মূল্য - এটিকে মডেল খরচের % হিসাবে বাজেট করুন, চিন্তাভাবনা হিসাবে নয়।

সেভিংস লিভার (ব্যবহারের মেট্রিক যা সুই সরায়):

  • সফল টাস্কপ্রতি টোকেন - কাঁচা কল প্রতি টোকেন নয়। ক্যাপ টুল লুপ এবং স্ব-ডিবাগ রাউন্ড।
  • সফল টাস্ক প্রতি খরচ— শ্রেণীবদ্ধ/রুটের জন্য রুট সস্তা মডেল; কঠিন পদক্ষেপের জন্য সীমান্ত মডেল রিজার্ভ করুন।
  • ক্যাশে হিট রেট— প্রম্পট/প্রিফিক্স ক্যাশিং যেখানে নিরাপদ; শুদ্ধতা পরিমাপ, শুধুমাত্র বিলম্ব না.
  • পুনরায় চেষ্টা করার হার & ডেড-লেটার রেট— ফ্ল্যাকি টুলসকে "মডেল কোয়ালিটি" সমস্যা হিসেবে মাস্করাড করে।
  • p95 TTFT এবং এন্ড-টু-এন্ড লেটেন্সি— যখন আপনি খরচ কম করেন তখন UX রক্ষা করুন।
অঙ্গুষ্ঠের নিয়ম।যদি আপনি উত্তর না দিতে পারেন "এই এজেন্ট গত সপ্তাহে গ্রাহক এবং ধাপে ধাপে কত খরচ করেছে?" আপনি ব্যবহার স্কেল করার জন্য প্রস্তুত নন - আপনি ফাইন্যান্সকে অবাক করতে প্রস্তুত।

স্কোরিং: ম্যানুয়াল বনাম স্বয়ংক্রিয়

ব্যবহার করবেন
পদ্ধতিকখনব্যবসায়িক নোট
ম্যানুয়াল স্কোরিংগোল্ড সেট, নিয়ন্ত্রিত উত্তর, ব্র্যান্ড-সংবেদনশীল কপি।ব্যয়বহুল কিন্তু স্বয়ংক্রিয় বিচারকদের ভিত্তি।
স্বয়ংক্রিয় স্কোরিংহাই-ভলিউম রিগ্রেশন, LLM-এজ-জজ, রুব্রিক চেক।স্কেলে সস্তা; মাসিক মানুষের বিরুদ্ধে ক্রমাঙ্কন.

মাইগ্রেশন প্লেবুক (ছোট শুরু করুন)

  1. ইন্সট্রুমেন্টএকপ্রোডাকশন এজেন্ট পাথ এন্ড-টু-এন্ড OTEL + টোকেন/কস্ট অ্যাট্রিবিউট সহ।
  2. হার / ত্রুটি / বিলম্ব / $/সফলতার জন্য একটি Grafana বোর্ড পাঠান৷
    3. সেই পথে প্রম্পট সংস্করণ এবং স্কোরের জন্য
  3. Langfuse (বা সমতুল্য) যোগ করুন।
  4. হার্ড ক্যাপ প্রয়োগ করুন: সর্বোচ্চ টোকেন, সর্বোচ্চ টুল কল, প্রতি সেশনে সর্বোচ্চ পুনঃপ্রয়াস।
  5. প্রথম পাথ একটি পরিমাপিত খরচ বা লেটেন্সি জয় দেখানোর পরেই পরবর্তী এজেন্টে প্রসারিত করুন।

ঘড়ি: কেন AI সিস্টেম

এর জন্য পর্যবেক্ষণযোগ্যতা গুরুত্বপূর্ণ

অবজারভেবিলিটি কালচারের প্রসঙ্গ আলোচনা — TenthMatrix প্রোডাক্ট ডেমো নয়।OpenTelemetry ডক্সএবংTenthMatrix প্রযুক্তিগত নিবন্ধএর সাথে পেয়ার করুন।

পরবর্তী

পড়ুন
  1. দীর্ঘ নিবন্ধ— OTEL স্প্যান স্কিমা, সংগ্রাহক, খরচ সূত্র, এজেন্ট ক্যাপস, Langfuse/LMNR নোট।
  2. টার্বোচার্জিং LLMs— সার্ভিং-সাইড বাধাগুলি আপনি দেখতে পাওয়ার পরে৷
  3. স্থানীয় এজেন্ট·এন্টারপ্রাইজ AI ল্যাব·যোগাযোগ TenthMatrix

TenthMatrixদ্বারা প্রকাশিত। তথ্যসূত্র:langfuse/langfuse·lmnr-ai/lmnr·OpenTelemetry।

ব্লগ থেকে আরও