মূল বিষয়বস্তুতে যান

নিবন্ধ

Ollama-এ Muse Glimmer: এক GPU-এ সর্বদা-স্থানীয় এজেন্ট

TenthMatrix গভীর ডাইভ: আর্কিটেকচার, Ollama ট্যাগ/MLX, মেটা বেঞ্চমার্ক ম্যাট্রিক্স বনাম জেমমা4-31B এবং Qwen3.6-27B, মূল্যায়ন পদ্ধতি, এবং উত্পাদন চেকলিস্ট

  • 7 মিনিটে পড়া
  • এআই
  • MLOps
  • Open Source

Muse Glimmer একটি ডেডিকেটেড উপলব্ধি এনকোডার সহ Meta-এর 30-বিলিয়ন-প্যারামিটার কার্যকারণ ভাষার মডেল, Muse Spark থেকে পাতিত এবং ভোক্তা এবং ওয়ার্কস্টেশন হার্ডওয়্যারের স্বায়ত্তশাসিত এজেন্টিক কাজের চাপের জন্য প্রকাশিত৷ মাধ্যমে বিতরণ করা হয় Ollama অধীন Apache 2.0, এটি নির্ভরযোগ্য টুল ব্যবহার, দীর্ঘ-দিগন্তের কাজ, মাল্টিমোডাল বোঝাপড়া এবং ব্যর্থতা পুনরুদ্ধারকে লক্ষ্য করে — ক্লাউড ইনফারেন্সের প্রয়োজন ছাড়াই। এই TenthMatrix প্রযুক্তিগত সংক্ষিপ্তটি স্থানীয় এজেন্ট শিপিং ইঞ্জিনিয়ারদের জন্য পাবলিক মডেল কার্ড পুনর্লিখন এবং প্রসারিত করে।

Ollama-এ Muse Glimmer — TenthMatrix প্রযুক্তিগত নির্দেশিকা

এজেন্ট হজম।
  • ক্লাস: 30B কার্যকারণ LM + উপলব্ধি এনকোডার; Muse Spark থেকে পাতিত; দৃষ্টি + টুল + চিন্তা।
  • পরিবেশন: ollama run muse-glimmer (~18GB, 128K, টেক্সট+ইমেজ); Apple Silicon: muse-glimmer:30b-mlx (~21GB, DFlash)।
  • মানানসই: একটি GPU বা ম্যাক সিলিকনে সর্বদা স্থানীয় / এয়ার-গ্যাপড এজেন্ট - একটি মাল্টি-টিবি MoE ক্লাস্টার মডেল নয়।
  • শক্তি সংকেত: MCP-Atlas, DeepSearch QA, WildClawBench, SWE-Bench Pro, AA-LCR, Beam128K (উচ্চ যুক্তি) এ Meta-এর রিপোর্ট করা সাইজ-ক্লাস ম্যাট্রিক্সকে নেতৃত্ব দেয়।
  • অপস: ভারা মাধ্যমে ollama launch (Claude Code, OpenCode, হার্মিস, OpenClaw); ইভাল, এইচআইটিএল, এমসিপি অনুমোদনের সাথে পরিচালনা করুন।

প্রাথমিক সূত্র: Ollama লাইব্রেরি — মিউজ-গ্লিমার; মেটা মূল্যায়ন পদ্ধতি - Muse Glimmer পদ্ধতি. সংখ্যা এবং ট্যাগ পরিবর্তন; সংগ্রহের আগে লাইভ মডেল কার্ড যাচাই করুন।

1. স্থাপত্য এবং নকশা অভিপ্রায়

Muse Glimmer একটি সাধারণ চ্যাট MoE হিসাবে অবস্থান করা হয় না। মেটার ফ্রেমিং হল এন্ড-টু-এন্ড এজেন্টিক টাস্ক সমাপ্তি হার্ডওয়্যারে আপনি একটি ডেস্ক বা একটি ছোট ল্যাব র্যাকের জন্য কিনতে পারেন:

  • কার্যকারণ LM ব্যাকবোন (30B) — দীর্ঘ কর্মপ্রবাহ জুড়ে টেকসই বহু-পদক্ষেপ যুক্তি চেইন সহ পরবর্তী টোকেন প্রজন্ম।
  • নিবেদিত উপলব্ধি এনকোডার — ইন্টারলিভড টেক্সট এবং ইমেজ গ্রহণ করে যাতে এজেন্টরা টুল ট্রান্সক্রিপ্টের মতো একই কনটেক্সট উইন্ডোতে স্ক্রিনশট, চার্ট এবং ডকুমেন্ট নিয়ে যুক্তি দেখাতে পারে।
  • Muse Spark থেকে পাতন — একটি পদচিহ্নে ক্ষমতা স্থানান্তর যা ডেটাসেন্টার-শুধু পরিবেশনের পরিবর্তে একক-GPU/ভোক্তা-শ্রেণী স্থাপনার লক্ষ্য করে।
  • ব্যর্থতা পুনরুদ্ধার আচরণ — যখন একটি টুল কল ব্যর্থ হয় বা একটি অপ্রত্যাশিত পেলোড ফেরত দেয়, তখন পর্বটি বন্ধ করার পরিবর্তে মডেলটিকে রোগ নির্ণয় এবং পুনরায় চেষ্টা করার জন্য প্রশিক্ষিত/টিউন করা হয়।
  • নিয়ন্ত্রণযোগ্য প্রচেষ্টা — যুক্তির শক্তি নির্বাচনযোগ্য তাই অপারেটররা প্রতি রুটে গুণমানের জন্য লেটেন্সি ট্রেড করতে পারে।
  • বহুভাষিক প্রশিক্ষণ কভারেজ — মেটা 100 টিরও বেশি ভাষার প্রশিক্ষণের ডেটা বলে।

TenthMatrix স্ট্যাকের জন্য, পণ্যের অন্তর্নিহিততা হল: গ্লিমারকে একটি হিসাবে বিবেচনা করুন এজেন্ট রানটাইম মস্তিষ্ক MCP টুলস, শেল, ব্রাউজার এবং ফাইল এডিটরগুলির পিছনে — প্রতিটি বন্ধ সীমান্ত API কলের জন্য ড্রপ-ইন প্রতিস্থাপন হিসাবে নয়।

স্থানীয় এজেন্ট স্ট্যাক: ভারা, Ollama, Muse Glimmer, সরঞ্জাম, নিয়ন্ত্রণ সমতল

2. Ollama বিতরণ (ট্যাগ, পদচিহ্ন, I/O)

Ollama লাইব্রেরি কার্ডে প্রকাশিত (লাইভ আকার যাচাই করুন):

ট্যাগ প্রায় আকার প্রসঙ্গ ইনপুট নোট
muse-glimmer:latest / :30b~18GB128Kপাঠ্য, চিত্রডিফল্ট একক-GPU পথ
muse-glimmer:30b-mlx~21GB128Kপাঠ্য, চিত্রOllama MLX ইঞ্জিন; DFlash + Apple Silicon-এ ছবি
# Pull + interactive
ollama run muse-glimmer

# Apple Silicon (MLX)
ollama run muse-glimmer:30b-mlx

# HTTP chat (localhost Ollama)
curl http://localhost:11434/api/chat \
  -d '{"model":"muse-glimmer","messages":[{"role":"user","content":"Hello!"}]}'

# Scaffold launchers (from Ollama applications list)
ollama launch claude --model muse-glimmer
ollama launch opencode --model muse-glimmer
ollama launch hermes --model muse-glimmer
ollama launch openclaw --model muse-glimmer

পাইথন/জেএস ক্লায়েন্টদের আপনার বৈধ করা ট্যাগটি পিন করা উচিত (muse-glimmer বনাম :30b-mlx) কনফিগারে, হার্ড-কোড নয় latest উৎপাদন এজেন্টদের মধ্যে।

3. সক্ষমতা পৃষ্ঠ (ইঞ্জিনিয়ারিং রিডিং)

  • এন্ড-টু-এন্ড এজেন্টিক সমাপ্তি — মেটা ডিপ সার্চ QA, MCP-Atlas, τ3-বেঞ্চ (ব্যাঙ্কিং), এবং SWE-Bench পারিবারিক কাজগুলির উপর শক্তিশালী ফলাফল উদ্ধৃত করে যা স্ক্যাফোল্ডেড মাল্টি-টার্ন সাফল্য পরিমাপ করে, একক-শট ট্রিভিয়া নয়।
  • নির্ভরযোগ্য টুল ব্যবহার — বর্ধিত ওয়ার্কফ্লো জুড়ে স্কিমা নির্ভুলতার সাথে বিস্তৃত ফাংশন-কল কভারেজ (MCP টুল ফ্লিটগুলির জন্য গুরুত্বপূর্ণ)।
  • বহু-পদক্ষেপ যুক্তি - দীর্ঘ দিগন্ত জুড়ে পরিকল্পনা সুসংহততা; ট্রান্সক্রিপ্ট + ডকুমেন্ট ধরে রাখার জন্য 128K প্রসঙ্গ উইন্ডোর সাথে জোড়া।
  • ব্যর্থতা পুনরুদ্ধার — অপ্রত্যাশিত টুলের ফলাফল নির্ণয় করুন এবং পুনরায় চেষ্টা করুন; রাতারাতি চাকরিতে "ভঙ্গুর এজেন্ট" গর্ভপাত হ্রাস করে।
  • মাল্টিমডাল যুক্তি — পারসেপশন এনকোডার স্ক্রিনশট/চার্ট/ডকুমেন্টকে টেক্সটের সাথে ইন্টারলিভ করতে সক্ষম করে (GUI গ্রাউন্ডিং এবং ডক পার্স বেঞ্চ মেটার ম্যাট্রিক্সে অন্তর্ভুক্ত)।
  • ভারা সামঞ্জস্য — OpenClaw, Hermes Agent, এবং অনুরূপ অর্কেস্ট্রেশন প্যাটার্ন; Ollama Claude Code এবং OpenCode লঞ্চারকে প্রথম-শ্রেণীর অ্যাপ হিসেবে তালিকাভুক্ত করে।

4. বেঞ্চমার্ক ম্যাট্রিক্স (মেটা-প্রতিবেদিত, উচ্চ যুক্তি)

মেটা Muse Glimmer-30B (উচ্চ যুক্তি) Gemma4-31B এবং Qwen3.6-27B এর সাথে চিন্তার মোডে তুলনা করে। শিরোনাম TenthMatrix রিডিং: গ্লিমার বেশ কয়েকটিকে নেতৃত্ব দেয় এজেন্ট পাবলিক স্যুটগুলি (MCP-Atlas, DeepSearch QA, WildClawBench, Gaia2, SWE-Bench Pro) কিছু ডেস্কটপ-এজেন্ট এবং জিডিপি-ভাল মেট্রিক্সে পিয়ারদের অনুসরণ বা বাঁধার সময়। সর্বদা পুনরায় চালানো আপনার জোতা

শ্রেণী বেঞ্চমার্ক গ্লিমার-30B Gemma4-31B Qwen3.6-27B
সাধারণ এজেন্টMCP-Atlas (সর্বজনীন)75.554.262.5
ডিপ সার্চ QA74.661.771.1
τ3-ব্যাংকিং23.515.116.7
WildClawBench47.637.643.2
GDPVal-AA v29538111141
গাইয়া243.336.440.0
স্কিলসবেঞ্চ (দক্ষতার সাথে)44.332.446.6
OSWorld-যাচাইকৃত65.958.575.6
এজেন্টিক কোডিংSWE-Bench প্রো51.236.950.2
SWE-Bench যাচাই করা হয়েছে76.066.677.2
টার্মিনাল বেঞ্চ 2.151.743.460.7
সাইকোড43.643.439.8
মাল্টিমডালCharXiv যুক্তি78.877.778.4
স্ক্রিনস্পট প্রো75.475.976.1
OmniDocBench v1.575.872.577.8
MMMU প্রো747375
রিজনিং/এলসিআরআইএফবেঞ্চ77.076.070.8
AIME 202694.789.294.1
GPQA ডায়মন্ড (AA)83.585.784.2
HLE পাঠ্য (AA)22.023.623.1
এএ-এলসিআর80.068.373.3
রশ্মি 128K65.158.263.0

নিরাপত্তা বেঞ্চ (সিআই মেমোরিজ, সাইরেন এজেন্টডোজো) ট্রেড-অফ দেখায়: মিড-প্যাক এএসআর সহ এজেন্টডোজো ইনজেকশনের অধীনে গ্লিমার উচ্চ উপযোগীতার রিপোর্ট করে; নিরাপত্তাকে একটি স্থাপনা নিয়ন্ত্রণ সমস্যা হিসাবে বিবেচনা করুন (প্রম্পট ফায়ারওয়াল, টুল অ্যালাউলিস্ট, HITL) — একটি সমাধানকৃত মডেল সম্পত্তি নয়। বিচারক মডেল, প্রচেষ্টা গণনা এবং জোতা সতর্কতার জন্য Meta এর পদ্ধতি PDF দেখুন।

5. মূল্যায়ন পদ্ধতি (সংখ্যার অর্থ কী)

আপনি একটি বোর্ড ডেকের কোনো সেল উদ্ধৃত করার আগে মেটার পদ্ধতির নোট অপরিহার্য:

  • সহকর্মী নির্বাচন: সাইজ-ক্লাস ওপেন মডেল (Gemma4-31B, Qwen3.6-27B); সহকর্মীরা স্ব-প্রতিবেদিত বা অভ্যন্তরীণভাবে পুনরুত্পাদিত স্কোর ব্যবহার করতে পারে; তিনটির জন্য উপলব্ধ হলে কৃত্রিম বিশ্লেষণ ব্যবহৃত হয়।
  • স্যাম্পলিং: গ্লিমার তাপমাত্রা=1.0 / top_p=0.95 / top_k=64 সহ উচ্চ যুক্তির শক্তিতে রিপোর্ট করেছে; সহকর্মীরা বিক্রেতা-প্রস্তাবিত চিন্তা কনফিগার ব্যবহার করে (ক্যুয়েন কিছু এজেন্ট বেঞ্চে শীতল তাপমাত্রা ব্যবহার করে)।
  • জোতা পক্ষপাত সতর্কতা: মেটা নোট থার্ড-পার্টি মডেলগুলি মেটার টুল/সিস্টেম প্রম্পটে টিউন করা যাবে না — পরম র‌্যাঙ্কগুলি পিয়ার-নেটিভ স্ক্যাফোল্ডের অধীনে স্থানান্তরিত হতে পারে।
  • MCP-Atlas: 20+ MCP সার্ভার জুড়ে মাল্টি-টার্ন টুল ব্যবহার; LLM-বিচারক পাসের হার (থ্রেশহোল্ড 0.75) 500টি পাবলিক টাস্কে, গড় 4 রানের বেশি।
  • গভীর অনুসন্ধান QA: 900টি কঠিন গবেষণা প্রশ্নে স্বায়ত্তশাসিত ব্রাউজিং লুপ (অনুসন্ধান/খোলা/খুঁজে); বিচারক নিষ্কাশন মাধ্যমে F1.
  • WildClawBench / Gaia2: ইভেন্ট ইনজেকশন এবং মিক্সড ডিটারমিনিস্টিক/LLM গ্রেডিং সহ OpenClaw-স্টাইলের জোতাগুলির অধীনে দীর্ঘ-দিগন্তের ডকারাইজড এজেন্ট কাজগুলি।
  • SWE-Bench: bash + ফাইল টুলস ভারা; একাধিক রান জুড়ে প্রো এবং যাচাইকৃত গড় - প্রো তুলনা কুয়েনের পরিমার্জিত-টাস্ক ভেরিয়েন্ট এড়িয়ে যায়।
  • OSWorld-যাচাইকৃত: GUI-শুধুমাত্র স্ক্রিনশট থেকে উবুন্টু ভিএম নিয়ন্ত্রণ (কোন সরাসরি শেল নেই); মডেলের মধ্যে অ্যাকশন-স্পেস পার্থক্য গুরুত্বপূর্ণ।
  • Beam128K: 128K-এ নন-এজেন্টিক দীর্ঘ-প্রসঙ্গ মেমরি প্রোব — যদি আপনি RAG ছাড়াই বড় ট্রান্সক্রিপ্ট ইন-কনটেক্সট রাখেন তাহলে প্রাসঙ্গিক।

TenthMatrix নীতি: মেটা-এর ম্যাট্রিক্স প্রকাশ করুন ওরিয়েন্টেশনের জন্য, তারপর একটি অভ্যন্তরীণ গোল্ডেন সেটে গেট প্রোডাকশন করুন (আপনার MCP টুলস, আপনার রেপো, আপনার লেটেন্সি SLO)।

6. হার্ডওয়্যার এবং পরিবেশন বাস্তবতা

  • একক GPU ক্লাস: ~18GB ওজনের পদচিহ্ন একটি আধুনিক 24GB+ ভোক্তা/প্রো GPU কেভি ক্যাশে এবং ভিশন অ্যাক্টিভেশন বিবেচনা করা হলে ব্যবহারিক NVIDIA ফ্লোর বোঝায়; আপনার সর্বাধিক প্রসঙ্গ এবং সমকালীন সেশন সহ প্রোফাইল।
  • Apple Silicon: পছন্দ :30b-mlx (~21GB) DFlash অনুমানমূলক ডিকোডিং এবং নেটিভ ইমেজ ইনপুট সহ Ollama-এর MLX পাথের জন্য — Mac Studio / ম্যাক মিনি ম্যাক্স কনফিগারগুলি হল প্রথম শ্রেণীর SME নোড।
  • কিমি-কে 3-শ্রেণী নয়: এটি একটি মাল্টি-নোড MoE নয়। আপনার যদি ট্রিলিয়ন-প্যারামিটার খোলা এজেন্টের প্রয়োজন হয়, আমাদের দেখুন খোলা ওজনের গাইড; গ্লিমার এর মালিক ডেস্ক-সাইড সর্বদা চালু কুলুঙ্গি
  • কুবারনেটস: প্যাকেজ Ollama বা নোড প্রতি একটি OpenAI- সামঞ্জস্যপূর্ণ সাইডকার; আপনার ব্যক্তিগত রেজিস্ট্রি/ক্যাশে মডেল টান রাখুন; Ollama ইন্টারনেটে আনবাউন্ড প্রকাশ করবেন না।

7. সর্বদা-অন এজেন্টদের জন্য নিরাপত্তা এবং শাসন

স্থানীয় ওজন ডেটা এগ্রেস কমায় কিন্তু আপোসকৃত এজেন্ট হোস্টের ব্লাস্ট ব্যাসার্ধ বাড়িয়ে দেয়। ন্যূনতম TenthMatrix বেসলাইন:

  1. MCP OAuth 2.1 + স্বল্পস্থায়ী গোপনীয়তা (ভল্ট লিজ) — দেখুন এজেন্ট নিরাপত্তা নিবন্ধ.
  2. প্রতি এজেন্ট পরিচয়ের জন্য টুল অনুমোদিত তালিকা এবং নেটওয়ার্ক প্রস্থান নীতি।
  3. অপরিবর্তনীয় ক্রিয়াগুলিতে HITL গেট (পেমেন্ট, প্রোড ডিপ্লয়, ভর ইমেল)।
  4. টুল-প্রত্যাবর্তন সামগ্রীতে প্রম্পট-ইনজেকশন পর্যবেক্ষণ (Siren AgentDojo-style থ্রেট মডেল)।
  5. অফলাইন/এয়ার-গ্যাপ মোড প্রথম-শ্রেণীর রানবুক হিসাবে পরীক্ষা করা হয়েছে, আশা নয়।

8. উৎপাদন চেকলিস্ট

  1. Ollama ট্যাগ পিন করুন (30b বনাম 30b-mlx) এবং GitOps-এ ডাইজেস্ট/হ্যাশ রেকর্ড করুন।
  2. একটি 20-50 টাস্ক গোল্ডেন স্যুট তৈরি করুন যা আপনার MCP টুল এবং কোডিং ওয়ার্কফ্লোকে মিরর করে; প্রতিটি প্রচেষ্টা স্তরে পাস@1 এবং p95 লেটেন্সি ট্র্যাক করুন।
  3. তারের ভারা (ollama launch … বা কাস্টম) টুল কল এবং পুনরায় চেষ্টার কাঠামোবদ্ধ লগিং সহ।
  4. হাইব্রিড রাউটার সংজ্ঞায়িত করুন: ব্যক্তিগত RAG/এজেন্টদের জন্য গ্লিমার স্থানীয়; ওভারফ্লো/পিক আইকিউ-এর জন্য ক্লাউড ফেইলওভার।
  5. ডকুমেন্ট VRAM/ইউনিফাইড-মেমরি হেডরুম 32K / 64K / 128K এ ভিশন চালু আছে।
  6. আইনি: আপনার বিতরণ মডেলের জন্য Apache 2.0 পর্যালোচনা (সাধারণত সোজা বনাম সীমাবদ্ধ ওপেন-ওয়েট লাইসেন্স)।
  7. অযৌক্তিক রাতারাতি এজেন্ট সক্রিয় করার আগে শিপ রিভিউ বট + ইভাল গেট।
TenthMatrix রায়। Muse Glimmer হল সবচেয়ে পরিষ্কার "এক বক্সে সর্বদা স্থানীয় এজেন্ট" এর আকারের ক্লাসে খোলা রিলিজ: Apache 2.0, Ollama-নেটিভ, ভিশন + টুলস + ব্যর্থতা পুনরুদ্ধার এবং প্রতিযোগিতামূলক মেটা-রিপোর্টেড এজেন্ট বেঞ্চ। একটি হাইব্রিড আর্কিটেকচারের ব্যক্তিগত গলি হিসাবে এটি ব্যবহার করুন; আপনার সুবর্ণ কাজ এটি প্রমাণ; উত্পাদন সফ্টওয়্যার মত এটি পরিচালনা.

দ্বারা প্রকাশিত TenthMatrix. মডেল কার্ড: ollama.com/library/muse-glimmer.