การพัฒนา Generative AI
แอปพลิเคชัน Generative AI ที่ฝังอยู่ในวิธีทำงานของทีมคุณ
เราสร้างผู้ช่วยด้านองค์ความรู้ เครื่องมือช่วยร่าง และโคไพลอต ที่ตอบจากเอกสารของคุณเอง และรันในที่ที่กฎด้านข้อมูลของคุณกำหนด
อยากเข้าใจ Generative AI แบบภาษาง่ายๆ ก่อนหรือไม่ ภาพรวม Generative AI ของเราอธิบายว่าเหมาะกับงานแบบไหน ส่วนหน้านี้อธิบายว่าเราสร้างอะไรให้คุณและอย่างไร
สิ่งที่เราสร้าง
ผู้ช่วยด้านองค์ความรู้แบบ RAG
คำตอบจากนโยบาย คู่มือ ทิกเก็ต และวิกิของคุณ พร้อมลิงก์ไปยังแหล่งที่มาของทุกข้อความ สิทธิ์การเข้าถึงเป็นไปตามสิทธิ์ที่คุณมีอยู่แล้ว
การสร้างคอนเทนต์และเอกสาร
ข้อเสนอ รายงาน สัญญา และข้อความสินค้า ร่างจากเทมเพลตและข้อมูลของคุณ แล้วส่งให้คนตรวจทานก่อนจะส่งออกไป
โคไพลอตในแอปที่มีอยู่
แผงผู้ช่วยใน CRM ระบบ helpdesk หรือเครื่องมือภายในของคุณ ที่ช่วยร่าง สรุป และค้นหาข้อมูล เพื่อให้ผู้ใช้ไม่ต้องสลับแอป
การทำความเข้าใจเอกสาร
การจัดประเภท การดึงข้อมูล และการสรุปเอกสารขาเข้า พร้อมคะแนนความเชื่อมั่นและคิวตรวจทานสำหรับสิ่งที่ไม่แน่ใจ
Fine-tuning และการโฮสต์โมเดล open-weight
เมื่อโมเดลผ่าน API มีค่าใช้จ่ายสูงเกินไป หรือข้อมูลออกนอกระบบของคุณไม่ได้ เราจะ fine-tune และโฮสต์โมเดล open-weight ด้วย vLLM หรือ Ollama บนโครงสร้างพื้นฐานของคุณ
การประเมินผลและการควบคุมต้นทุน
ชุดทดสอบสำหรับคุณภาพของคำตอบ trace ของ OpenTelemetry สำหรับความหน่วงและต้นทุน รวมถึงการกำหนดเส้นทางและแคชเพื่อให้ค่าใช้จ่ายคาดการณ์ได้
ผู้ช่วยด้านองค์ความรู้ประกอบขึ้นอย่างไร
คุณภาพของคำตอบส่วนใหญ่มาจากการค้นคืนข้อมูล โมเดลมีผลน้อยกว่าที่คนส่วนใหญ่คิด
นำเข้า
เชื่อมต่อแหล่งข้อมูล แบ่งเอกสารอย่างเหมาะสม และเก็บเมทาดาทา เช่น เจ้าของ วันที่ และสิทธิ์การเข้าถึง
ค้นคืน
การค้นหาแบบไฮบริดบนดัชนีเวกเตอร์ เช่น NebulaDB โดยกรองตามสิ่งที่ผู้ใช้ได้รับอนุญาตให้เห็น
ตอบ
โมเดลตอบจากสิ่งที่ค้นคืนมาเท่านั้นและอ้างอิงแหล่งที่มา หากไม่พบข้อมูลที่เกี่ยวข้อง โมเดลจะบอกตรงๆ
วัดผล
ชุดทดสอบจากคำถามจริงพร้อมคำตอบที่ตกลงกันไว้ ให้คะแนนทุกครั้งที่มีการเปลี่ยนแปลง รวมถึงฟีดแบ็กจากผู้ใช้งานจริง
ข้อมูล คุณภาพ และต้นทุน
รันที่ไหน
API ของโมเดล, Amazon Bedrock หรือ Azure AI Foundry หรือโมเดล open-weight บนเซิร์ฟเวอร์ของคุณเอง คุณเป็นผู้ตัดสินใจในแต่ละกรณีใช้งาน
คีย์และซีเคร็ต
คีย์ API อยู่ในที่เก็บซีเคร็ตของคุณ และส่งถึงแอปพลิเคชันผ่าน WSL Vault ไม่ใช่ผ่านไฟล์ config
คุณภาพที่ตรวจสอบได้
คำตอบอ้างอิงแหล่งที่มา และผลชุดทดสอบอยู่ใน repository ของคุณ ให้ใครก็รันซ้ำได้
ต้นทุนที่คาดการณ์ได้
ติดตามต้นทุนต่อคำขอ ใช้แคช และส่งคำของ่ายๆ ไปยังโมเดลที่เล็กกว่า บทความของเราเรื่อง LLM observability และการควบคุมต้นทุนอธิบายวิธีการไว้
อ่านบทความ: ต้นทุนที่คาดการณ์ได้
คำถามเกี่ยวกับโปรเจกต์ Generative AI
เราใช้ ChatGPT หรือ Copilot อยู่แล้ว ทำไมต้องสร้างเอง
ผู้ช่วยทั่วไปไม่รู้จักเอกสาร สิทธิ์ หรือกระบวนการของคุณ แอปพลิเคชันที่สร้างขึ้นเฉพาะจะตอบจากแหล่งข้อมูลของคุณ เคารพสิทธิ์การเข้าถึง บันทึกสิ่งที่ทำ และอยู่ในเครื่องมือที่ทีมของคุณใช้อยู่แล้ว
เอกสารของเราไปอยู่ที่ไหน
ไปเท่าที่กฎด้านข้อมูลของคุณอนุญาต เราเลือกผู้ให้บริการและการตั้งค่าที่สอดคล้องกับกฎนั้น หรือโฮสต์โมเดล open-weight เพื่อให้เอกสารไม่ออกนอกระบบของคุณเลย
คุณเพิ่ม Generative AI เข้าไปในผลิตภัณฑ์ที่เรามีอยู่ได้ไหม
ได้ เราสร้างฟีเจอร์ภายใน codebase ของคุณ อยู่หลังระบบยืนยันตัวตนของคุณ พร้อมเทสต์และเอกสาร เพื่อให้วิศวกรของคุณดูแลต่อได้
คุณรู้ได้อย่างไรว่าคำตอบถูกต้อง
เราตกลงชุดทดสอบจากคำถามจริงและคำตอบที่ถูกต้องร่วมกับคุณก่อนเริ่มสร้าง และให้คะแนนทุกการเปลี่ยนแปลงเทียบกับชุดนั้น คำตอบที่อ้างอิงแหล่งที่มาไม่ได้จะถูกปฏิเสธ
เลือกหนึ่งกรณีใช้งาน แล้วเราจะกำหนดขอบเขตให้
งานร่าง การตอบคำถามจากองค์ความรู้ หรือโคไพลอตในแอปที่มีอยู่ บอกเราว่าเป็นแบบไหน และเกี่ยวข้องกับเอกสารอะไรบ้าง