NVIDIA เปิดตัว Switchyard พร็อกซีภาษา Rust แปลง API LLM
NVIDIA เปิดตัว Switchyard โครงการพรีอัลฟาภาษา Rust ทำหน้าที่พร็อกซีและไลบรารีสลับเส้นทางและแปลงฟอร์แมต API ระหว่าง OpenAI และ Anthropic
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- NVIDIA เปิดตัว Switchyard พร็อกซีและไลบรารีภาษา Rust สำหรับจัดการทราฟฟิก LLM
- แปลงฟอร์แมตคำขอและการตอบกลับไปมาระหว่าง OpenAI และ Anthropic ได้อัตโนมัติ
- รองรับการติดตั้งผ่าน crates.io, PyPI และใช้งานภายใต้ไลเซนส์ Apache 2.0
- เวอร์ชันปัจจุบันยังอยู่ในสถานะ pre-alpha และทดลองใช้งานเท่านั้น ยังไม่เหมาะกับระบบโปรดักชัน
NVIDIA ได้เปิดตัว Switchyard โซลูชันใหม่ที่เป็นทั้งพร็อกซีและไลบรารีพัฒนาด้วยภาษา Rust ออกแบบมาเพื่อจัดการทราฟฟิกของโมเดลภาษาขนาดใหญ่ (LLM) โดยเฉพาะ เครื่องมือนี้มีความสามารถในการกระจายคำขอไปยังผู้ให้บริการหลายราย แปลงฟอร์แมตระหว่างมาตรฐานของ OpenAI และ Anthropic บันทึกตัวชี้วัดการดำเนินงาน พร้อมทั้งเตรียมอัลกอริทึมการเลือกเส้นทางที่กำหนดประเภทข้อมูลได้ชัดเจน โครงการนี้เผยแพร่ภายใต้ไลเซนส์ Apache 2.0 พร้อมเอกสารประกอบทางการ
ในด้านความพร้อมใช้งาน แม้ระบบจะสามารถติดตั้งและโฮสต์ได้ด้วยตนเองผ่านไบนารีจาก crates.io หรือตัวรันจาก PyPI แต่ทาง NVIDIA ได้ระบุสถานะไว้อย่างชัดเจนว่าเป็นรุ่น pre-alpha และทดลองใช้งาน (experimental) ซึ่งยังไม่แนะนำให้นำไปใช้ในระบบงานจริง (production) เนื่องจากโครงสร้าง API และอัลกอริทึมอาจมีการเปลี่ยนแปลงครั้งใหญ่อ่อนก่อนจะพัฒนาถึงเวอร์ชัน v1.0
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
หลักการทำงานของระบบคือการอนุญาตให้ไคลเอนต์ยังคงใช้ API ดั้งเดิมของตนเอง โดย Switchyard จะทำหน้าที่ถอดรหัสคำขอขาเข้าให้กลายเป็นประเภทข้อมูลกลางที่เป็นกลางต่อผู้ให้บริการในภาษา Rust จากนั้นรันอัลกอริทึมเพื่อเลือกแบ็กเอนด์ที่เหมาะสม เข้ารหัสคำขอใหม่ให้ตรงกับฟอร์แมตของแบ็กเอนด์นั้นๆ ส่งคำสั่งเรียกใช้งาน และแปลงผลลัพธ์ที่ได้รวมถึงเหตุการณ์สตรีมมิ่งกลับมาให้อยู่ในรูปแบบที่ไคลเอนต์คาดหวัง
การเปิดตัว Switchyard สะท้อนให้เห็นถึงความพยายามของ NVIDIA ในการแก้ปัญหาความกระจัดกระจายของมาตรฐาน API ในวงการ Generative AI การที่นักพัฒนาสามารถสลับใช้งานระหว่างโมเดลของ OpenAI และ Anthropic ได้โดยไม่ต้องแก้ไขโค้ดฝั่งไคลเอนต์ ช่วยลดต้นทุนในการพัฒนาและบูรณาการระบบเอเจนต์อัจฉริยะอย่างมีนัยสำคัญ แม้ว่าในตอนนี้เครื่องมือจะยังอยู่ในระยะเริ่มต้นและจำกัดการใช้งานเฉพาะสำหรับการประเมินผลก็ตาม
เซิร์ฟเวอร์ของ Switchyard รองรับฟอร์แมตขาเข้าสามรูปแบบ ได้แก่ OpenAI Chat Completions, OpenAI Responses และ Anthropic Messages ซึ่งรูปแบบใดก็ได้สามารถส่งไปยังเส้นทางใดก็ได้ ขณะที่ไคลเอนต์ LLM ที่กำหนดค่าไว้แต่ละตัวจะเลือกรูปแบบต้นทางของตนเอง การแยกส่วนลักษณะนี้ทำให้ API ของเอเจนต์และ API ของแบ็กเอนด์ไม่ต้องจำเป็นต้องตรงกันอีกต่อไป
สำหรับการติดตั้งใช้งานแบ่งออกเป็นสามแนวทางหลัก ได้แก่ เส้นทางตัวรัน (launcher) สำหรับโค้ดดิ้งเอเจนต์ผ่านคำสั่ง uv tool install, เส้นทางเซิร์ฟเวอร์เดี่ยว (server) ผ่าน cargo install พร้อมรองรับการตรวจสอบค่ากำหนดด้วย --dry-run และเส้นทางไลบรารี (library) ผ่านสตรีมสแต็กของ Rust นอกจากนี้ ระบบยังรองรับการเก็บสถิติผ่าน Prometheus และบันทึกไฟล์บันทึกการกำหนดเส้นทางในรูปแบบ JSON
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น