เข้าสู่ระบบนัดหมายรับฟังข้อมูลสรุป (or นัดหมายพูดคุยกับทีมงาน)

บทที่ 2.14

ผู้ให้บริการและโมเดล AI

วิธีที่ตัวจัดเส้นทางผู้ให้บริการปัญญาประดิษฐ์ (AI) เลือกโมเดลจากพูลคีย์ขององค์กรเอง และวิธีที่สคริปต์และเครื่องมือ AI เข้าถึง Nexus จากภายนอก

หน้านี้แปลโดย AI จากต้นฉบับภาษาอังกฤษ หากมีส่วนใดไม่ชัดเจน โปรดอ้างอิงจากหน้าภาษาอังกฤษ อ่านหน้านี้เป็นภาษาอังกฤษ

ใช้เวลาอ่าน 16 นาที

Harrow Port Authority ใช้งานการติดตั้งสองระบบ ระบบที่อยู่บนเครือข่ายปฏิบัติการแบบตัดขาดจากภายนอก (บทที่ 2.10, การติดตั้งแบบตัดขาดจากภายนอก) ไม่มีผู้ให้บริการแบบโฮสต์เลย สำหรับการติดตั้งขององค์กรที่เชื่อมต่อเครือข่าย ซึ่งบทนี้จะกล่าวถึง คำถามส่วนใหญ่จะได้รับคำตอบจากโมเดลที่ทำงานบนโหนดหน่วยประมวลผลกราฟิก (GPU) สองโหนดในห้องเซิร์ฟเวอร์ของท่าเรือเอง คีย์ Google Gemini ที่ Harrow จ่ายค่าบริการจะรับหน้าที่จัดการส่วนที่ล้นมาเมื่อโมเดลภายในมีงานยุ่ง และ Aoife Brennan ได้ล็อกทราฟฟิกปัญญาประดิษฐ์ (AI) ขององค์กรไว้ที่สหภาพยุโรป (EU) ไม่มีใครที่ Harrow กำหนดค่าโมเดลภายในเซอร์วิสหรือปลั๊กอิน พวกเขาเพียงแจ้งคอมโพเนนต์เดียวว่า Harrow มีอะไรบ้าง และคอมโพเนนต์นั้นจะตัดสินใจในการเรียกใช้งานทุกครั้ง

บทนี้ครอบคลุมถึงคอมโพเนนต์ดังกล่าว ซึ่งได้แก่ AI Provider Router ที่ในส่วนที่ 1 และคอนโซลเรียกว่า แผงสลับสาย AI ตลอดจนพูลของคีย์ที่คอมโพเนนต์นี้ดึงมาใช้ และปิดท้ายด้วยวิธีที่สคริปต์และเครื่องมือ AI ใช้เข้าถึง Nexus จากภายนอก ได้แก่ คีย์สำหรับสคริปต์, ส่วนต่อประสานโปรแกรมประยุกต์ (API) แบบ REST (representational state transfer) และ Model Context Protocol (MCP)

AI Provider Router

เราเตอร์ทำงานอยู่ภายในเกตเวย์ซึ่งก็คือ nexus-gateway โดยเป็นเซอร์วิสเดียวที่ถือครองข้อมูลรับรองโมเดลขององค์กร และเป็นผู้ตัดสินใจขั้นสุดท้ายว่าผู้ให้บริการรายใดและโมเดลใดจะตอบคำขอแต่ละรายการ ส่วนอื่นๆ ทั้งหมดของ Nexus จะต้องร้องขอมาที่เราเตอร์นี้ ขั้นตอนเวิร์กโฟลว์จะระบุสิ่งที่ต้องการ และเราเตอร์จะเป็นผู้ตัดสินใจ

มีเพียงไม่กี่เซอร์วิสเท่านั้นที่สามารถร้องขอได้ และแต่ละรายชื่อถูกกำหนดไว้ตายตัวโดยชาร์ตดังนี้:

สิ่งที่ร้องขอ ผู้ที่สามารถร้องขอได้
การเติมข้อความ (/internal/ai/chat และสตรีมของการเติมข้อความ) nexus-orchestrator, nexus-workflows, nexus-skills-engine
การเรียกใช้เครื่องมือและเส้นทาง AI ภายในอื่นๆ nexus-orchestrator, nexus-workflows
การทำเอ็มเบดดิงและการจัดลำดับใหม่ nexus-graphrag, nexus-skills-engine, nexus-workflows

แต่ละเส้นทางภายในจะตรวจสอบสองสิ่งตามลำดับ ได้แก่ คีย์เซอร์วิสภายในของผู้เรียก และตัวตนของผู้เรียกเทียบกับรายชื่อด้านบน คำขอที่ไม่มีคีย์จะถูกปฏิเสธด้วยรหัส MISSING_SERVICE_KEY (401), คีย์ที่ไม่ถูกต้องด้วยรหัส INVALID_SERVICE_KEY (403), คำขอที่ไม่ระบุว่าใครเป็นผู้เรียกด้วยรหัส MISSING_CALLER_IDENTITY (403) และผู้เรียกที่อยู่นอกรายชื่อด้วยรหัส UNAUTHORIZED_CALLER (403) โดยไม่มีกรณีใดเลยที่จะมีการลองใหม่ เนื่องจากไม่ใช่ข้อผิดพลาดชั่วคราว

แอปและปลั๊กอินจะไม่ปรากฏในรายชื่อดังกล่าว ปลั๊กอินจะประกาศสิ่งที่ต้องการไว้ในสกิลที่ลงทะเบียน และส่งงานผ่าน UNO ซึ่งเป็นเอนจินเวิร์กโฟลว์ จากนั้นออร์เคสเตรเตอร์จะร้องขอต่อเราเตอร์ในนามของปลั๊กอิน นี่คือเหตุผลว่าทำไมหากข้อมูลลับของปลั๊กอินรั่วไหลไปหนึ่งรายการ จึงสามารถสวมรอยเป็นปลั๊กอินนั้นได้ แต่ไม่สามารถใช้งบประมาณโมเดลของใครได้เลย

ด้านซ้าย: กล่องสามกล่องเรียงซ้อนกัน ได้แก่ "ผู้ช่วย", "ขั้นตอนเวิร์กโฟลว์", "สกิล" แต่ละกล่องมีลูกศรชี้เข้าไปยังกล่อง "การส่งงาน UNO (nexus-orchestrator)" ลูกศรที่มีป้ายกำกับว่า "สิ่งที่ต้องการ: ผู้ให้บริการที่ต้องการ, โมเดลที่ต้องการ, โปรไฟล์ความสามารถ" ชี้ไปทางขวาเข้าสู่กล่องขนาดใหญ่ "AI Provider Router (nexus-gateway)" ภายในกล่องเราเตอร์มีกล่องขนาดเล็กสามกล่องเรียงกันเป็นแถว ได้แก่ "บทบาท", "พูลขององค์กร", "นโยบายการจัดเส้นทาง" จากเราเตอร์มีลูกศรสามเส้นชี้ไปทางขวาไปยัง "โมเดลภายใน (ai.localProvider.baseUrl)", "คีย์ผู้ให้บริการแบบโฮสต์ A", "คีย์ผู้ให้บริการแบบโฮสต์ B" ใต้เราเตอร์มีกล่องแยกต่างหาก "nexus-auth: พูลคีย์ขององค์กร (เข้ารหัส)" พร้อมลูกศรเส้นประชี้ขึ้นไปยังเราเตอร์ที่มีป้ายกำกับว่า "คีย์, ดึงข้อมูลตามการเรียกใช้แต่ละครั้ง"
คำขอไปถึงโมเดลได้อย่างไร

พูลคีย์ขององค์กร

คีย์ของโมเดลเป็นขององค์กร แต่ละองค์กรจะนำบัญชีผู้ให้บริการของตนเองมาใช้และชำระค่าบริการเอง โดยคีย์จะอยู่ในพูลขององค์กรซึ่งเข้ารหัสไว้ใน nexus-auth ไม่มีคีย์แพลตฟอร์มที่ใช้ร่วมกันอยู่เบื้องหลังองค์กร ดังนั้นจึงไม่มีองค์กรใดใช้งบประมาณขององค์กรอื่นได้ ผลของกฎเกณฑ์นี้ชัดเจนมาก นั่นคือองค์กรที่ไม่มีคีย์ในพูลจะไม่ได้รับคำตอบจาก AI ผู้ช่วยจะแสดงข้อความ MODEL_NOT_CONNECTED (503) และระบุว่าใครสามารถเชื่อมต่อคีย์ได้

สามารถเพิ่มคีย์ลงในพูลสำหรับผู้ให้บริการสี่รายได้ดังนี้:

รหัสผู้ให้บริการ แสดงเป็น
anthropic_api_key Anthropic
gemini Google Gemini
openrouter OpenRouter
scaleway Scaleway

เซิร์ฟเวอร์โมเดลของคุณเอง

องค์กรยังสามารถใช้เซิร์ฟเวอร์ใดก็ได้ที่รันเองซึ่งรองรับ API ที่เข้ากันได้กับ OpenAI เช่น โมเดลบนโหนด GPU ของ Harrow โดยตัวติดตั้งจะระบุชื่อเซิร์ฟเวอร์ในไฟล์ values ดังนี้:

# harrow-values.yaml (Helm values): the AI part
ai:
  localProvider:
    baseUrl: "https://models.harrow.example/v1"
  installationHosts:
    - models.harrow.example
    - 10.40.20.0/24
networkPolicy:
  externalEgressCIDRs:
    - 10.40.20.0/24

ai.localProvider.baseUrl ชี้อะแดปเตอร์ที่เข้ากันได้กับ OpenAI ของเกตเวย์ไปยังเซิร์ฟเวอร์ของคุณ ในการติดตั้ง ช่อง scaleway ของพูลจะเชื่อมต่อไปยังเซิร์ฟเวอร์นั้น ดังนั้นคีย์ที่คุณเพิ่มสำหรับ scaleway จึงเป็นคีย์ที่เซิร์ฟเวอร์ของคุณเองคาดหวัง

ai.installationHosts แสดงรายชื่อโฮสต์ที่อยู่ภายในระบบที่ติดตั้ง นอกเหนือจากโดเมนเซอร์วิสของรีลีสเองและโฮสต์สาธารณะทั้งสามรายการ แต่ละรายการเป็นชื่อโฮสต์, .suffix, ที่อยู่ IP หรือช่วง IPv4 Classless Inter-Domain Routing (CIDR) เราเตอร์ใช้รายชื่อนี้เพื่อแยกแยะการเรียกใช้ที่อยู่ภายในไซต์ออกจากการเรียกใช้ที่ออกไปภายนอก ซึ่งเป็นสิ่งที่การตรวจสอบ "ไม่มีข้อมูลออกจากไซต์นี้" ในหน้า เชื่อมต่อโมเดลบนฮาร์ดแวร์ของคุณเอง ใช้รายงาน

นโยบายเครือข่ายมีความสำคัญไม่แพ้เราเตอร์ เนมสเปซจะปฏิเสธทราฟฟิกขาออกทั้งหมดโดยค่าเริ่มต้น ดังนั้นเกตเวย์จะสามารถเข้าถึงเซิร์ฟเวอร์โมเดลภายนอกเนมสเปซได้ก็ต่อเมื่อช่วงที่อยู่ของเซิร์ฟเวอร์นั้นอยู่ใน networkPolicy.externalEgressCIDRs เท่านั้น เช่นเดียวกับผู้ให้บริการแบบโฮสต์ หาก Harrow ต้องการให้คีย์ Gemini ตอบคำถาม ช่วงที่อยู่ของผู้ให้บริการจะต้องถูกระบุไว้ที่นั่นด้วย มิฉะนั้นการเรียกใช้จะไม่ออกไปจากคลัสเตอร์เลย บทที่ 2.16, ความปลอดภัยและระบบเครือข่าย มีเนื้อหาครอบคลุมนโยบายนี้ทั้งหมด

เชื่อมต่อโมเดลบนฮาร์ดแวร์ของคุณเอง
เชื่อมต่อโมเดลบนฮาร์ดแวร์ของคุณเอง
การเชื่อมต่อโมเดลบนฮาร์ดแวร์ของคุณเอง หน้านี้จะแสดงรายชื่อโมเดลที่เซิร์ฟเวอร์รายงาน บทบาทที่แต่ละโมเดลทำหน้าที่ และยืนยันว่าไม่มีข้อมูลใดออกจากไซต์

การเพิ่มและการถอนคีย์

เจ้าของและผู้ดูแลระบบขององค์กรเป็นผู้ดูแลพูลขององค์กร บุคคลอื่นจะไม่สามารถดูคีย์และไม่สามารถเปลี่ยนแปลงคีย์ได้ และคำขอจากบุคคลเหล่านั้นจะถูกปฏิเสธด้วยรหัส AUTHORITY_EXCEEDED

ในคอนโซล

ในรุ่น Enterprise พูลจะถูกเก็บไว้ในแผงสลับสาย AI ภายใต้เอนจิน ส่วนในรุ่น Community คีย์เดียวกันนี้จะถูกเก็บไว้ที่ การตั้งค่า, โมเดล AI หน้านั้นคือเราเตอร์พื้นฐาน ซึ่งคุณสามารถเพิ่มคีย์และที่อยู่โมเดลภายใน ตลอดจนเลือกได้ว่าโมเดลใดทำหน้าที่ใด ทั้งสองรุ่นจะแสดงคีย์แต่ละรายการโดยระบุว่าใครเป็นผู้ตั้งค่าและเมื่อใด ("ตั้งค่าโดย Aoife, 3 ก.ย.") พร้อมคำใบ้ที่ปิดบังข้อมูลไว้โดยแสดงอักขระสี่ตัวสุดท้ายเป็นอย่างมาก เช่น ••••7f2q ตัวคีย์จริงจะไม่ถูกแสดงอีกเลยหลังจากที่คุณเพิ่มเข้าไปแล้ว

สวิตช์บอร์ด AI
สวิตช์บอร์ด AI
แผงสลับสาย AI จะแสดงรายชื่อผู้ให้บริการแต่ละรายพร้อมระบุว่าใครเป็นผู้ตั้งค่าคีย์และทำหน้าที่ในงานใดบ้าง คีย์หนึ่งกำลังพักการทำงานหลังจากเกิดข้อผิดพลาด อีกคีย์หนึ่งถูกปิดการทำงาน และหน้านี้จะระบุว่าข้อมูลสามารถส่งไปที่ใดได้บ้าง
โมเดล AI
โมเดล AI
เราเตอร์พื้นฐานในรุ่น Community แสดงคีย์ขององค์กร โมเดลภายในบนเครื่องขององค์กรเอง และระบุว่าโมเดลใดทำหน้าที่ในงานใด

ผ่าน BFF API

ระบบ backend for frontend (BFF) ของคอนโซลให้บริการสามเส้นทางสำหรับพูล เรียกใช้เส้นทางเหล่านี้ด้วยโทเค็นการเข้าถึงส่วนบุคคล โดยข้อมูลองค์กรจะมาจากโทเค็น ไม่ใช่มาจากคำขอ

GET  /api/v1/ai-providers
POST /api/v1/ai-providers/keys
POST /api/v1/ai-providers/keys/<key-id>/withdraw

GET จะตอบกลับรายชื่อผู้ให้บริการในพูล สถานะว่าแต่ละรายสามารถตอบคำถามได้หรือไม่ คีย์ทุกรายการโดยแสดงเฉพาะคำใบ้ และผู้ให้บริการที่สามารถเพิ่มคีย์ให้ได้ การเพิ่มคีย์ต้องใช้เนื้อหาข้อมูลแบบ JSON ที่มีสองฟิลด์ที่จำเป็นและหนึ่งฟิลด์เพิ่มเติมดังนี้:

{ "provider": "gemini", "api_key": "<the provider's key>", "label": "Overflow, EU" }

คีย์จะถูกส่งเพียงครั้งเดียว nexus-auth จะเข้ารหัสคีย์และแจ้งไปยังเราเตอร์ และคำตอบที่ส่งกลับมาจะมีเพียงคำใบ้เท่านั้น คำตอบคือ 201 พร้อมรหัสของคีย์ใหม่และแถวข้อมูล: "เพิ่มแล้ว คีย์ Google Gemini ••••7f2q อยู่ในพูล AI ขององค์กรแล้ว และ AI Provider Router สามารถจัดเส้นทางไปยังคีย์นี้ได้ในขณะนี้" ป้ายกำกับมีความยาวได้สูงสุด 100 อักขระ และคีย์เป็นสตริงเดียวที่ไม่มีช่องว่างซึ่งมีความยาวได้สูงสุด 4,096 อักขระ ฟิลด์อื่นใดในเนื้อหาข้อมูล หรือฟิลด์ที่ระบุชื่อองค์กรหรือบุคคล จะถูกปฏิเสธ

การเพิกถอนใช้เนื้อหาข้อมูลที่ว่างเปล่า เราเตอร์จะหยุดจัดเส้นทางไปยังคีย์นั้นทันที และ nexus-auth จะเก็บคีย์ไว้โดยแสดงสถานะเป็นเพิกถอนแล้ว เพื่อให้ประวัติยังคงอยู่ ไม่มีสิ่งใดในพูลถูกลบออกเลย

การปฏิเสธ HTTP เมื่อใด
VALIDATION_FAILED 400 เนื้อหาข้อมูลที่ไม่ใช่ {provider, api_key, label?}, ผู้ให้บริการที่ไม่รู้จัก หรือการสมัครใช้งานส่วนบุคคลที่นำมาใช้เป็นคีย์ขององค์กร
AUTHORITY_EXCEEDED 403 ผู้เรียกไม่ใช่เจ้าของหรือผู้ดูแลระบบขององค์กร
RECORD_NOT_FOUND 404 ไม่มีคีย์ที่มีรหัสดังกล่าวในพูลขององค์กร
TRANSITION_NOT_PERMITTED 409 คีย์ถูกเพิกถอนไปแล้ว
TENANT_NOT_A_PARAMETER 403 เนื้อหาข้อมูลหรือคิวรีระบุชื่อองค์กร

สถานะของคีย์

คีย์แต่ละรายการในพูลจะอยู่ในหนึ่งในหกสถานะ มีเพียงคีย์ที่กำลังใช้งานอยู่เท่านั้นที่จะตอบแชท

สถานะ ความหมาย
in_use คีย์จะตอบคำถาม จนกว่าจะถึงวันหมดอายุหากมีการกำหนดไว้
resting เราเตอร์ให้คีย์พักการทำงานหลังจากเกิดข้อผิดพลาด จนกว่าจะถึงเวลาที่กำหนด ในระหว่างนี้คำขอจะถูกส่งไปยังคีย์ถัดไป
exhausted คีย์ใช้โควตาที่ผู้ให้บริการกำหนดไว้จนหมดแล้ว
invalid ผู้ให้บริการไม่ยอมรับคีย์นี้อีกต่อไป
expired คีย์หมดอายุเมื่อถึงวันหมดอายุ
withdrawn ผู้ดูแลระบบเพิกถอนคีย์แล้ว คีย์จะยังคงแสดงอยู่ในรายการเพื่อเป็นประวัติ

คีย์ที่ทำงานล้มเหลวจะพักการทำงานเป็นเวลา 60 วินาที หลังจากล้มเหลวติดต่อกัน 5 ครั้ง เราเตอร์จะปิดการทำงานของคีย์นั้น ย้ายสัดส่วนงานไปยังคีย์อื่น และบันทึกการแจ้งเตือน PROVIDER_KEY_SWITCHED_OFF จะไม่มีใครถูกปฏิเสธตราบใดที่ยังมีคีย์อื่นที่สามารถตอบคำถามได้

เมื่อผู้ให้บริการไม่มีคีย์ที่ใช้งานอยู่ พูลจะระบุเหตุผล ("ไม่มีคีย์ที่ใช้งานอยู่: เพิกถอนแล้ว 1, หมดอายุแล้ว 1") เมื่อไม่มีผู้ให้บริการรายใดในพูลที่มีคีย์ที่ใช้งานอยู่เลย แชทจะถูกปฏิเสธด้วยรหัส NO_PROVIDER_FOR_ROLE (422) พร้อมวิธีแก้ไขคือ ให้เจ้าของหรือผู้ดูแลระบบเพิ่มคีย์ขององค์กร นั่นคือสถานะของการกำหนดค่า และจะแสดงค้างไว้บนหน้าจอจนกว่าจะมีคนแก้ไข

บทบาท นโยบาย และความต้องการ (Wishes)

เราเตอร์ประมวลผลตามบทบาท ทุกคำขอจะเป็นไปเพื่อหนึ่งในห้าบทบาทต่อไปนี้: default, fast, reasoning, code หรือ long_context นอกจากนี้แต่ละโมเดลยังอยู่ในระดับชั้น ได้แก่ frontier, standard หรือ fast และระบบจะเลือกใช้ระดับชั้นที่สูงกว่าเมื่อบทบาทนั้นอนุญาต องค์กรเป็นผู้ตัดสินใจว่าผู้ให้บริการรายใดให้บริการในแต่ละบทบาท (การกำหนดบทบาท) และลำดับการสลับไปใช้ระบบสำรองเมื่อผู้ให้บริการทำงานล้มเหลว (ลำดับขั้นของนโยบายการจัดเส้นทาง) ผู้ดูแลระบบสามารถตั้งค่าทั้งสองอย่างนี้ได้ในแผงสลับสาย AI นอกจากนี้ nexus-auth ยังให้บริการการตั้งค่าเหล่านี้ที่ /auth/org/<organisation-id>/settings/ai-provider/role-assignments และ /auth/org/<organisation-id>/settings/ai-provider/routing-policy สำหรับคีย์ผู้ดูแลระบบที่ถือสิทธิ์ ai_provider:manage

ผู้เรียกสามารถระบุสิ่งที่ต้องการได้ แถวข้อมูลสกิลอาจระบุผู้ให้บริการที่ต้องการและโมเดลที่ต้องการ รวมถึงโปรไฟล์ความสามารถ โดยเราเตอร์จะปฏิบัติต่อแต่ละรายการแตกต่างกันดังนี้:

  • ผู้ให้บริการที่ต้องการ จะได้รับการตอบสนองก็ต่อเมื่อองค์กรได้เปิดใช้งานผู้ให้บริการรายนั้นและมีคีย์สำหรับผู้ให้บริการดังกล่าว มิฉะนั้นเราเตอร์จะใช้ผู้ให้บริการรายอื่นแทน
  • โมเดลที่ต้องการ จะได้รับการตอบสนองเมื่อโมเดลนั้นอยู่ในแคตตาล็อกของผู้ให้บริการรายดังกล่าวและตรงตามโปรไฟล์
  • โปรไฟล์ความสามารถ คือตัวกรองที่ไม่ได้ทำหน้าที่เลือกโดยตรง โดยสามารถกำหนดหน้าต่างบริบทขั้นต่ำ การใช้เครื่องมือ การมองเห็น การทำเอ็มเบดดิง บริบทขนาดยาว หรือถิ่นที่อยู่ของข้อมูลได้ โมเดลใดที่ไม่ผ่านเกณฑ์นี้จะไม่มีสิทธิ์ได้รับเลือก

เราเตอร์จะเลือกตามลำดับที่กำหนดไว้ตายตัว โดยจะตอบสนองสิ่งที่ต้องการเมื่อทำได้ จากนั้นจะลองใช้โมเดลอื่นของผู้ให้บริการรายเดียวกัน แล้วจึงไปที่การกำหนดบทบาทและผู้ให้บริการรายอื่นที่มีคีย์ซึ่งมีแคตตาล็อกตรงตามเกณฑ์ หากมีการระบุโปรไฟล์แต่ไม่มีแคตตาล็อกใดตรงตามเกณฑ์ คำขอจะถูกปฏิเสธด้วยรหัส MODEL_CAPABILITY_UNAVAILABLE (422) หากไม่มีการกำหนดค่าใดๆ และไม่มีสิ่งใดตรงกันเลย จะถูกปฏิเสธด้วยรหัส NO_PROVIDER_FOR_ROLE (422) ไม่มีโมเดลเริ่มต้นสำหรับเป็นทางเลือกสุดท้าย บทบาทที่คุณไม่ได้กำหนดค่าไว้จะแจ้งข้อผิดพลาดอย่างชัดเจน พร้อมข้อความจากเราเตอร์ที่ระบุว่าต้องตั้งค่าอะไร

ถิ่นที่อยู่ของข้อมูลเป็นข้อจำกัดเดียวที่ไม่สามารถใช้สิ่งอื่นทดแทนได้ โปรไฟล์ที่มี eu_only จะได้รับบริการจากผู้ให้บริการในสหภาพยุโรปหรือมิฉะนั้นก็จะถูกปฏิเสธ Harrow ตั้งค่าการล็อกนี้สำหรับทั้งองค์กร และแผงสลับสายจะแสดงสถานะของผู้ให้บริการแบบโฮสต์รายที่สองซึ่งตั้งอยู่ในภูมิภาคสหรัฐอเมริกาเป็นปิดใช้งาน

สกิลยังสามารถตรึงโมเดลที่เจาะจงเพียงหนึ่งเดียวได้เมื่อสกิลนั้นจำเป็นต้องใช้โมเดลดังกล่าวในการทำงาน ถึงกระนั้นเราเตอร์ก็จะใช้คีย์ขององค์กรเองสำหรับโมเดลนั้น และหากไม่มีคีย์ก็จะไม่มีการตอบกลับใดๆ ผู้เรียกไม่สามารถทำให้ Nexus ใช้ผู้ให้บริการที่องค์กรไม่ได้กำหนดค่าไว้ได้เลย

เมื่อเลือกผู้ให้บริการได้แล้ว การสลับไปใช้ระบบสำรองเมื่อเกิดข้อผิดพลาดจะเป็นอีกเรื่องหนึ่ง รหัส 429, 5xx หรือความล้มเหลวของเครือข่ายจะทำให้คำขอเลื่อนลงไปตามลำดับขั้นเพื่อไปยังผู้ให้บริการรายถัดไป ส่วนรหัส 400, 401, 403 หรือ 404 จะหยุดการทำงานทันที เนื่องจากข้อมูลรับรองและรูปแบบคำขอไม่สามารถนำไปใช้ข้ามผู้ให้บริการได้ และการลองใหม่จะสิ้นเปลืองโควตาโดยที่ยังคงเจอข้อผิดพลาดเดิม

หากต้องการดูว่าเราเตอร์จะเลือกอะไรก่อนที่จะมีใครถามคำถาม ให้เรียกดู GET /api/ai/routing-policy/effective บนเกตเวย์ด้วยโทเค็นส่วนบุคคล ระบบจะตอบกลับเป็นโมเดลสำหรับองค์กรที่ลงชื่อเข้าใช้ หรือข้อความปฏิเสธของเราเตอร์เมื่อไม่มีโมเดลใดเลย โดยจะไม่มีการส่งคำขอไปยังโมเดลจริง

การเฝ้าดูตัวจัดเส้นทาง

แถบตัวเลขที่ด้านล่างของทุกหน้าจะแสดงโมเดลที่กำลังใช้งานอยู่ ("โมเดล: ภายใน") ในรุ่น Enterprise หน้า แผงสลับสาย AI แบบสด จะวาดแผนภาพทราฟฟิกของเราเตอร์ในขณะที่เกิดขึ้นจริง ได้แก่ คำขอจากผู้ช่วย งาน และแอปที่ไหลผ่านบทบาทต่างๆ ไปยังผู้ให้บริการและคีย์ โดยคีย์ที่อยู่ในช่วงพัก 60 วินาทีจะแสดงเป็นสีเทา คีย์ที่ถูกปิดการทำงานจะแสดงเป็นสีแดง และการสลับไปใช้ผู้ให้บริการแบบโฮสต์เมื่อโมเดลภายในมีงานยุ่ง ถัดจากแผนภาพการไหลของข้อมูลจะเป็นกราฟแสดงภาระงานต่อผู้ให้บริการ จำนวนคำขอต่อวินาที และเวลารอคอย Tomás จะเปิดหน้านี้ค้างไว้ในช่วงสัปดาห์แรกหลังจากมีการเปลี่ยนแปลงนโยบายการจัดเส้นทาง เนื่องจากการกำหนดบทบาทที่ผิดพลาดจะปรากฏให้เห็นที่นั่นภายในไม่กี่นาทีในลักษณะของทราฟฟิกที่วิ่งไปยังที่ที่ไม่มีใครตั้งใจให้ไป

ในรุ่น Community หน้า โมเดล AI จะมีปุ่ม ทดสอบทุกโมเดล ซึ่งจะตรวจสอบแต่ละโมเดลที่กำหนดค่าไว้และทำเครื่องหมายว่าโมเดลนั้นตอบกลับหรือไม่ นี่เป็นวิธีที่เร็วที่สุดในการพิสูจน์ว่าคีย์ใหม่ใช้งานได้จริงก่อนที่ใครจะนำไปใช้งาน

แผงสลับสาย AI แบบสด
แผงสลับสาย AI แบบสด
เราเตอร์แบบสด ทราฟฟิกไหลจากผู้ช่วยและงานผ่านบทบาทต่างๆ ไปยังโมเดลภายในและคีย์แบบโฮสต์ คีย์หนึ่งกำลังพักการทำงาน คีย์หนึ่งถูกปิดการทำงาน และจุดสีทองแสดงการสลับไปใช้ระบบสำรองในขณะที่โมเดลภายในมีงานยุ่ง

เอ็มเบดดิง (Embeddings)

การค้นหาและกราฟความรู้จะแปลงข้อความให้เป็นเวกเตอร์ โดยค่าเริ่มต้น ระบบที่ติดตั้งจะดำเนินการนี้ด้วยโมเดลเอ็มเบดดิงที่ทำงานอยู่ภายในคลัสเตอร์บนโปรเซสเซอร์ ดังนั้นจึงไม่มีข้อความใดออกจากไซต์เพื่อนำไปทำเอ็มเบดดิง และองค์กรไม่จำเป็นต้องใช้คีย์สำหรับงานนี้ การใช้ผู้ให้บริการแบบโฮสต์สำหรับการทำเอ็มเบดดิงเป็นทางเลือกที่องค์กรตัดสินใจเอง ซึ่งจะผ่านพูลเดียวกันและใช้กฎเกณฑ์เดียวกัน

มีเพียงสามเซอร์วิสเท่านั้นที่สามารถร้องขอการทำเอ็มเบดดิงหรือการจัดลำดับใหม่จากเราเตอร์ได้ ได้แก่ nexus-graphrag, nexus-skills-engine และ nexus-workflows โดย GraphRAG จะทำเอ็มเบดดิงในนามขององค์กรที่เป็นเจ้าของเนื้อหานั้นๆ ด้วยการตั้งค่าขององค์กรนั้น และไม่ถือครองคีย์ผู้ให้บริการของตนเอง เมื่อองค์กรเปลี่ยนโมเดลเอ็มเบดดิง nexus-workflows จะรันงานทำเอ็มเบดดิงใหม่สำหรับที่เก็บข้อมูลขององค์กรนั้น

ข้อมูลรับรองส่วนบุคคลจะยังคงเป็นข้อมูลส่วนตัว

ข้อมูลรับรองบางอย่างเป็นของบุคคลเพียงคนเดียว กรณีที่พบบ่อยคือการสมัครใช้งาน Claude Max ซึ่งลงชื่อเข้าใช้ผ่านบัญชีของบุคคลนั้นเอง ข้อมูลรับรองดังกล่าวจะไม่ถือเป็นคีย์ขององค์กรโดยเด็ดขาด พูลจะปฏิเสธด้วยรหัส VALIDATION_FAILED จะไม่ปรากฏในตารางคีย์ขององค์กร และจะไม่มีหน้าจอของบุคคลอื่นแสดงข้อมูลนี้

นอกจากนี้คีย์ของโมเดลจะไม่ถูกนำไปไว้ที่อื่นด้วย หน้า คีย์ข้อมูลภายนอก ซึ่งเก็บคีย์สำหรับแหล่งข้อมูลภายนอก จะปฏิเสธสิ่งใดก็ตามที่ดูเหมือนคีย์โมเดล AI ด้วยรหัส AI_PROVIDER_KEYS_BELONG_TO_ORG_POOL (422) หากตัวอ่านไฟล์พบคีย์ของโมเดลอยู่ภายในเอกสารหรือการกำหนดค่าในที่ที่ไม่ควรอยู่ ระบบจะบันทึก CREDENTIALS_IN_WRONG_PLACE และผู้ดูแลระบบจะลบออกแล้วทำการเปลี่ยนคีย์ใหม่

สคริปต์, REST และ MCP

Nexus มีโฮสต์สาธารณะสามรายการ ที่ Harrow ได้แก่ console.harrow.example สำหรับคอนโซล, api.harrow.example สำหรับเกตเวย์ และ auth.harrow.example สำหรับการลงชื่อเข้าใช้ สคริปต์และเครื่องมือต่างๆ จะใช้รายการที่สองและสาม

คีย์สำหรับสคริปต์

สคริปต์จะลงชื่อเข้าใช้ด้วยคีย์ที่สร้างขึ้นในหน้า การตั้งค่า, คีย์สำหรับสคริปต์ คีย์แต่ละรายการจะมีชื่อ ขอบเขตสิทธิ์ (ตัวอย่างเช่น "เริ่มการนับลานด้วยโดรนเท่านั้น") ผู้ที่สร้างคีย์ และวันสิ้นสุด โดยองค์กรสามารถล็อกอายุการใช้งานสูงสุดที่คีย์สามารถมีได้ ข้อมูลลับจะแสดงเพียงครั้งเดียวเมื่อสร้างคีย์ ให้คัดลอกไปไว้ในที่เก็บข้อมูลลับของสคริปต์ เนื่องจาก Nexus จะเก็บไว้เฉพาะอักขระสี่ตัวสุดท้ายเท่านั้น คีย์จะถูกเพิกถอนแต่จะไม่ถูกลบออก โดยจะหยุดทำงานทันทีและยังคงแสดงอยู่ในรายการพร้อมประวัติการเรียกใช้งานทั้งหมดที่เคยทำ การหมุนเวียนคีย์จะทำให้คีย์ได้รับข้อมูลลับใหม่และจะแสดงเพียงครั้งเดียว

คีย์แต่ละรายการมีหน้าของตัวเองซึ่งแสดงจำนวนการเรียกใช้ต่อวัน การเรียกใช้แยกตามเซอร์วิส และบันทึกกิจกรรมที่ระบุเวลา ที่อยู่ เซอร์วิส และผลลัพธ์ การเรียกใช้ที่อยู่นอกขอบเขตสิทธิ์ของคีย์จะถูกปฏิเสธและแสดงในบันทึก

nexus-auth ให้บริการคีย์เดียวกันนี้แก่ผู้ที่ลงชื่อเข้าใช้ที่ https://auth.harrow.example/api-keys ซึ่งสามารถสร้างและแสดงรายการ จากนั้นจึงอ่าน เปลี่ยนแปลง เพิกถอน หรือหมุนเวียนคีย์หนึ่งๆ ตามรหัสของคีย์นั้นได้

คีย์หนึ่งรายการสำหรับสคริปต์
คีย์หนึ่งรายการสำหรับสคริปต์
คีย์หนึ่งรายการสำหรับสคริปต์ หน้านี้แสดงขอบเขตสิทธิ์ของคีย์ ผู้ที่สร้างคีย์ วันสิ้นสุด การเรียกใช้แยกตามวันและตามเซอร์วิส รวมถึงผลลัพธ์ของการเรียกใช้ทุกครั้ง โดยข้อมูลลับลงท้ายด้วย …7QK2 และจะไม่ถูกแสดงอีกเลย

การใช้งาน REST ผ่านเกตเวย์

ส่งการเรียกใช้ REST ไปที่ https://api.harrow.example พร้อมด้วย Authorization: Bearer <token-or-key> คีย์ทุกรายการจะต้องเป็นขององค์กรใดองค์กรหนึ่ง คีย์ที่ไม่มีองค์กรจะถูกปฏิเสธด้วยรหัส TOKEN_ORG_MISSING (403) โดยทุกเซอร์วิสที่ตรวจสอบคีย์ผ่าน nexus-auth

ผู้เรียกที่ส่งคำขอบ่อยเกินไปจะได้รับคำตอบเป็น 429 พร้อมด้วย RATE_LIMITED, เฮดเดอร์ Retry-After รวมถึงขีดจำกัดและช่วงเวลาในเนื้อหาข้อมูล ให้รอตามจำนวนวินาทีที่ระบบระบุ ในรุ่น Enterprise ผู้ดูแลระบบสามารถตั้งค่าขีดจำกัดต่อคีย์ ต่อแอป และต่อหน่วยงานได้ที่หน้า การตั้งค่า, การจำกัดอัตรา (ดู บทที่ 2.16, ความปลอดภัยและระบบเครือข่าย)

MCP สำหรับเครื่องมือ AI

เครื่องมือ AI ที่รองรับ Model Context Protocol จะเชื่อมต่อไปที่ https://api.harrow.example/mcp เครื่องมือเหล่านี้จะลงชื่อเข้าใช้ผ่านเซิร์ฟเวอร์ OAuth 2.1 (OAuth คือมาตรฐานเปิดสำหรับการอนุญาตสิทธิ์แบบมอบหมาย) ที่ https://auth.harrow.example ซึ่งรองรับการลงทะเบียนไคลเอนต์ด้วยตัวเครื่องมือเอง ดังนั้นเครื่องมืออย่างเช่น Claude Code หรือ Cursor จึงสามารถลงทะเบียนตัวเองและเปิดเบราว์เซอร์ของผู้ใช้เพื่อลงชื่อเข้าใช้ได้ จากนั้นการเชื่อมต่อจะดำเนินการแทนบุคคลนั้นเพียงคนเดียว ด้วยสิทธิ์ของบุคคลนั้นและไม่เกินไปกว่านั้น ผู้ที่ลงชื่อเข้าใช้สามารถดึงการกำหนดค่าสำเร็จรูปสำหรับเครื่องมือแบบบรรทัดคำสั่งได้จาก https://auth.harrow.example/api/v1/mcp/cli-config

การเรียกใช้เครื่องมือที่จำเป็นต้องใช้โมเดลจะผ่านเราเตอร์เหมือนกับสิ่งอื่นๆ ทั้งหมด ภายใต้องค์กรของบุคคลนั้น