PrisijungtiUžsisakyti pristatymą

2.14 skyrius

DI tiekėjai ir modeliai

Kaip dirbtinio intelekto (DI) tiekėjų maršrutizatorius parenka modelį iš organizacijos raktų telkinio ir kaip scenarijai bei DI įrankiai pasiekia Nexus iš išorės.

Šį puslapį iš originalo anglų kalba išvertė DI. Jei kas nors neaišku, remkitės puslapiu anglų kalba. Skaityti šį puslapį anglų kalba

16 min. skaitymo

Harrow Port Authority valdo du diegimus. Diegimas izoliuotame operacijų tinkle (2.10 skyrius, Izoliuotas diegimas) neturi jokių išorinių teikėjų. Prijungtame įmonės diegime, kuris nagrinėjamas šiame skyriuje, į daugumą klausimų atsako modelis, veikiantis dviejuose grafinių procesorių (GPU) mazguose paties uosto serverinėje. Google Gemini raktas, už kurį moka Harrow, perima perviršį, kai vietinis modelis yra užimtas, o Aoife Brennan apribojo organizacijos dirbtinio intelekto (DI) srautą tik ES ribose. Niekas iš Harrow nekonfigūravo modelio paslaugos ar įskiepio viduje. Jie nurodė vienam komponentui, ką turi Harrow, ir tas komponentas priima sprendimą dėl kiekvienos užklausos.

Šiame skyriuje aptariamas šis komponentas – DI teikėjų maršrutizatorius (AI Provider Router), kurį 1 dalyje ir konsolėje vadiname DI komutatoriumi, bei raktų telkinys, kurį jis naudoja. Skyriaus pabaigoje apžvelgiami būdai, kuriais scenarijai ir DI įrankiai pasiekia Nexus iš išorės: scenarijų raktai, REST (angl. representational state transfer) taikomųjų programų programavimo sąsaja (API) ir modelio konteksto protokolas (MCP).

DI tiekėjų maršrutizatorius

Maršrutizatorius veikia šliuzo nexus-gateway viduje. Tai vienintelė paslauga, sauganti organizacijos modelių kredencialus, ir ji priima galutinį sprendimą, kuris teikėjas ir kuris modelis atsakys į kiekvieną užklausą. Visos kitos Nexus dalys kreipiasi į jį. Darbo eigos etapas nurodo, ko pageidauja, o maršrutizatorius nusprendžia.

Tik kelios paslaugos gali teikti užklausas, o kiekvienas sąrašas yra fiksuotas schemoje:

Ko prašoma Kas gali prašyti
Užbaigimo (/internal/ai/chat ir jo srauto) nexus-orchestrator, nexus-workflows, nexus-skills-engine
Įrankių iškvietimų ir kitų vidinių DI maršrutų nexus-orchestrator, nexus-workflows
Įterpinių (embeddings) ir perrikiavimo (reranking) nexus-graphrag, nexus-skills-engine, nexus-workflows

Kiekvienas vidinis maršrutas paeiliui tikrina du dalykus: kviečiančiojo vidinį paslaugos raktą ir kviečiančiojo tapatybę pagal aukščiau pateiktą sąrašą. Užklausa be rakto atmetama su MISSING_SERVICE_KEY (401), su neteisingu raktu – su INVALID_SERVICE_KEY (403), užklausa, kurioje nenurodyta, kas kviečia – su MISSING_CALLER_IDENTITY (403), o kviečiantysis, kurio nėra sąraše – su UNAUTHORIZED_CALLER (403). Nė viena iš šių užklausų nėra kartojama, nes nė viena iš jų nėra laikinas sutrikimas.

Programos ir įskiepiai niekada neįtraukiami į tą sąrašą. Įskiepis deklaruoja savo pageidavimus įgūdžiuose, kuriuos jis užregistruoja, ir išsiunčia per UNO – darbo eigos variklį. Tada orkestratorius kreipiasi į maršrutizatorių įskiepio vardu. Todėl viena nutekėjusi įskiepio paslaptis gali veikti kaip tas įskiepis, bet negali išnaudoti kieno nors modelių biudžeto.

Kairėje: trys vienas ant kito sudėti langeliai „Asistentas“, „Darbo eigos etapas“, „Įgūdis“, kiekvienas su rodykle į langelį „UNO išsiuntimas (nexus-orchestrator)“. Rodyklė su užrašu „pageidavimai: pageidaujamas teikėjas, pageidaujamas modelis, galimybių profilis“ eina į dešinę į didelį langelį „DI teikėjų maršrutizatorius (nexus-gateway)“. Maršrutizatoriaus langelio viduje – trys maži langeliai eilėje: „Vaidmuo“, „Organizacijos telkinys“, „Maršrutizavimo politika“. Iš maršrutizatoriaus trys rodyklės eina į dešinę į „Vietinis modelis (ai.localProvider.baseUrl)“, „Išorinio teikėjo raktas A“, „Išorinio teikėjo raktas B“. Po maršrutizatoriumi yra atskiras langelis „nexus-auth: organizacijos raktų telkinys (užšifruotas)“ su punktyrine rodykle aukštyn į maršrutizatorių su užrašu „raktai, nustatomi kiekvienai užklausai“.
Kaip užklausa pasiekia modelį.

Organizacijos raktų telkinys

Modelių raktai priklauso organizacijai. Kiekviena organizacija naudoja savo teikėjo paskyrą ir apmoka savo sąskaitas, o raktas saugomas organizacijos telkinyje, užšifruotas nexus-auth paslaugoje. Už organizacijos nėra jokio bendro platformos rakto, todėl jokia organizacija niekada neišnaudoja kitos organizacijos biudžeto. Šios taisyklės kaina aiški: organizacija, neturinti rakto savo telkinyje, negauna jokių DI atsakymų. Asistentas rodo MODEL_NOT_CONNECTED (503) ir nurodo, kas gali jį prijungti.

Raktą į telkinį galima pridėti keturiems teikėjams:

Teikėjo ID Rodoma kaip
anthropic_api_key Anthropic
gemini Google Gemini
openrouter OpenRouter
scaleway Scaleway

Jūsų pačių modelių serveris

Organizacija taip pat gali naudoti bet kurį savo valdomą serverį, palaikantį su OpenAI suderinamą API, pavyzdžiui, modelį Harrow GPU mazguose. Diegimo programa jį įvardija reikšmių faile:

# harrow-values.yaml (Helm values): the AI part
ai:
  localProvider:
    baseUrl: "https://models.harrow.example/v1"
  installationHosts:
    - models.harrow.example
    - 10.40.20.0/24
networkPolicy:
  externalEgressCIDRs:
    - 10.40.20.0/24

ai.localProvider.baseUrl nukreipia šliuzo su OpenAI suderinamą adapterį į jūsų serverį. Diegime telkinio scaleway lizdas pasiekia tą serverį, todėl raktas, kurį pridedate prie scaleway, yra raktas, kurio tikisi jūsų pačių serveris.

ai.installationHosts išvardija mazgų pavadinimus, esančius diegimo viduje, be paties leidimo paslaugų domeno ir trijų viešųjų mazgų. Kiekvienas įrašas yra mazgo pavadinimas, .suffix, IP adresas arba IPv4 beklaipio tarpdomeninio maršrutizavimo (CIDR) rėžis. Maršrutizatorius naudoja šį sąrašą, kad atskirtų vietoje liekančią užklausą nuo išeinančios į išorę – būtent tai patvirtina patikra „Niekas neišeina iš šios vietos“ puslapyje „Prijunkite modelį savo aparatinėje įrangoje“.

Tinklo politika yra tokia pat svarbi kaip ir maršrutizatorius. Vardų sritis pagal numatytuosius nustatymus draudžia visą išeinantį srautą, todėl šliuzas gali pasiekti modelių serverį už vardų srities ribų tik tada, kai jo rėžis yra nurodytas networkPolicy.externalEgressCIDRs. Tas pats galioja ir išoriniam teikėjui: jei Harrow nori, kad atsakytų jos Gemini raktas, teikėjo adresų rėžiai taip pat turi būti ten išvardyti, kitaip užklausa niekada neišeis iš klasterio. 2.16 skyriuje, Saugumas ir tinklaveika, ši politika aptariama išsamiai.

Prijunkite modelį savo aparatinėje įrangoje
Prijunkite modelį savo aparatinėje įrangoje
Modelio prijungimas savo aparatinėje įrangoje. Puslapyje išvardijami serverio pateikiami modeliai, kiekvieno iš jų vaidmuo ir patvirtinama, kad niekas neišeina iš šios vietos.

Raktų pridėjimas ir pašalinimas

Organizacijos savininkai ir administratoriai tvarko jos telkinį. Niekas kitas negali matyti raktų ir negali jų keisti, o jų užklausa atmetama su AUTHORITY_EXCEEDED.

Pulte

Enterprise versijoje telkinys laikomas DI komutatoriuje, po varikliais. Community versijoje tie patys raktai laikomi skiltyje Nustatymai, DI modeliai. Tas puslapis yra bazinis maršrutizatorius, kuriame pridedate raktus ir vietinio modelio adresą bei pasirenkate, kuris modelis atlieka kurį darbą. Abiejose versijose prie kiekvieno rakto rodoma, kas ir kada jį nustatė („Nustatė Aoife, rugsėjo 3 d.“), bei užmaskuota užuomina iš daugiausia paskutinių keturių simbolių, pavyzdžiui, ••••7f2q. Pats raktas po pridėjimo daugiau niekada nerodomas.

DI komutatorius
DI komutatorius
DI komutatorius išvardija kiekvieną teikėją, nurodydamas, kas nustatė jo raktą ir kokius darbus jis atlieka. Vienas raktas ilsisi po klaidų, kitas buvo išjungtas, o puslapyje nurodoma, kur gali keliauti duomenys.
DI modeliai
DI modeliai
Bazinis maršrutizatorius Community versijoje: organizacijos raktas, vietinis modelis pačios organizacijos įrenginyje ir pasirinkimas, kuris modelis atlieka kurį darbą.

Per BFF API

Konsolės vidinė sąsajos tarnyba (BFF) aptarnauja tris telkinio maršrutus. Iškvieskite juos naudodami paties asmens prieigos žetoną: organizacija nustatoma iš žetono, o ne iš užklausos.

GET  /api/v1/ai-providers
POST /api/v1/ai-providers/keys
POST /api/v1/ai-providers/keys/<key-id>/withdraw

GET grąžina telkinyje esančius teikėjus, informaciją, ar kiekvienas iš jų gali atsakyti, kiekvieną raktą pagal jo užuominą ir teikėjus, kuriems galima pridėti raktą. Norint pridėti raktą, reikia JSON turinio su dviem privalomais ir vienu neprivalomu lauku:

{ "provider": "gemini", "api_key": "<the provider's key>", "label": "Overflow, EU" }

Raktas perduodamas tik vieną kartą. nexus-auth jį užšifruoja ir informuoja maršrutizatorių, o atsakyme pateikiama tik užuomina. Atsakymas yra 201 su naujojo rakto ID ir jo eilute: „Pridėta. Google Gemini raktas ••••7f2q yra organizacijos DI telkinyje, ir DI teikėjų maršrutizatorius dabar gali nukreipti į jį.“ Etiketę gali sudaryti daugiausia 100 simbolių, o raktą – viena eilutė be tarpų iš daugiausia 4096 simbolių. Bet koks kitas laukas turinyje arba laukas, įvardijantis organizaciją ar asmenį, yra atmetamas.

Atšaukiant raktą, siunčiamas tuščias turinys. Maršrutizatorius iš karto nustoja nukreipti į šį raktą, o nexus-auth jį išsaugo, pažymėtą kaip atšauktą, kad išliktų jo istorija. Niekas telkinyje niekada nėra ištrinama.

Atmetimas HTTP Kada
VALIDATION_FAILED 400 Turinys, kuris nėra {provider, api_key, label?}, nežinomas teikėjas arba paties asmens prenumerata, pateikta kaip organizacijos raktas
AUTHORITY_EXCEEDED 403 Kviečiantysis nėra organizacijos savininkas ar administratorius
RECORD_NOT_FOUND 404 Organizacijos telkinyje nėra rakto su tokiu ID
TRANSITION_NOT_PERMITTED 409 Raktas jau yra atšauktas
TENANT_NOT_A_PARAMETER 403 Turinyje arba užklausoje buvo įvardyta organizacija

Raktų būsenos

Kiekvienas telkinyje esantis raktas turi vieną iš šešių būsenų. Į pokalbio užklausas atsako tik naudojamas raktas.

Būsena Ką tai reiškia
in_use Raktas atsako iki jo galiojimo pabaigos datos, jei tokia yra.
resting Maršrutizatorius leido jam pailsėti po klaidų iki nustatyto laiko. Tuo tarpu užklausos nukreipiamos į kitą raktą.
exhausted Jis išnaudojo savo limitą pas teikėją.
invalid Teikėjas jo nebepriima.
expired Jis nustojo galioti pasibaigus galiojimo datai.
withdrawn Administratorius jį atšaukė. Jis lieka sąraše kaip istorijos įrašas.

Raktas, kurį naudojant įvyksta klaida, ilsisi 60 sekundžių. Po 5 klaidų iš eilės maršrutizatorius jį išjungia, perkelia jo dalį kitiems raktams ir įrašo pranešimą PROVIDER_KEY_SWITCHED_OFF. Niekam neatsakoma neigiamai, kol gali atsakyti kitas raktas.

Kai teikėjas neturi naudojamo rakto, telkinys nurodo priežastį („Nėra naudojamo rakto: 1 atšauktas, 1 pasibaigęs“). Kai nė vienas teikėjas telkinyje neturi naudojamo rakto, pokalbis atmetamas su NO_PROVIDER_FOR_ROLE (422) ir sprendimo būdu: savininkas arba administratorius prideda organizacijos raktą. Tai yra konfigūracijos būsena, ir ji lieka ekrane, kol kas nors ją ištaiso.

Vaidmenys, politika ir pageidavimai

Maršrutizatorius veikia pagal vaidmenis. Kiekviena užklausa yra skirta vienam iš penkių vaidmenų: default, fast, reasoning, code arba long_context. Kiekvienas modelis taip pat priklauso lygiui – frontier, standard arba fast, ir aukštesniam lygiui teikiama pirmenybė, kai tai leidžia vaidmuo. Organizacija nusprendžia, kuris teikėjas aptarnauja kiekvieną vaidmenį (jos vaidmenų priskyrimai) ir kokia tvarka perjungti į atsarginius variantus, kai teikėjas sutrinka (jos maršrutizavimo politikos kopėčios). Administratoriai abu šiuos parametrus nustato DI komutatoriuje. nexus-auth taip pat juos pateikia adresuose /auth/org/<organisation-id>/settings/ai-provider/role-assignments ir /auth/org/<organisation-id>/settings/ai-provider/routing-policy administratoriaus raktui, turinčiam ai_provider:manage.

Kviečiantieji gali nurodyti, ko jie pageidauja. Įgūdžio eilutė gali turėti pageidaujamą teikėją ir pageidaujamą modelį bei galimybių profilį. Maršrutizatorius kiekvieną iš jų traktuoja skirtingai:

  • Į pageidaujamą teikėją atsižvelgiama tik tada, kai organizacija yra įjungusi tą teikėją ir turi jam raktą. Priešingu atveju maršrutizatorius jį pakeičia kitu.
  • Į pageidaujamą modelį atsižvelgiama, kai jis yra to teikėjo kataloge ir atitinka profilį.
  • Galimybių profilis yra filtras, kuris pats nieko nepasirenka. Jis gali reikalauti minimalaus konteksto lango, įrankių naudojimo, vaizdo atpažinimo, įterpinių, ilgo konteksto arba duomenų rezidavimo vietos. Viskas, kas neatitinka šių reikalavimų, nėra tinkama.

Maršrutizatorius renkasi fiksuota tvarka. Jis atsižvelgia į pageidavimą, kai gali, tada bando kitą to paties teikėjo modelį, tada vaidmens priskyrimą ir bet kurį kitą teikėją su raktu, kurio katalogas tinka. Jei buvo pateiktas profilis ir joks katalogas jo neatitinka, užklausa atmetama su MODEL_CAPABILITY_UNAVAILABLE (422). Jei niekas nepriskirta ir niekas neatitinka, grąžinama NO_PROVIDER_FOR_ROLE (422). Nėra jokio paskutinės išeities numatytojo modelio. Vaidmuo, kurio nesukonfigūravote, aiškiai praneša apie klaidą, o pats maršrutizatorius žodžiais nurodo, ką reikia nustatyti.

Duomenų rezidavimo vieta yra vienintelis apribojimas, kurio negalima apeiti pakeičiant teikėją. Profilis su eu_only yra aptarnaujamas ES teikėjo arba atmetamas. Harrow nustato šį apribojimą visai organizacijai, todėl komutatorius antrąjį išorinį teikėją, esantį JAV regione, atvaizduoja kaip išjungtą.

Įgūdis taip pat gali pririšti vieną konkretų modelį, kai įgūdžiui reikia būtent to modelio, kad jis veiktų. Net ir tada maršrutizatorius jam naudoja pačios organizacijos raktą, o be jo niekas neatsako. Kviečiantysis niekada negali priversti Nexus naudoti teikėjo, kurio organizacija nesukonfigūravo.

Pasirinkus teikėją, perjungimas į atsarginį variantą (failover) yra atskiras klausimas. 429, 5xx arba tinklo klaida perkelia užklausą kopėčiomis žemyn kitam teikėjui. 400, 401, 403 arba 404 klaida sustabdo procesą iš karto, nes kredencialai ir užklausų formos nėra perkeliami tarp teikėjų, o pakartotinis bandymas tik eikvotų kvotą, kad pasiektų tą pačią klaidą.

Norėdami pamatyti, ką maršrutizatorius pasirinktų prieš kam nors užduodant klausimą, nuskaitykite GET /api/ai/routing-policy/effective šliuze naudodami paties asmens žetoną. Jis grąžina prisijungusios organizacijos modelį arba maršrutizatoriaus atmetimą žodžiais, kai tokio modelio nėra, ir nesiunčia jokios užklausos į modelį.

Maršrutizatoriaus stebėjimas

Skaičių juosta kiekvieno puslapio apačioje rodo naudojamą modelį („Modelis: vietinis“). Enterprise versijoje puslapis „DI komutatorius, gyvai“ realiuoju laiku braižo maršrutizatoriaus srautą: užklausas iš asistento, darbus ir programas, tekančias per vaidmenis į teikėjus ir raktus, pilkai pažymėtą raktą jo 60 sekundžių poilsio metu, raudonai pažymėtą išjungtą raktą ir perjungimą į išorinį teikėją, kai vietinis modelis yra užimtas. Šalia srauto jis braižo apkrovą pagal teikėją, užklausų skaičių per sekundę ir laukimo laiką. Tomás laiko jį atidarytą pirmąją savaitę po bet kokio maršrutizavimo politikos pakeitimo, nes neteisingas vaidmens priskyrimas ten pasirodo per kelias minutes kaip srautas, nukreipiamas ten, kur niekas neketino jo siųsti.

Community versijoje puslapyje „DI modeliai“ yra mygtukas „Išbandyti kiekvieną modelį“, kuris patikrina kiekvieną sukonfigūruotą modelį ir pažymi, ar jis atsako. Tai greičiausias būdas įsitikinti, kad naujas raktas veikia, prieš kam nors pradedant juo pasikliauti.

DI komutatorius, gyvai
DI komutatorius, gyvai
Maršrutizatorius gyvai. Srautas teka iš asistento ir darbų per vaidmenis į vietinį modelį ir išorinius raktus; vienas raktas ilsisi, vienas yra išjungtas, o auksiniai taškai rodo perjungimą į atsarginį variantą, kol vietinis modelis yra užimtas.

Įterpiniai

Paieška ir žinių grafas paverčia tekstą vektoriais. Pagal numatytuosius nustatymus diegimas tai atlieka su įterpinių modeliu, kuris veikia klasterio viduje procesoriuje, todėl joks tekstas neišeina iš vietos įterpiniams sukurti ir organizacijai tam nereikia jokio rakto. Išorinio teikėjo naudojimas įterpiniams yra pačios organizacijos pasirinkimas; tokiu atveju procesas vyksta per tą patį telkinį ir pagal tas pačias taisykles.

Tik trys paslaugos gali prašyti maršrutizatoriaus įterpinių arba perrikiavimo: nexus-graphrag, nexus-skills-engine ir nexus-workflows. GraphRAG kuria įterpinius tos organizacijos, kuriai priklauso turinys, vardu, naudodama tos organizacijos nustatymus, ir neturi jokio savo teikėjo rakto. Kai organizacija pakeičia savo įterpinių modelį, nexus-workflows paleidžia pakartotinio įterpinių kūrimo darbą tos organizacijos saugykloms.

Asmeniniai prisijungimo duomenys lieka asmeniniai

Kai kurie kredencialai priklauso vienam asmeniui. Dažnas atvejis – Claude Max prenumerata, prie kurios prisijungiama per paties asmens paskyrą. Toks kredencialas niekada nėra organizacijos raktas: telkinys jį atmeta su VALIDATION_FAILED, jis niekada neįtraukiamas į organizacijos raktų lentelę ir joks kito asmens ekranas jo nerodo.

Modelių raktai taip pat niekada nepatenka niekur kitur. Puslapis „Išorinių duomenų raktai“, kuriame saugomi išorinių duomenų šaltinių raktai, atmeta viską, kas panašu į DI modelio raktą, su AI_PROVIDER_KEYS_BELONG_TO_ORG_POOL (422). Jei failų skaitytuvas randa modelių raktus dokumento ar konfigūracijos viduje, kur jų neturėtų būti, jis įrašo CREDENTIALS_IN_WRONG_PLACE, o administratorius juos pašalina ir pakeičia.

Scenarijai, REST ir MCP

Nexus turi tris viešuosius mazgus. Harrow organizacijoje jie yra console.harrow.example konsolei, api.harrow.example šliuzui ir auth.harrow.example prisijungimui. Scenarijai ir įrankiai naudoja antrąjį ir trečiąjį.

Scenarijų raktai

Scenarijus prisijungia naudodamas raktą, sukurtą skiltyje Nustatymai, Scenarijų raktai. Kiekvienas raktas turi pavadinimą, aprėptį (pavyzdžiui, „Tik paleisti dronų kiemo skaičiavimą“), jį sukūrusį asmenį ir pabaigos datą; organizacija gali užfiksuoti ilgiausią galimą rakto galiojimo trukmę. Paslaptis parodoma tik vieną kartą kuriant raktą. Nukopijuokite ją į scenarijaus paslapčių saugyklą, nes Nexus išsaugo tik paskutinius keturis jos simbolius. Raktas yra atšaukiamas, bet niekada nepašalinamas: jis iš karto nustoja veikti ir lieka sąraše su kiekviena jo atlikta užklausa. Rotavimas suteikia raktui naują paslaptį ir parodo ją vieną kartą.

Kiekvienas raktas turi savo puslapį, kuriame rodomos užklausos per dieną, užklausos pagal paslaugą ir veiklos žurnalas su laiku, adresu, paslauga ir rezultatu. Užklausa, viršijanti rakto aprėptį, yra atmetama ir parodoma žurnale.

nexus-auth pateikia tuos pačius raktus prisijungusiam asmeniui adresu https://auth.harrow.example/api-keys: sukurti ir išvardyti, tada nuskaityti, pakeisti, atšaukti arba rotuoti vieną raktą pagal jo ID.

Vienas scenarijų raktas
Vienas scenarijų raktas
Vienas scenarijų raktas. Puslapyje rodoma rakto aprėptis, kas jį sukūrė, jo pabaigos data, užklausos pagal dieną ir pagal paslaugą bei kiekvienos užklausos rezultatas; paslaptis baigiasi …7QK2 ir daugiau niekada nerodoma.

REST per šliuzą

Siųskite REST užklausas į https://api.harrow.example su Authorization: Bearer <token-or-key>. Kiekvienas raktas turi priklausyti organizacijai. Raktą, nepriklausantį jokiai organizacijai, su TOKEN_ORG_MISSING (403) atmeta kiekviena paslauga, tikrinanti raktus per nexus-auth.

Kviečiančiajam, kuris teikia užklausas per dažnai, atsakoma 429 su RATE_LIMITED, Retry-After antrašte bei limitu ir laiko langu turinyje. Palaukite tiek sekundžių, kiek nurodyta. Enterprise versijoje administratoriai nustato limitus kiekvienam raktui, kiekvienai programai ir kiekvienam padaliniui skiltyje Nustatymai, Dažnio limitai (žr. 2.16 skyrių, Saugumas ir tinklaveika).

MCP DI įrankiams

DI įrankiai, palaikantys modelio konteksto protokolą (Model Context Protocol), jungiasi prie https://api.harrow.example/mcp. Jie prisijungia per OAuth 2.1 serverį (OAuth yra atvirasis deleguotojo autorizavimo standartas) adresu https://auth.harrow.example, kuris palaiko paties įrankio atliekamą kliento registraciją, todėl toks įrankis kaip Claude Code ar Cursor užsiregistruoja pats ir atidaro asmens naršyklę prisijungimui. Tada ryšys veikia to vieno asmens vardu, turėdamas tik to asmens teises ir nieko daugiau. Prisijungęs asmuo gali atsisiųsti paruoštą komandinės eilutės įrankio konfigūraciją iš https://auth.harrow.example/api/v1/mcp/cli-config.

Įrankių iškvietimai, kuriems reikalingas modelis, kaip ir viskas kita, vyksta per maršrutizatorių pagal to asmens organizaciją.