PrijavaRezervirajte predstavitev
1. del: Za vsakogar
Različica 1.0.0-alpha.1najnovejša

Poglavje 1.4

UI pod vašimi pogoji

Kako Nexus uporablja umetno inteligenco (UI) pod pogoji same organizacije. Organizacija prinese in ima v lasti svoje ključe modelov, ena preklopna plošča usmerja vsak klic modela k ponudnikom, ki jih je izbrala, lokalni modeli se izvajajo na njenih lastnih strežnikih in nič se ne pošlje podjetju Adverant za njenim hrbtom.

To stran je iz angleškega izvirnika prevedla UI. Če je karkoli nejasno, je referenca angleška stran. Preberite to stran v angleščini

10 min branja

Operativna namestitev pri Harrow Port Authority sploh nima gostovanega ponudnika UI. Nima poti do interneta, zato vsak model, ki ga uporablja, teče na grafičnih karticah v njeni lastni strojnici: Qwen3-32B za večino dela, ob njem pa Llama 3.3 70B in Gemma 3 27B. Ko Aoife Brennan, vodja IT pri Harrowu, odpre stran preklopne plošče za UI, so na njej navedeni natanko ti modeli, katero opravilo posamezni model izvaja in kam sme iti vsak klic. To mesto je ta stavba.

Večina organizacij bo kombinirala gostovane in lokalne modele. Načelo se ne spremeni: organizacija se odloči, katero umetno inteligenco (UI) uporablja, kam smejo potovati njeni podatki in koliko porabi, Nexus pa te odločitve uveljavi pri vsakem klicu.

Ključ pripada organizaciji

Ko organizacija uporablja gostovani model, prinese svoj lastni ključ. Nexus hrani ključe v bazenu UI organizacije. Pripadajo organizaciji in ne kateri koli osebi v njej. Lastniki in skrbniki jih dodajajo in umikajo. Bazen sprejema ključe za Anthropic, Google Gemini, OpenRouter in Scaleway ter lahko kaže na kateri koli strežnik, ki ga upravlja organizacija in govori običajni protokol, združljiv z OpenAI.

Ključ se vnese enkrat. Nexus ga ob prejemu šifrira in ga nikoli več nikjer ne prikaže. Od takrat naprej se ključ pojavi le kot kratek namig in vrstica, kot je »nastavila Aoife 3. sept.«. Ko je ključ umaknjen, preklopna plošča nanj takoj preneha pošiljati klice, ključ pa ostane naveden kot umaknjen, tako da zgodovina tega, kdo je kaj uporabil, ostane celovita. Nič se ne izbriše.

Vsaka organizacija ima svoj lastni račun pri ponudniku in svoj lastni račun za plačilo. Za UI najemnika se ne skriva noben deljeni ključ družbe Adverant, zato se poraba ene organizacije nikoli ne meša s porabo druge, organizacija, ki zamenja ponudnika, pa preprosto umakne en ključ in doda drugega.

Ključi za zunanje vire podatkov se hranijo ločeno od ključev modelov. Harrow na primer hrani ključ za vir položajev ladij, ki ga bere, na ločeni strani ključev za zunanje podatke. Ta stran ključ modela nemudoma zavrne, saj ključi modelov spadajo v bazen in nikamor drugam.

Preklopna plošča usmerja vsak klic

Aplikacije in agenti v sistemu Nexus nikoli ne kličejo modela neposredno, prav tako ne delovni tokovi. Prosijo preklopno ploščo za UI. Ta ima v lasti ključe ter sprejme končno izbiro ponudnika in modela. Aplikacija lahko pove, kaj bi želela, morda hiter model za kratke odgovore, in preklopna plošča to željo upošteva, ko ima organizacija tega ponudnika nastavljenega. Ko ga nima, preklopna plošča izbere drugega, ki ga je organizacija dovolila. Aplikacija ne more nikoli vsiliti modela, ki ga organizacija ni izbrala.

Na levi strani tri majhna polja z oznakami »Pomočnik«, »Korak delovnega toka« in »Agent« pošiljajo vsako svojo puščico v veliko osrednje polje z oznako »Preklopna plošča za UI«. Znotraj njega se štirje naloženi koraki glasijo »Opravilo: katera vrsta modela ustreza«, »Podatki: ali smejo zapustiti to lokacijo«, »Mesto: dovoljene regije in ponudniki« ter »Rezervna možnost: naslednji dovoljeni model, če je prvi zaseden«. Iz preklopne plošče vodita puščici v dve polji na desni: »Lokalni modeli na vaših lastnih strežnikih« in »Gostovani ponudniki, za katere ima vaša organizacija ključe«. Tretja puščica je narisana črtkano. Konča se s križcem poleg polja z oznako »Kamor koli drugam« s pripisom »zavrnjeno in zabeleženo«.
Kaj se zgodi z enim klicem modela na poti skozi preklopno ploščo.

Preden klic odide, ga aplikacija označi z enoto in vlogo, ki sprašujeta, ter z občutljivostjo podatkov. Preklopna plošča usmerja na podlagi te oznake in nikoli ne odpre samega klica. Sprejme štiri odločitve.

Prva je opravilo. Branje optično prebranega obrazca ustreza drugačnemu modelu kot sestavljanje pisma, zato organizacija vsako vrsto opravila (privzeto, hitro, sklepanje, koda in dolg kontekst) poveže z modeli, ki jim daje prednost. Druga so podatki. Osebni ali tajni podatki se lahko omejijo na modele na lastni strojni opremi organizacije, medtem ko lahko javno gradivo uporablja več modelov. Tretja je mesto. Klici gredo samo v regije in k ponudnikom, ki jih enota dovoljuje, klic, ki bi odšel kamor koli drugam, pa je zavrnjen, pri čemer se zavrnitev zapiše v evidenco. Četrta je rezervna možnost. Če je model počasen ali nedosegljiv, klic prevzame naslednji dovoljeni model. Ključ, ki odpove, počiva 60 sekund in se preskoči; po petih zaporednih napakah se izklopi. Klic doseže dovoljeni model ali počaka, in če nič od tega ne deluje, spodleti z jasnim razlogom. Nikoli ne gre nekam, kamor pravila prepovedujejo.

Pravila se začnejo pri organizaciji in se lahko zožijo za vsako enoto in aplikacijo ter za vsako vrsto podatkov. Enota je lahko omejena na lokalne modele na lastni strojni opremi, medtem ko druga uporablja gostovani model v Evropski uniji. Enota ne more imeti nikoli ohlapnejših pravil kot organizacija.

Preklopna plošča za UI
Preklopna plošča za UI
Stran preklopne plošče za UI. Bodite pozorni na to, kateri model izvaja katero opravilo in kam smejo iti podatki. Vsak ključ je prikazan le s podatkom, kdo ga je nastavil in kdaj.

Vsak klic se prešteje, nikoli ne prebere

Preklopna plošča šteje vsak klic po osebi in ekipi ter po aplikaciji in dnevu. Meri tudi čas in strošek vsakega klica. Nikoli ne shranjuje ali bere, kaj je bilo vprašano ali kaj se je vrnilo. Vsak proračun ima imenovanega lastnika in omejitev. Proračuni se lahko nastavijo na štirih ravneh, od organizacije navzdol do ene osebe, z enotami in veščinami vmes. Ko je proračun dosežen, velja pravilo, ki ga je izbral njegov lastnik. Delo se lahko nadaljuje ali premakne na cenejši model, ali pa se ustavi, dokler skrbnik tega ne odobri. Finančni oddelek dobi en izpisek, ki enako zajema gostovane in lokalne modele.

Modeli na vaših lastnih strežnikih

Vsak model, ki ga organizacija poganja na lastni strojni opremi, se lahko pridruži preklopni plošči, če le govori protokol, združljiv z OpenAI. Vaša ekipa za IT preklopni plošči posreduje naslov strežnika, vidi modele, ki jih je našla, in izbere, katero opravilo posamezni model izvaja. Stran s povezavo potrdi »Nič ne zapusti te lokacije«, ko je postopek končan. Majhen model, ki besedilo pretvori v obliko, primerno za iskanje, prav tako privzeto teče znotraj namestitve na običajnih procesorjih, tako da samo iskanje ne potrebuje nobene zunanje storitve. Uporaba gostovane storitve za ta namen je izbira, ki jo lahko sprejme organizacija.

Na izolirani lokaciji brez povezave z internetom, kot je Harrow, so lokalni modeli edini modeli. To dobro deluje za večino tega, kar ljudje počnejo, prinaša pa eno odkrito omejitev: zmogljivost potrebuje svoj model, nameščen na lokaciji. Zvezkovni studio pri Harrowu lahko iz lokalnih modelov izdela prosojnice in enostranske povzetke, zvočni povzetek pa potrebuje glasovni model, in dokler ta ni nameščen, studio to jasno pove in navede, kdo ga lahko doda.

Studio na izolirani lokaciji
Studio na izolirani lokaciji
Zvezkovni studio na izolirani lokaciji. Zvočni povzetki se ustavijo pri manjkajočem glasovnem modelu, obvestilna plošča pa pove, kdo ga lahko doda in kaj lahko studio izdela v vmesnem času.

Lokalni modeli lahko tudi preverjajo drug drugega. Pri Harrowu delo, ki ga opravi ena družina modelov, pregleda druga (Qwen3-32B na primer pregleda Llama 3.3 70B), tako da slepe pege v eni družini ne preverja ista družina.

Za organizacije, ki želijo iti še dlje, dodatek Tovarna modelov uči in prilagaja modele na lastnih grafičnih karticah organizacije, pri čemer uporablja le podatke, ki jih organizacija sme uporabljati.

Brez ključa ni UI, in Nexus to jasno pove

Organizacija brez povezanega modela ne dobi nobenih odgovorov UI. To je namerna omejitev zasnove, ne napaka. Nexus si ne izposodi tiho deljenega ključa, da bi zapolnil vrzel, saj bi potem podatki organizacije šli nekam, česar ni nikoli izbrala.

Kar ljudje vidijo namesto tega, je preprosta obvestilna plošča. Pomočnik pojasni, da ne more odgovoriti, ker ni povezan noben model, v drobnem tisku izpiše kodo MODEL_NOT_CONNECTED in ponudi možnost »Poveži model« vsakomur, ki ima za to dovoljenje. Opravila, ki čakajo na model, se zaženejo takoj, ko je kakšen spet na voljo.

Nič ne gre podjetju Adverant za vašim hrbtom

Nexus v lastnem gostovanju družbi Adverant ne poroča o vaših ljudeh. Ko nekaj vendarle zapusti sistem, to preberete, preden pošljete.

Namestitev na vaši lastni infrastrukturi pripravi letni izpisek o uporabi, ki vsebuje samo števce: koliko licenčnih mest in naprav je v uporabi ter katere skupine funkcij. Vaš skrbnik ga prebere vrstico za vrstico, preden ga naloži ali odnese na disku. Izolirana lokacija, ki zaprosi za novo funkcijo, pošlje datoteko z zahtevo, ki imenuje namestitev in funkcijo, skupaj s prstnim odtisom namestitve. Z njo ne gre nič o ljudeh ali njihovem delu. Ko potrebujete pomoč, paket za podporo pokaže, kaj bo zbral, ter predogled tega, kaj je prikrito, preden se kar koli pošlje.

Osebje družbe Adverant na lastno pobudo ne more pogledati v notranjost namestitve stranke. Če podpora to potrebuje, zahteva pride prek podpornega primera, vaš skrbnik pa reče da ali ne. Odobritev velja za določen čas največ osmih ur in za imenovan obseg, kot so dnevniki pogona. Nikoli ne zajema sporočil ali datotek kogar koli, niti njihove pošte in spomina.

Osebna naročnina posameznika ni nikoli naročnina organizacije

Nekateri ljudje naročnino na UI plačujejo sami, na primer paket Claude Max. Nexus tega nikoli ne obravnava kot last organizacije. Osebne naročnine ni mogoče dodati v bazen organizacije (bazen jo po imenu zavrne) in nobena stran, ki prikazuje nastavitev UI organizacije, je nikoli ne navede.

Razlogi so praktični. Osebni paket je kupljen pod potrošniškimi pogoji za eno osebo, zato bi usmerjanje dela sodelavcev prek njega kršilo te pogoje. Organizacija ne more videti njegove uporabe ali nanj nastaviti proračuna, poleg tega pa odide skozi vrata, ko ta oseba zapusti organizacijo. UI organizacije mora temeljiti na ključih, ki so v lasti organizacije, in v sistemu Nexus tudi temelji.