PrisijungtiUžsisakyti pristatymą
1 dalis: Visiems
Versija 1.0.0-alpha.1naujausia

1.4 skyrius

DI jūsų sąlygomis

Kaip Nexus naudoja dirbtinį intelektą (DI) pačios organizacijos sąlygomis. Organizacija atsineša ir valdo savo modelių raktus, vienas komutatorius nukreipia kiekvieną modelio užklausą jos pasirinktiems teikėjams, vietiniai modeliai veikia jos pačios serveriuose, ir niekas nėra siunčiama į Adverant už jos nugaros.

Šį puslapį iš originalo anglų kalba išvertė DI. Jei kas nors neaišku, remkitės puslapiu anglų kalba. Skaityti šį puslapį anglų kalba

10 min. skaitymo

„Harrow Port Authority“ operacijų diegimas neturi jokio prieglobos DI teikėjo. Jis neturi maršruto į internetą, todėl kiekvienas jame naudojamas modelis veikia vaizdo plokštėse jos pačios serverinėje: „Qwen3-32B“ skirta didžiajai daliai darbų, o šalia jo – „Llama 3.3 70B“ ir „Gemma 3 27B“. Kai Aoife Brennan, „Harrow“ IT vadovė, atidaro DI komutatoriaus puslapį, jame išvardijami būtent šie modeliai, kokią užduotį kiekvienas iš jų atlieka ir vieta, į kurią leidžiama siųsti kiekvieną užklausą. Ta vieta yra pats pastatas.

Dauguma organizacijų derins prieglobos ir vietinius modelius. Principas nesikeičia: organizacija sprendžia, kokį dirbtinį intelektą (DI) ji naudoja, kur gali keliauti jos duomenys ir kiek ji išleidžia, o „Nexus“ užtikrina šių sprendimų vykdymą kiekvienos užklausos metu.

Raktas priklauso organizacijai

Kai organizacija naudoja prieglobos modelį, ji naudoja savo pačios raktą. „Nexus“ laiko raktus organizacijos DI telkinyje. Jie priklauso organizacijai, o ne kuriam nors jos darbuotojui. Savininkai ir administratoriai juos prideda ir atšaukia. Telkinys priima „Anthropic“, „Google Gemini“, „OpenRouter“ ir „Scaleway“ raktus, be to, jį galima nukreipti į bet kurį organizacijos valdomą serverį, kuris palaiko įprastą su „OpenAI“ suderinamą protokolą.

Raktas įvedamas vieną kartą. „Nexus“ jį užšifruoja vos gavusi ir daugiau niekada ir niekur jo nerodo. Nuo tada raktas rodomas tik kaip trumpa užuomina ir eilutė, pavyzdžiui, „nustatė Aoife rugsėjo 3 d.“. Kai raktas atšaukiamas, komutatorius iš karto nustoja siųsti jam užklausas, o raktas lieka sąraše kaip atšauktas, kad išliktų vientisa istorija, kas ir ką naudojo. Niekas nėra ištrinama.

Kiekviena organizacija turi savo teikėjo paskyrą ir savo sąskaitą. Už nuomininko DI neslypi joks bendras „Adverant“ raktas, todėl vienos organizacijos išlaidos niekada nesimaišo su kitos, o teikėją keičianti organizacija tiesiog atšaukia vieną raktą ir prideda kitą.

Išorinių duomenų šaltinių raktai laikomi atskirai nuo modelių raktų. Pavyzdžiui, „Harrow“ laiko savo skaitomo laivų buvimo vietos kanalo raktą atskirame išorinių duomenų raktų puslapyje. Tas puslapis iš karto atmeta modelio raktą, nes modelių raktai turi būti telkinyje ir niekur kitur.

Komutatorius nukreipia kiekvieną užklausą

Programos ir agentai „Nexus“ sistemoje niekada nesikreipia į modelį tiesiogiai, kaip ir darbo eigos. Jie kreipiasi į DI komutatorių. Jis valdo raktus ir priima galutinį sprendimą dėl teikėjo bei modelio. Programa gali nurodyti, ko ji norėtų, pavyzdžiui, greito modelio trumpiems atsakymams, ir komutatorius šį pageidavimą įvykdo, jei organizacija yra nustačiusi tą teikėją. Jei nėra, komutatorius parenka kitą organizacijos leistiną modelį. Programa niekada negali priverstinai parinkti modelio, kurio organizacija nepasirinko.

Kairėje trys nedideli langeliai su užrašais „Asistentas“, „Darbo eigos žingsnis“ ir „Agentas“ nukreipia po rodyklę į didelį centrinį langelį su užrašu „DI komutatorius“. Jo viduje vienas po kito išdėstyti keturi žingsniai: „Užduotis: kokio tipo modelis tinka“, „Duomenys: ar jie gali išeiti iš šios vietos“, „Vieta: leistini regionai ir teikėjai“ ir „Atsarginis variantas: kitas leistinas modelis, jei pirmasis užimtas“. Iš komutatoriaus rodyklės veda į du langelius dešinėje: „Vietiniai modeliai jūsų pačių serveriuose“ ir „Prieglobos teikėjai, kurių raktus turi jūsų organizacija“. Trečioji rodyklė nubrėžta punktyrine linija. Ji baigiasi kryželiu šalia langelio su užrašu „Bet kur kitur“ ir pastaba „atmesta ir užregistruota“.
Kas nutinka vienai modelio užklausai keliaujant per komutatorių.

Prieš išsiunčiant užklausą, programa pažymi ją besikreipiančio padalinio bei vaidmens žyma ir nurodo duomenų jautrumą. Komutatorius nukreipia užklausą pagal šią žymą ir niekada neatidaro pačios užklausos. Jis priima keturis sprendimus.

Pirmasis yra užduotis. Nuskaitytai formai perskaityti tinka kitoks modelis nei laiško juodraščiui rengti, todėl organizacija susieja kiekvieną užduoties tipą (numatytąjį, greitąjį, samprotavimo, kodo ir ilgo konteksto) su pageidaujamais modeliais. Antrasis yra duomenys. Asmeniniai ar slapti duomenys gali būti apdorojami tik modeliais, veikiančiais pačios organizacijos aparatinėje įrangoje, o viešai medžiagai gali būti naudojama ir daugiau modelių. Trečiasis yra vieta. Užklausos siunčiamos tik į tuos regionus ir tiems teikėjams, kuriuos leidžia padalinys, o užklausa, kuri būtų nukreipta bet kur kitur, atmetama, šį atmetimą užfiksuojant įrašuose. Ketvirtasis yra atsarginis variantas. Jei modelis veikia lėtai arba yra nepasiekiamas, užklausą perima kitas leistinas modelis. Raktas, kurį naudojant įvyksta klaida, 60 sekundžių nenaudojamas ir yra praleidžiamas; po penkių nesėkmių iš eilės jis išjungiamas. Užklausa pasiekia leistiną modelį arba laukia, o jei nepavyksta nei viena, nei kita, ji atmetama nurodant aiškią priežastį. Ji niekada nekeliauja ten, kur draudžia taisyklės.

Taisyklės prasideda organizacijos lygmeniu ir gali būti susiaurintos kiekvienam padaliniui ir programai bei kiekvienai duomenų rūšiai. Vienas padalinys gali būti apribotas vietiniais modeliais savo paties aparatinėje įrangoje, o kitas gali naudoti prieglobos modelį Europos Sąjungoje. Padalinio taisyklės niekada negali būti laisvesnės nei organizacijos.

DI komutatorius
DI komutatorius
DI komutatoriaus puslapis. Atkreipkite dėmesį, kuris modelis atlieka kurią užduotį ir kur gali keliauti duomenys. Prie kiekvieno rakto rodoma tik tai, kas ir kada jį nustatė.

Kiekviena užklausa suskaičiuojama, bet niekada neskaitoma

Komutatorius skaičiuoja kiekvieną užklausą pagal asmenį ir komandą, taip pat pagal programą ir dieną. Jis taip pat matuoja kiekvienos užklausos laiką ir kainą. Jis niekada nesaugo ir neskaito to, ko buvo klausiama ar kas buvo atsakyta. Kiekvienas biudžetas turi paskirtą savininką ir limitą. Biudžetus galima nustatyti keturiais lygmenimis – nuo visos organizacijos iki vieno asmens, tarp jų įtraukiant padalinius ir įgūdžius. Pasiekus biudžeto limitą, taikoma jo savininko pasirinkta taisyklė. Darbas gali būti tęsiamas arba perkeliamas į pigesnį modelį, arba gali būti sustabdytas, kol sutikimą duos administratorius. Finansų skyrius gauna vieną ataskaitą, apimančią tiek prieglobos, tiek vietinius modelius.

Modeliai jūsų pačių serveriuose

Bet kuris modelis, kurį organizacija naudoja savo aparatinėje įrangoje, gali būti prijungtas prie komutatoriaus, jei tik jis palaiko su „OpenAI“ suderinamą protokolą. Jūsų IT komanda nurodo komutatoriui serverio adresą, mato jo rastus modelius ir parenka, kokią užduotį kiekvienas iš jų atlieka. Kai tai atliekama, ryšio puslapyje patvirtinama: „Niekas neišeina iš šios vietos“. Nedidelis modelis, paverčiantis tekstą paieškai tinkama forma, pagal numatytuosius nustatymus taip pat veikia pačiame diegime, įprastuose procesoriuose, todėl pačiai paieškai nereikia jokios išorinės paslaugos. Naudoti tam prieglobos paslaugą yra sprendimas, kurį organizacija gali priimti pati.

Nuo išorinio tinklo izoliuotoje vietoje, tokioje kaip „Harrow“, vietiniai modeliai yra vieninteliai modeliai. To puikiai pakanka daugumai žmonių atliekamų darbų, tačiau tai lemia vieną aiškią ribą: kad funkcija veiktų, jos modelis turi būti įdiegtas vietoje. „Harrow“ užrašinės studija gali kurti skaidres ir vieno puslapio santraukas naudodama vietinius modelius, tačiau garso santraukai reikia balso modelio, ir kol jis neįdiegtas, studija tai aiškiai nurodo ir įvardija, kas gali jį pridėti.

Studija nuo išorinio tinklo izoliuotoje vietoje
Studija nuo išorinio tinklo izoliuotoje vietoje
Užrašinės studija nuo išorinio tinklo izoliuotoje vietoje. Garso santraukų kūrimas sustoja dėl trūkstamo balso modelio, o informaciniame skydelyje nurodoma, kas gali jį pridėti ir ką studija gali sukurti tuo tarpu.

Vietiniai modeliai taip pat gali tikrinti vienas kitą. „Harrow“ organizacijoje vienos modelių šeimos atliktą darbą peržiūri kita (pavyzdžiui, „Qwen3-32B“ darbą tikrina „Llama 3.3 70B“), todėl vienos šeimos trūkumų netikrina ta pati šeima.

Organizacijoms, norinčioms žengti toliau, priedas „Modelių gamykla“ apmoko ir derina modelius pačios organizacijos vaizdo plokštėse, naudodamas tik tuos duomenis, kuriuos organizacijai leidžiama naudoti.

Nėra rakto – nėra DI, ir Nexus tai pasako

Organizacija, neturinti prijungto modelio, negauna jokių DI atsakymų. Tai sąmoningas architektūros apribojimas, o ne klaida. „Nexus“ tyliai nesiskolina bendro rakto šiai spragai užpildyti, nes tuomet organizacijos duomenys nukeliautų ten, ko ji niekada nepasirinko.

Vietoj to žmonės mato paprastą informacinį skydelį. Asistentas paaiškina, kad negali atsakyti, nes neprijungtas joks modelis, smulkiu šriftu pateikia kodą MODEL_NOT_CONNECTED ir tiems, kas turi tokias teises, pasiūlo parinktį „Prijungti modelį“. Modelio laukiančios užduotys pradedamos vykdyti vos tik jis vėl atsiranda.

Niekas nekeliauja į Adverant už jūsų nugaros

Savarankiškai priglobta „Nexus“ sistema nesiunčia „Adverant“ ataskaitų apie jūsų žmones. Kai kažkas vis dėlto išsiunčiama, prieš išsiųsdami jūs tai perskaitote.

Jūsų pačių infrastruktūroje veikiantis diegimas paruošia metinę naudojimo ataskaitą, kurioje yra tik skaitikliai: kiek darbo vietų ir įrenginių yra naudojama bei kokios funkcijų grupės. Jūsų administratorius perskaito ją eilutė po eilutės prieš įkeldamas arba išnešdamas diske. Nuo išorinio tinklo izoliuota vieta, prašanti naujos funkcijos, išsiunčia užklausos failą, kuriame nurodomas diegimas ir funkcija bei diegimo kontrolinis kodas. Kartu su juo nesiunčiama jokia informacija apie žmones ar jų darbą. Kai jums prireikia pagalbos, pagalbos paketas parodo, kokią informaciją jis surinks, ir pateikia paslėptų duomenų peržiūrą prieš bet ką išsiunčiant.

„Adverant“ darbuotojai negali savo iniciatyva žvalgytis kliento diegimo viduje. Jei pagalbos tarnybai to prireikia, užklausa pateikiama per pagalbos užklausą, o jūsų administratorius atsako „taip“ arba „ne“. Sutikimas „taip“ galioja nustatytą laiką – daugiausia aštuonias valandas – ir tik įvardytai sričiai, pavyzdžiui, variklio žurnalams. Jis niekada neapima jokių asmenų žinučių ar failų, nei jų pašto ar atminties.

Asmeninė žmogaus prenumerata niekada netampa organizacijos prenumerata

Kai kurie žmonės už DI prenumeratą, pavyzdžiui, „Claude Max“ planą, moka patys. „Nexus“ niekada nelaiko jos priklausančia organizacijai. Asmeninės prenumeratos negalima pridėti prie organizacijos telkinio (telkinys atmeta ją pagal pavadinimą), ir joks puslapis, rodantis organizacijos DI sąranką, niekada jos neįtraukia į sąrašą.

Priežastys yra praktinės. Asmeninis planas perkamas vartotojo sąlygomis vienam asmeniui, todėl kolegų darbo nukreipimas per jį pažeistų šias sąlygas. Organizacija negali matyti jo naudojimo ar nustatyti jam biudžeto, be to, jam išeinant iš darbo, planas keliauja kartu su tuo asmeniu. Organizacijos DI turėtų remtis raktais, kurie priklauso pačiai organizacijai, ir „Nexus“ sistemoje būtent taip ir yra.