PrisijungtiUžsisakyti pristatymą
DI komutatorius

Kiekviena užklausa modeliui nukreipiama ten, kur leidžiate.

Nexus platformos niekada nesikreipia į modelius tiesiogiai – jos kreipiasi į komutatorių. Jis parenka užduočiai tinkamą modelį, nukreipia užklausą ten, kur leidžia jūsų taisyklės, ir priskiria ją konkrečiam biudžetui.

Jūsų arba patvirtinti išoriniai modeliaiRegionuose, kuriuos leidžiateApskaito naudojimą, niekada neskaito turinio
nexus · bazinė architektūra · DI komutatoriusPavyzdiniai duomenys
Komutatorius darbe. Užklausos iš keturių platformų, nukreiptos į leistinus modelius.Pavyzdiniai duomenys
Kaip nukreipiama

Vienas klausimas. Keturi sprendimai per milisekundes.

Prieš išsiunčiant užklausą, platforma ją pažymi: kuris padalinys klausia, kokiam vaidmeniui ir kiek jautrūs yra duomenys. Komutatorius nukreipia užklausą pagal šią žymą ir niekada neatidaro pačios užklausos. Jei pirmasis pasirinkimas užimtas arba neveikia, darbą perima kitas leistinas modelis.

01

Užduotis

Nuskaitytai formai perskaityti, laiškui paruošti ar sprendimui patikrinti reikia skirtingų modelių. Kiekviena programa nurodo, kokio pobūdžio tai užduotis.

02

Duomenys

Asmeninius ar slaptus duomenis galima apdoroti tik jūsų modeliais jūsų pačių įrangoje. Viešiems duomenims galima leisti daugiau.

03

Vieta

Užklausos keliauja tik į tuos regionus ir pas tuos tiekėjus, kuriuos leidžia padalinys. Užklausa, kuri pažeistų ribas, atmetama, o atmetimas užregistruojamas.

04

Atsarginis variantas

Jei modelis veikia lėtai arba yra nepasiekiamas, atsako kitas leistinas modelis. Niekas nelaukia ir jokia taisyklė nepažeidžiama.

nexus · backplane · the AI switchboard, livePavyzdiniai duomenys
DI komutatorius tiesiogiai: užklausos pagal platformą ir modelį
Tiesiogiai. Kiekvienos platformos užklausos, atsakęs modelis ir trukmė.Pavyzdiniai duomenys
Kur siunčiama

Jūsų taisyklės lemia, kur užklausa gali būti išsiųsta.

Nustatykite taisykles visai organizacijai, o tada susiaurinkite jas padaliniui ar platformai. Gynybos padaliniui gali būti leista naudoti tik modelius nuosavoje įrangoje, o rinkodaros komanda gali naudoti išorinį modelį ES ribose.

  • Pirmiausia – jūsų modeliai jūsų pačių GPU įrangoje
  • Jūsų patvirtinti išoriniai modeliai pagal regioną
  • Pagal padalinį, platformą ir duomenų tipą
  • Kiekviena atmesta užklausa įrašoma į žurnalą
nexus · nustatymai · kur gali būti siunčiamos užklausosPavyzdiniai duomenys
Nustatymai, kur DI užklausos gali būti siunčiamos, pagal regioną ir tiekėją
Kur užklausos gali keliauti. Leistinos vietos, nustatytos pagal padalinį ir duomenų tipą.Pavyzdiniai duomenys
Suskaičiuota

Kiekviena užklausa priskiriama biudžetui, už kurį kažkas atsako.

Naudojimas apskaitomas pagal darbuotoją, komandą, programą ir dieną. Kiekvienas biudžetas turi paskirtą savininką bei limitą, o finansų skyrius gauna vieną sąskaitą. Mes skaičiuojame naudojimą. Mes niekada neskaitome turinio.

  • Biudžetai

    Pagal padalinį ir programą, su įspėjimu artėjant prie limito ir asmeniu, galinčiu jį padidinti.

  • Viena sąskaita

    Kiekvienas modelis – išorinis ar jūsų pačių – vienoje finansų skyriui aiškioje ataskaitoje.

  • Kuris modelis ką aptarnauja

    Matykite, kuris modelis ar įgūdis atsako kiekvienai programai, ir keiskite tai vienoje vietoje.

nexus · skills · which model serves each appPavyzdiniai duomenys
Kuris modelis ar įgūdis aptarnauja kiekvieną programą, pagal padalinį
Kuris modelis aptarnauja kiekvieną programą. Pakeiskite vieną kartą – pritaikoma visose platformose.Pavyzdiniai duomenys
Dideliu mastu

Nuo vienos komandos iki kiekvieno padalinio.

Augant apkrovai, komutatorius paskirsto užklausas tarp jūsų modelių kopijų, podėlyje saugo tai, ką galima išsaugoti, ir užtikrina sąžiningą resursų dalį kiekvienam padaliniui, kad viena apkrauta komanda nesulėtintų visų kitų.

nexus · settings · AI at scalePavyzdiniai duomenys
Nustatymai DI veikimui dideliu mastu: kopijos, resursų dalijimasis ir podėlis
DI dideliu mastu. Kopijos, resursų kvotos ir podėlis pagal padalinį.Pavyzdiniai duomenys
nexus · engines · the AI switchboardPavyzdiniai duomenys
DI komutatoriaus variklis su maršrutais ir limitais
Komutatoriaus variklis. Maršrutai, limitai ir būklė viename lange.Pavyzdiniai duomenys
Klausimai

Ko dažniausiai klausiama apie komutatorių.

Ar galime naudoti savo modelius?

Taip. Prijunkite modelius, veikiančius jūsų pačių įrangoje arba jūsų debesijos paskyroje. Komutatorius juos traktuoja kaip bet kurį kitą modelį, be to, galite nustatyti, kad tam tikrų tipų duomenims būtų privaloma naudoti būtent juos.

Ar Adverant mato, ko klausia mūsų darbuotojai?

Ne. Komutatorius skaičiuoja užklausas bei matuoja laiką ir sąnaudas. Jis nesaugo ir neskaito klausimų ar atsakymų turinio.

Kas nutinka, kai tiekėjo sistema neveikia?

Užklausą perima kitas leistinas modelis. Jei nėra jokio prieinamo leistino modelio, užklausa laukia arba atmetama nurodant aiškią priežastį. Ji niekada nenukreipiama ten, kur draudžia jūsų taisyklės.

Ar galime nustatyti skirtingas taisykles kiekvienam padaliniui?

Taip. Taisyklės nustatomos organizacijos lygmeniu ir gali būti sugriežtintos kiekvienam padaliniui, platformai bei duomenų tipui. Padalinio taisyklės niekada negali būti laisvesnės nei organizacijos.

Užsisakyti pristatymą

Valdykite visus savo modelius vienu komutatoriumi.

Pasakykite mums, kokius modelius naudojate šiandien ir kur turi likti jūsų duomenys. Parodysime jums tinkamas nukreipimo taisykles.