Přihlásit seDomluvit prezentaci
Ústředna pro AI

Každé volání modelu je směrováno tam, kam povolíte.

Platformy na systému Nexus nikdy nevolají modely napřímo. Dotazují se ústředny. Ta vybere model vhodný pro daný úkol, odešle požadavek do lokality, kterou vaše pravidla povolují, a započítá jej do rozpočtu s konkrétním vlastníkem.

Vaše vlastní modely nebo schválené hostovanéV regionech, které povolítePočítá využití, nikdy nečte obsah
nexus · páteřní infrastruktura · ústředna pro AIUkázková data
Ústředna v praxi. Volání ze čtyř platforem, každé odeslané na povolený model.Ukázková data
Jak směruje

Jeden dotaz. Čtyři rozhodnutí v milisekundách.

Než volání odejde, platforma jej označí štítkem: který útvar se ptá, v jaké roli a jak citlivá jsou data. Ústředna směruje požadavek podle tohoto štítku a samotné volání nikdy neotevírá. Pokud je první volba vytížená nebo nedostupná, přebírá úkol další povolený model v pořadí.

01

Úkol

Čtení naskenovaného formuláře, návrh dopisu a kontrola rozhodnutí vyžadují různé modely. Každá aplikace určí, o jaký typ úkolu jde.

02

Data

Osobní nebo utajovaná data lze omezit pouze na vaše vlastní modely na vašem hardwaru. Veřejná data mohou využívat širší škálu modelů.

03

Lokalita

Volání odchází pouze do regionů a k poskytovatelům, které daný útvar povoluje. Volání mimo povolený okruh je zamítnuto a toto zamítnutí je zaznamenáno.

04

Záloha

Pokud je model pomalý nebo nedostupný, odpoví další povolený model. Nikdo nečeká a kvůli výsledku se neporuší žádné pravidlo.

nexus · backplane · AI ústředna, živěUkázková data
AI ústředna živě, s voláními podle platformy a modelu
Živě. Volání ze všech platforem, který model odpověděl a jak dlouho to trvalo.Ukázková data
Kam mohou volání jít

Vaše pravidla rozhodují, kam smí volání odejít.

Nastavte pravidla jednou pro celou organizaci a poté je zpřesněte pro konkrétní útvar nebo platformu. Obranný útvar tak může být omezen na modely na vlastním hardwaru, zatímco marketingový tým využívá hostovaný model v EU.

  • Na prvním místě vaše vlastní modely na vašich GPU
  • Vámi schválené hostované modely, podle regionu
  • Podle útvaru, platformy a typu dat
  • Každé zamítnuté volání zapsané v záznamu
nexus · nastavení · povolené cíle pro odchozí voláníUkázková data
Nastavení lokalit, kam smějí odcházet volání AI, podle regionu a poskytovatele
Kam mohou volání odcházet. Povolené lokality nastavené podle útvaru a typu dat.Ukázková data
Započítáno

Každé volání se započítává do rozpočtu, za který někdo zodpovídá.

Využití se počítá podle osoby, týmu, aplikace a dne. Každý rozpočet má jmenovitého vlastníka a svůj limit. Finanční oddělení pak vidí jedno souhrnné vyúčtování. Počítáme využití. Nikdy nečteme obsah.

  • Rozpočty

    Podle útvaru a aplikace, s upozorněním před vyčerpáním limitu a osobou oprávněnou limit navýšit.

  • Jedno vyúčtování

    Každý model, hostovaný i váš vlastní, na jednom přehledu pro finanční oddělení.

  • Který model obsluhuje co

    Podívejte se, který model nebo dovednost odpovídá jednotlivým aplikacím, a měňte nastavení na jednom místě.

nexus · skills · který model obsluhuje jednotlivé aplikaceUkázková data
Který model nebo dovednost obsluhuje jednotlivé aplikace, podle útvaru
Který model obsluhuje jednotlivé aplikace. Změňte to jednou a projeví se to na všech platformách.Ukázková data
Ve velkém měřítku

Od jednoho týmu po každý útvar.

Jak využití roste, ústředna rozkládá volání mezi kopie vašich modelů, ukládá do mezipaměti to, co lze, a hlídá spravedlivý podíl kapacity pro každý útvar, aby jeden vytížený tým nezpomalil všechny ostatní.

nexus · settings · AI ve velkém měřítkuUkázková data
Nastavení pro provoz AI ve velkém měřítku: kopie, sdílení kapacity a ukládání do mezipaměti
AI ve velkém měřítku. Kopie, spravedlivé podíly a mezipaměť pro každý útvar.Ukázková data
nexus · engines · AI ústřednaUkázková data
Jádro AI ústředny s jeho trasami a limity
Jádro ústředny. Trasy, limity a stav systému v jednom přehledu.Ukázková data
Otázky

Na co se lidé u ústředny ptají.

Můžeme používat vlastní modely?

Ano. Připojte modely běžící na vašem vlastním hardwaru nebo ve vašem cloudovém účtu. Ústředna s nimi pracuje jako s jakýmkoli jiným modelem a pro některé typy dat můžete jejich použití vyžadovat.

Vidí Adverant, na co se naši lidé ptají?

Ne. Ústředna počítá volání a měří čas a náklady. Neukládá ani nečte obsah dotazů ani odpovědí.

Co se stane při výpadku poskytovatele?

Volání převezme další povolený model. Pokud žádný povolený model není k dispozici, volání počká nebo skončí chybou s jasným odůvodněním. Nikdy ale neodejde tam, kam to vaše pravidla zakazují.

Můžeme nastavit různá pravidla pro každý útvar?

Ano. Pravidla vycházejí z úrovně celé organizace a lze je zúžit pro každý útvar, platformu a typ dat. Pravidla útvaru však nikdy nemohou být mírnější než pravidla organizace.

Domluvit prezentaci

Podívejte se na své modely za jednou ústřednou.

Řekněte nám, které modely dnes používáte a kde musí vaše data zůstat. Ukážeme vám pravidla směrování, která tomu odpovídají.