Verzia 1.0.0-alpha.1najnovšia
Kapitola 2.15
Druhý deň: prevádzka systému Nexus
Bežná práca spojená s prevádzkou inštalácie po prvom týždni. Začína sa odpečatením úložiska kľúčov po reštarte a končí sa odinštalovaním.
Táto stránka bola preložená pomocou AI z anglického originálu. V prípade akýchkoľvek nejasností je rozhodujúca anglická verzia stránky. Prečítať túto stránku v angličtine

Keď v serverovni organizácie Harrow Port Authority prvýkrát vypadol prúd, všetko nabehlo okrem častí, ktoré potrebovali kľúče. Pody boli v stave Running a konzola sa načítala. Nikto však nedokázal otvoriť žiadny súbor. Tomás Reilly o tom čítal, no aj tak mu trvalo dvadsať minút, kým si spomenul prečo. Odomykač úložiska kľúčov sa po každom reštarte svojho uzla spúšťa zamknutý a otvoriť ho môže iba správca kľúčov.
Táto kapitola sleduje bežnú rutinu operátora po prvom týždni, od úložiska kľúčov a jeho správcov až po odinštalovanie. Každý príkaz nexusctl v tejto časti akceptuje parameter --explain, ktorý vypíše operácie kubectl a helm, ktoré by vykonal, bez toho, aby ich skutočne spustil. Použite ho pri prvom spustení čohokoľvek na produkčnom klastri.
Správa úložiska kľúčov
Inštalácia má vo svojom mennom priestore dva servery OpenBao. Úložisko kľúčov, openbao, uchováva každý kľúč, ktorý Nexus používa. Odomykač, openbao-unsealer, je druhý, malý server OpenBao, ktorého jedinou úlohou je odomknúť úložisko kľúčov. Úložisko kľúčov sa odomyká samo prostredníctvom tranzitného kľúča odomykača; samotný odomykač je zamknutý pomocou Shamirovej schémy, teda rozdelený na 5 častí, z ktorých ľubovoľné 3 ho odomknú.
Pri prvej inštalácii úloha správy kľúčov (Job) inicializuje oba servery vnútri klastra. Vo vlastnej pamäti zašifruje časti odomykača a obnovovacie kľúče úložiska kľúčov pre každého správcu kľúčov uvedeného v keys.custody.recipients a uloží iba šifrovaný text (objekty Secret openbao-unseal-shares-encrypted a openbao-recovery-keys-encrypted). V tej istej úlohe zneplatní oba koreňové tokeny. Balík každého správcu kľúčov obsahuje dostatok častí na samostatné odomknutie, takže po reštarte stačí jeden správca kľúčov.
Po reštarte uzla
Po akomkoľvek reštarte uzla, na ktorom beží odomykač (výpadok prúdu, reštart stroja, reštart behového prostredia kontajnerov), sa odomykač spustí zamknutý. Kým ho správca kľúčov neodomkne, zostane zamknuté aj úložisko kľúčov a nič, čo vyžaduje kľúč, nefunguje. Konzola naďalej odpovedá a ľudia sa môžu prihlásiť, no každá akcia vyžadujúca kľúč z úložiska kľúčov čaká: otváranie šifrovaného obsahu, nárokovanie inštalácie či kontrola skompilovanej časti.
Opýtajte sa priamo servera OpenBao vnútri každého podu. Toto je odomykač:
kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
bao status -format=json -address=https://127.0.0.1:8200 \
-ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"Spustite rovnaký príkaz pre openbao-0 s parametrom -tls-server-name=openbao pre úložisko kľúčov. Príkaz bao status skončí s kódom 0, keď je server odomknutý, 2, keď je zamknutý, a 1, keď nedokázal odpovedať. Návratový kód 1 nič neznamená, pretože pod ešte nemusí bežať. Počkajte minútu a opýtajte sa znova. Ak je odomykač odomknutý a úložisko kľúčov je stále zamknuté, úložisko kľúčov sa práve odomyká samo a nemusíte robiť nič.
Odomykanie
Chart obsahuje skript unseal.sh vo svojom priečinku files/custody/, ktorý je bajt po bajte rovnaký v každom vydaní. Správca kľúčov ho spúšťa na vlastnom počítači. Skript načíta šifrovaný Secret, jednorazovo ho dešifruje pomocou identity správcu kľúčov (identita v Secure Enclave si raz vyžiada Touch ID), odošle časti odomykaču a potvrdí, že je odomknutý. Žiadna časť sa nikdy nezapíše do súboru ani sa nevloží do príkazového riadka.
Harrow ho spúšťa v priamom režime cez presmerovanie portov (port-forward):
kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &
AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh<path-to-your-custodian-identity> je súbor identity age správcu kľúčov, teda súkromná polovica jedného z príjemcov v keys.custody.recipients. UNSEAL_RESOLVE je názov, ktorý nesie certifikát odomykača (<namespace> je menný priestor, v ktorom je Nexus nainštalovaný, predvolene nexus), takže TLS sa overuje voči vlastnej certifikačnej autorite (CA) odomykača, aj keď pripojenie smeruje na 127.0.0.1. Skript nikdy nevypína kontrolu certifikátov.
| Návratový kód | Posledný riadok | Význam |
|---|---|---|
| 0 | UNSEALED nexus/openbao-unsealer-0 |
Odomknuté. Ak už bolo odomknuté, nič sa neodoslalo |
| 1 | STILL-SEALED … |
Stále zamknuté alebo volanie na odomknutie zlyhalo |
| 2 | UNSEAL-REFUSED … |
Chýba prerekvizita uvedená v správe |
| 3 | UNSEAL-REFUSED … |
Táto identita nedokáže dešifrovať časti, takže nie je správcom kľúčov tejto inštalácie. Nič sa neodoslalo |
Do minúty sa úložisko kľúčov pridá samo. Pomocou kubectl -n nexus get deploy,statefulset skontrolujte, či je všetko opäť pripravené.
Správcovia kľúčov sa vyberajú pred inštaláciou a každý si vytvorí vlastný kľúč na svojom počítači. Chart vidí vždy iba verejnú polovicu:
age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.keyPrvý príkaz vytvorí bežnú identitu age; jej príjemcom je riadok # public key: age1... v súbore. Druhý vytvorí identitu uloženú v Secure Enclave počítača Mac s príjemcom začínajúcim na age1se1. Ktorýkoľvek z týchto príjemcov sa vloží do keys.custody.recipients. Súbor identity zostáva u svojho správcu kľúčov, offline.
Zálohovanie a obnova
Stránka Zálohovanie a obnova zobrazuje každé úložisko s jeho poslednou zálohou a časom, kedy bola naposledy reálne otestovaná jeho obnova. Záloha je preverená až vtedy, keď bola obnovená, preto stránka sleduje oboje. Zálohuje sa šesť úložísk. Hlavná databáza uchováva ľudí a nastavenia, úlohy a auditný záznam. Vedľa nej sa nachádza znalostný graf a vyhľadávací index, ďalej úložisko súborov a pamäťové úložisko. Šiestym sú kľúče, zamknuté a uchovávané oddelene od dát. Zálohy smerujú do vášho vlastného úložiska, sú šifrované vašimi vlastnými kľúčmi a Adverant ich nedokáže prečítať. Keď úložisko nebolo testovacie obnovené v rámci vášho pravidla, na stránke sa zobrazí štítok RESTORE_TEST_OVERDUE s tlačidlom Otestovať teraz. Testovacia obnova beží v oddelenom priestore a nikto si ju nevšimne.
Rovnaké dve akcie sú dostupné aj z príkazového riadka:
nexusctl backup now
nexusctl backup verifyPríkaz backup now vytvorí zálohu všetkých úložísk naraz. Príkaz backup verify skontroluje poslednú zálohu. Spustite oba pred akoukoľvek zmenou, z ktorej máte obavy.
Pri obnove zadáte názov zálohy:
nexusctl restore --from <backup-id>Hodnota <backup-id> pochádza zo zoznamu na stránke Zálohovanie a obnova. Obnova vyžaduje schválenie druhou osobou a počas jej behu ju zobrazuje indikátor priebehu spolu s časom spustenia a menom schvaľovateľa. Počas obnovy majú všetci režim iba na čítanie, čo je rozdiel oproti vymknutiu: ľudia sa môžu prihlásiť a čítať. Úlohy sa nespúšťajú (plány čakajú a dobehnú neskôr) a vyhľadávanie sa vráti, keď je späť vyhľadávací index. Všetko zapísané po vytvorení zálohy sa stratí, preto správa o obnove vypíše tieto položky podľa vlastníkov, aby ich mohli zopakovať.
Spolu so zálohami si uchovajte ešte jednu vec: objekt Secret nexus-generated v mennom priestore nexus. Chart vytvorí vygenerované heslá a šifrovacie kľúče inštalácie pri prvej inštalácii a pri každej aktualizácii ich z tohto objektu Secret opäť načíta. Dáta zamknuté pod EXTERNAL_KEY_ENCRYPTION_KEY sa dajú otvoriť iba týmto kľúčom. Kópiu tohto objektu Secret si uložte tam, kde uchovávate najcitlivejšie materiály, pretože ktokoľvek ho má v držbe, má aj tieto kľúče.
Aktualizácie na vyššiu verziu
Tomás aktualizuje v dvoch krokoch. Najprv sa opýta, čo sa zmení:
nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarPlán vypíše, čo sa vo vydaní mení, akékoľvek zmeny v štruktúre databázy a či sa dajú vrátiť späť. Potom ho aplikuje:
nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarAplikovanie najprv vytvorí zálohu a spustí predbežnú kontrolu (preflight). Potom presúva jadrá (engines) vo vlnách, pričom každá vlna čaká, kým predchádzajúca nie je v poriadku aspoň 10 minút. Stránka Aktualizácia zobrazuje priebeh každej vlny a aktuálny stav inštalácie. Uvádza tiež, dokedy zostáva otvorená cesta späť; po tomto dátume si návrat vyžaduje obnovu zo zálohy. Ak niektorý krok zlyhá, Nexus vráti každé jadro na predchádzajúce vydanie a skontroluje ich. Oznam UPGRADE_ROLLED_BACK potom pomenuje krok, ktorý zlyhal, a uvedie, že dáta neboli zmenené. Pred tlačidlom Skúsiť znova je uvedený postup opravy a podporný balík je dostupný jedným kliknutím.
Pre inštaláciu bez vonkajšieho pripojenia prichádza balík na médiu. Import z média skontroluje podpis vydania voči kľúču vydania Adverant nainštalovanému v inštalácii a overí, či sa verzie posúvajú iba dopredu. Súbory podpísané kýmkoľvek iným sú odmietnuté s chybou MEDIA_SIGNATURE_INVALID: nič sa nenačíta a bežiace vydanie pokračuje v behu.
Čo sa deje na pozadí
Príkaz nexusctl upgrade apply spustí helm upgrade voči chartu. Ak aktualizujete pomocou nástroja Helm sami, platia rovnaké pravidlá:
helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900sSchéma sa presunie pred nasadením nových podov. Migrácie chartu sú háky pred aktualizáciou (pre-upgrade hooks), ktoré bežia v poradí: najprv počiatočné nastavenie databázy (bootstrap), potom migrácie jednotlivých služieb a nakoniec migrácie backendu pre frontend (BFF) konzoly. Spustí sa aj úloha správy kľúčov (custody Job), ktorá na už inicializovanej inštalácii tento stav iba potvrdí a nič nemení. Každá úloha háku má limit opakovaní (backoff limit) nastavený na 0, takže migrácia, ktorá zlyhá, zastaví aktualizáciu a nikdy sa potichu neopakuje: pred ďalším pokusom si prečítajte jej záznam pomocou kubectl -n nexus logs job/<hook-job>.
Pod každej služby čaká v inicializačnom kontajneri wait-for-schema, kým kniha vydaní (release ledger) neukáže, že jej migrácie pre obraz nového vydania boli aplikované. Po návrate späť (rollback) alebo po aktualizácii, ktorá zmenila iba hodnoty, reštartovaný pod nájde svoj záznam a okamžite sa spustí.
Pred aktualizáciou
Pri plánovaní sa oplatí zohľadniť tri body z poznámok k vydaniu:
- Aktualizujte v pokojnom období. Pri prvej aktualizácii inštalácie vytvorenej zo staršieho chartu úloha počiatočného nastavenia (bootstrap) odoberie staré predvolené práva k tabuľkám a každá služba získa svoje vlastné práva späť zo svojej vlastnej migrácie. Kým táto migrácia neprebehne, služba nemôže používať svoje tabuľky. Tento výpadok trvá niekoľko sekúnd. Ak na sekundách záleží, najprv znížte počet replík služieb na nulu a zálohu vytvorte až po dokončení migračných úloh.
- Priraďte každému kľúču aplikačného programovacieho rozhrania (API) organizáciu. Kľúč bez organizácie odmietne s chybou
403 TOKEN_ORG_MISSINGkaždá služba, ktorá kontroluje kľúče cez nexus-auth, vrátane nexus-graphrag. Pred aktualizáciou priraďte každému takémuto kľúču organizáciu alebo vydajte nový kľúč. Staré kľúče bcrypt fungujú ďalej až do dátumu ich tvrdého zneplatnenia. - Po dokončení vyprázdnite vyrovnávaciu pamäť kľúčov API. Kým to neurobíte, záznamy kľúčov vo vyrovnávacej pamäti môžu až hodinu niesť nesprávny názov aplikácie. Spustite tento príkaz voči vyrovnávacej pamäti služby nexus-auth, ktorou je Valkey danej inštalácie (
nexus-valkey, heslo v objekte Secretnexus-generatedpodVALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"Toto platí pre predvolené úložisko vnútri klastra. Pri použití dataTier.valkey.mode: external takýto pod neexistuje: spustite rovnaké vyhľadanie a vymazanie voči vlastnému hostiteľovi Valkey s heslom z objektu Secret uvedeného v dataTier.valkey.external.existingSecret.
Návrat k predchádzajúcej verzii (rollback)
V rámci časového okna zobrazeného na stránke Aktualizácia vráti tlačidlo Vrátiť späť každé jadro na predchádzajúce vydanie. Po uplynutí tohto okna znamená návrat späť obnovu zo zálohy, ktorú aktualizácia vytvorila ako prvú.
Dve hodnoty sa nesmú nikdy zmeniť počas aktualizácie ani návratu späť.
Hodnota keys.installationName je trvalá. Prvé počiatočné nastavenie úložiska kľúčov pod ňou vytvorí identitu inštalácie a práve táto identita je uvedená vo vašej licencii. Použite presne tú istú hodnotu v každom súbore hodnôt (values), ktorý kedy aplikujete na túto inštaláciu.
Objekt Secret nexus-generated musí zostať tak, ako je. Pri každej aktualizácii z neho chart načíta EXTERNAL_KEY_ENCRYPTION_KEY a skontroluje jeho tvar. Hodnota, ktorá nie je ani v kódovaní base64 s dĺžkou 32 bajtov, ani surovým 32-bajtovým kľúčom zo staršej inštalácie, zastaví vykresľovanie (render) s chybou EXTERNAL_KEY_ENCRYPTION_KEY_INVALID, pričom chart túto hodnotu nikdy nevypíše. Znamená to, že niekto upravil alebo nahradil daný Secret. Vráťte späť kľúč, pod ktorým sú zamknuté dáta tejto inštalácie, v kódovaní base64 jeho 32 bajtov (printf %s "$OLD" | base64), a aktualizáciu zopakujte. Nový náhodný kľúč by spôsobil, že všetko zamknuté pod starým kľúčom by zostalo nečitateľné.
Škálovanie
Každý komponent má v súbore hodnôt (values) svoj prepínač a veľkosť. Povinné komponenty sa nedajú vypnúť: chart ich spustí bez ohľadu na to, čo hovorí ich prepínač. Ostatným možno priradiť viac replík a viac prostriedkov.
# harrow-values.yaml (Helm values): scaling
components:
gateway:
replicas: 2
resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
graphrag:
replicas: 2
workflows:
replicas: 2
workflows:
concurrency: "8"
dataTier:
qdrant:
resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }Aplikujte zmeny pomocou helm upgrade, ako je uvedené vyššie. Veľkosti zväzkov sa nastavujú pod dataTier.<store>.size; pred navýšením veľkosti skontrolujte, či vaša trieda úložiska (storage class) dokáže zväzok zväčšiť. Stránka Ako si inštalácia vedie zobrazuje graf vyťaženia procesorov a pamäte klastra spolu so zostávajúcou rezervou v každom z nich. Navýšte to, čo sa míňa ako prvé.
Balíky pre podporu
Keď Harrow potrebuje pomoc od spoločnosti Adverant, Tomás vytvorí podporný balík:
nexusctl support-bundle --out harrow-support-4471.tar.gzStránka Podporný balík v konzole vytvorí ten istý súbor. Zozbiera záznamy jadier za posledných 24 hodín spolu s podrobnosťami o stave a verziách. Nastavenia sa pridajú bez tajomstiev, spolu so správami z predbežnej kontroly a inštalácie. Pred akýmkoľvek zápisom anonymizácia nahradí mená a tajomstvá zástupnými symbolmi a vy si môžete prečítať náhľad toho, čo presne odíde. Vlastný obsah ľudí sa nikdy nezbiera. Balík putuje do spoločnosti Adverant buď nahraním na stránku Podpora a podporné balíky vo vašom účte, alebo ako súbor prenesený na médiu. Otvoriť ho môžu iba inžinieri podpory uvedení v požiadavke a po 30 dňoch sa vymaže.
Export dôkazov
Audítori a váš vlastný tím pre súlad s predpismi (compliance) často žiadajú dôkaz, že sa platforma správa tak, ako je opísané. Príkaz nexusctl evidence export ho vytvorí:
nexusctl evidence export --out harrow-evidence-2027-01Popri záznamoch, ktoré príkaz exportuje, spustí aj akceptačné sondy platformy: smerovač AI je dostupný a odpovedá, úloha UNO sa odošle a dokončí a čítanie naprieč organizáciami je odmietnuté. Ich výsledky sa nachádzajú v súbore probes.json vo výstupnom priečinku.
Prehľad stavu
Príkaz nexusctl status --json odpovedá na otázku, či je inštalácia v poriadku a v akom stave je každý komponent. Hlási tiež stav licencie s dátumom vypršania platnosti, edíciu a bežiace vydanie. Každá skompilovaná časť je vypísaná s jej odtlačkom (digest) a podpisom. Je to príkaz, ktorý môžete napojiť na vlastný monitorovací systém.
Odinštalovanie
nexusctl uninstall --profile <profile-file><profile-file> je profil nasadenia pre klaster, teda ten istý súbor, ktorý ste odovzdali príkazu nexusctl handoff --profile <profile-file> --out <dir>, ak klaster prevádzkuje váš platformový tím. Odovzdanie (handoff) pre tento tím vytvorí zrozumiteľný zoznam toho, čo Nexus od klastra vyžaduje, a manifesty na splnenie týchto požiadaviek. Odinštalovanie odstráni menné priestory systému Nexus a nič iné, pričom vaše zálohy ponechá. Identita inštalácie zanikne spolu s ňou. Neskoršia inštalácia na tom istom klastri je novou inštaláciou s novou identitou, takže jej nárokovanie je novým nárokovaním a jej licencia je novou licenciou.
Stránky Táto inštalácia (This installation)
Operátori inštalácie majú v ponuke vlastnú skupinu Táto inštalácia a na jej stránkach sa v konzole odohráva väčšina tejto kapitoly. Člen, ktorý otvorí niektorú z nich, uvidí stránku Nie ste správca, kde je uvedené, kto môže konať.
| Stránka | Na čo slúži |
|---|---|
| Licencia a čo odomyká | Licencia a jej skupiny funkcií (kapitola 2.13, Licencie) |
| Ak vyprší platnosť licencie | Stupnica vypršania platnosti slovne, s dátumami tejto licencie |
| Skompilované časti | Každý licencovaný modul s jeho nočnou kontrolou podpisu |
| Výkaz spotreby pre Adverant | Ročné počítadlá, čitateľné pred ich odoslaním |
| Verzie a aktualizácie | Každá nainštalovaná verzia s informáciou, kto a kedy ju nainštaloval |
| Aktualizácia | Fázovaná aktualizácia a cesta späť |
| Zálohovanie a obnova | Každé úložisko, jeho posledná záloha a posledná otestovaná obnova |
| Stav inštalácie | Uzly, kapacita a prevádzkové náklady s upozorneniami |
| Kľúče a vymazanie | Kľúč každej organizácie a funkcia Vymazať s uvedením dôvodu a druhou osobou |
| Incidenty | Otvorené a uzavreté problémy s popisom vykonaných krokov |
| Čoskoro vyradené | Funkcie, ktoré sa vypínajú, s dátumami, exportom a náhradou |
| Stav | Každá časť systému Nexus teraz a za posledných 30 dní, napísaná zrozumiteľne pre každého |
| Podporný balík | Čo odchádza do spoločnosti Adverant a akým spôsobom |
Dve z týchto stránok si zaslúžia zmienku. Skompilované časti každú noc kontrolujú každý licencovaný modul voči podpisu spoločnosti Adverant. Zmenená kópia modulu je odmietnutá a nikdy sa nenačíta, zatiaľ čo podpísaná kópia beží ďalej, a stránka počíta odmietnutia podľa mesiacov, takže sfalšovaná kópia neprejde bez povšimnutia. Stránka Stav je napísaná tak, aby jej rozumel každý v organizácii. Zobrazuje každú časť systému Nexus teraz a za posledných 30 dní ako pás dní s plánovanou údržbou a nedávnymi incidentmi, pričom operátor z tej istej stránky pridáva incident alebo okno údržby.
Inštalácia Community má jednu stránku, Táto inštalácia (Community), so svojou verziou, stavom a aktualizáciami. Stránky edície Enterprise sa na nej zobrazujú ako ukážky, ktoré uvádzajú, kto ich môže zapnúť.




