Verzija 1.0.0-alpha.1najnovije
Poglavlje 2.15
Drugi dan: upravljanje radom sistema Nexus
Rutinski posao vođenja instalacije nakon prve nedelje. Počinje otpečaćivanjem skladišta ključeva nakon ponovnog pokretanja, a završava se deinstalacijom.
Ovu stranicu je sa engleskog originala prevela AI tehnologija. Ako nešto nije jasno, merodavna je stranica na engleskom. Pročitajte ovu stranicu na engleskom

Prvi put kada je nestalo struje u serverskoj sali lučke uprave Harrow Port Authority, sve se vratilo osim delova kojima su bili potrebni ključevi. Podovi su bili u stanju Running i konzola se učitala. Niko nije mogao da otvori nijednu datoteku. Tomás Reilly je čitao o tome, a ipak mu je trebalo dvadeset minuta da se seti zašto. Server za otpečaćivanje skladišta ključeva pokreće se zapečaćen posle svakog ponovnog pokretanja svog čvora, a otpečatiti ga može samo čuvar.
Ovo poglavlje prati rutinu operatera posle prve nedelje, od skladišta ključeva i njegovih čuvara do deinstalacije. Svaka nexusctl komanda ovde prihvata --explain, što ispisuje kubectl i helm operacije koje bi izvršila, bez njihovog izvršavanja. Koristite to prvi put kada bilo šta pokrećete na produkcionom klasteru.
Čuvanje skladišta ključeva
Instalacija ima dva OpenBao servera u svom imenskom prostoru. Skladište ključeva, openbao, čuva sve ključeve koje Nexus koristi. Server za otpečaćivanje, openbao-unsealer, drugi je, mali OpenBao čiji je jedini zadatak da otpečati skladište ključeva. Skladište ključeva se samo otpečaćuje preko transit ključa servera za otpečaćivanje; server za otpečaćivanje je zapečaćen Shamirovom šemom, kao 5 udela od kojih ga bilo koja 3 otpečaćuju.
Pri prvoj instalaciji Job za čuvanje inicijalizuje oba servera unutar klastera. On u sopstvenoj memoriji šifruje udele servera za otpečaćivanje i ključeve za oporavak skladišta ključeva za svakog čuvara navedenog u keys.custody.recipients, i čuva samo šifrovani tekst (Secret objekte openbao-unseal-shares-encrypted i openbao-recovery-keys-encrypted). U istom Job-u opoziva oba root tokena. Paket svakog čuvara sadrži dovoljno udela da on sam izvrši otpečaćivanje, tako da je posle ponovnog pokretanja potreban samo jedan čuvar.
Posle ponovnog pokretanja čvora
Posle svakog ponovnog pokretanja čvora na kojem radi server za otpečaćivanje (nestanak struje, ponovno pokretanje mašine, ponovno pokretanje container runtime-a) server za otpečaćivanje se pokreće zapečaćen. Dok ga čuvar ne otpečati, i skladište ključeva ostaje zapečaćeno, i ništa što zahteva ključ ne radi. Konzola i dalje odgovara i korisnici i dalje mogu da se prijave, ali svaka radnja kojoj je potreban ključ iz skladišta ključeva čeka: otvaranje šifrovanog sadržaja, zahtev, provera kompajliranog dela.
Pitajte sam OpenBao, unutar svakog poda. Ovo je server za otpečaćivanje:
kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
bao status -format=json -address=https://127.0.0.1:8200 \
-ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"Pokrenite istu komandu nad openbao-0 sa -tls-server-name=openbao za skladište ključeva. bao status se završava kodom 0 kada je server otpečaćen, 2 kada je zapečaćen i 1 kada nije mogao da odgovori. Izlazni kod 1 ne dokazuje ništa, jer pod možda još nije pokrenut. Sačekajte minut i pitajte ponovo. Ako je server za otpečaćivanje otpečaćen, a skladište ključeva je i dalje zapečaćeno, skladište ključeva se samo otpečaćuje i vi ne morate ništa da radite.
Otpečaćivanje
Chart isporučuje unseal.sh, u svojoj fascikli files/custody/, bajt po bajt isti u svakom izdanju. Čuvar ga pokreće na sopstvenoj mašini. On čita šifrovani Secret, dešifruje ga jednom pomoću identiteta čuvara (identitet u Secure Enclave jednom traži Touch ID), predaje udele serveru za otpečaćivanje i potvrđuje da je otpečaćen. Nijedan udeo se nikada ne upisuje u datoteku niti stavlja u komandnu liniju.
Harrow ga pokreće u direktnom režimu, preko port-forward veze:
kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &
AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh<path-to-your-custodian-identity> je datoteka age identiteta čuvara, privatna polovina jednog od primalaca u keys.custody.recipients. UNSEAL_RESOLVE je ime koje nosi sertifikat servera za otpečaćivanje (<namespace> je imenski prostor u kojem je Nexus instaliran, podrazumevano nexus), tako da se TLS proverava prema sopstvenom CA servera za otpečaćivanje iako veza ide ka 127.0.0.1. Skripta nikada ne isključuje proveru sertifikata.
| Izlazni kod | Poslednji red | Značenje |
|---|---|---|
| 0 | UNSEALED nexus/openbao-unsealer-0 |
Otpečaćen. Ako je već bio, ništa nije poslato |
| 1 | STILL-SEALED … |
I dalje zapečaćen, ili poziv za otpečaćivanje nije uspeo |
| 2 | UNSEAL-REFUSED … |
Nedostaje preduslov, naveden u poruci |
| 3 | UNSEAL-REFUSED … |
Ovaj identitet ne može da dešifruje udele, pa nije čuvar ove instalacije. Ništa nije poslato |
U roku od minuta skladište ključeva sledi samo od sebe. Proverite pomoću kubectl -n nexus get deploy,statefulset da je sve ponovo spremno.
Čuvari se biraju pre instalacije i svaki pravi sopstveni ključ na sopstvenoj mašini. Chart uvek vidi samo javnu polovinu:
age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.keyPrva komanda pravi običan age identitet; njegov primalac je red # public key: age1... u datoteci. Druga pravi identitet koji se čuva u Secure Enclave na Mac računaru, sa primaocem koji počinje sa age1se1. Bilo koji od ta dva primaoca upisuje se u keys.custody.recipients. Datoteka identiteta ostaje kod svog čuvara, van mreže.
Rezervna kopija i vraćanje u prethodno stanje
Rezervna kopija i vraćanje prikazuje svako skladište sa njegovom poslednjom rezervnom kopijom i poslednjim trenutkom kada je njegovo vraćanje zaista testirano. Rezervna kopija je dokazana tek kada je vraćena, pa stranica prati oboje. Za šest skladišta prave se rezervne kopije. Glavna baza podataka sadrži korisnike i podešavanja; poslove i dnevnik revizije. Pored nje su graf znanja i indeks pretrage, zatim skladište datoteka i skladište memorije. Ključevi su šesti, zapečaćeni i čuvani odvojeno od podataka. Rezervne kopije idu u vaše sopstveno skladište, šifrovane vašim sopstvenim ključevima, i Adverant ne može da ih pročita. Kada vraćanje nekog skladišta nije testirano u roku koji propisuje vaše pravilo, stranica prikazuje pločicu RESTORE_TEST_OVERDUE sa dugmetom Testiraj sada. Testno vraćanje se izvršava u zasebnom prostoru i niko ga ne primećuje.
Iste dve radnje dostupne su iz komandne linije:
nexusctl backup now
nexusctl backup verifybackup now pravi rezervnu kopiju svih skladišta odjednom. backup verify proverava najnoviju rezervnu kopiju. Pokrenite obe pre svake promene zbog koje ste zabrinuti.
Za vraćanje navodite rezervnu kopiju:
nexusctl restore --from <backup-id><backup-id> dolazi sa liste na stranici Rezervna kopija i vraćanje. Vraćanje mora da odobri druga osoba, a dok traje, traka napretka ga prikazuje sa vremenom početka i imenom osobe koja ga je odobrila. Tokom vraćanja svi imaju pristup samo za čitanje, što se razlikuje od zaključavanja: korisnici mogu da se prijave i čitaju. Poslovi se ne pokreću (rasporedi čekaju i kasnije nadoknađuju), a pretraga se vraća kada se vrati indeks pretrage. Sve što je upisano posle pravljenja rezervne kopije se gubi, pa izveštaj o vraćanju to navodi po vlasniku, kako bi oni mogli to ponovo da urade.
Uz rezervne kopije čuvajte još nešto: Secret nexus-generated u imenskom prostoru nexus. Chart pri prvoj instalaciji pravi generisane lozinke i ključeve za šifrovanje instalacije i pri svakoj nadogradnji ih ponovo čita iz tog Secret objekta. Podaci zapečaćeni pod EXTERNAL_KEY_ENCRYPTION_KEY otvaraju se samo tim ključem. Sačuvajte kopiju tog Secret objekta tamo gde čuvate svoj najosetljiviji materijal, jer ko god ga poseduje, poseduje i te ključeve.
Nadogradnje
Tomás vrši nadogradnju u dva koraka. Najpre pita šta će se promeniti:
nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarPlan navodi šta se menja u izdanju, svaku promenu strukture baze podataka i da li se ona može poništiti. Zatim ga primenjuje:
nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarPrimena najpre pravi rezervnu kopiju i pokreće preliminarne provere. Zatim premešta mašine u talasima, a svaki talas čeka da prethodni bude ispravan 10 minuta. Stranica Nadogradnja prikazuje svaki talas dok traje i u međuvremenu stanje instalacije. Navodi i do kada ostaje otvoren put nazad; posle tog datuma, povratak zahteva vraćanje iz rezervne kopije. Ako neki korak ne uspe, Nexus vraća sve mašine na prethodno izdanje i proverava ih. Obaveštenje UPGRADE_ROLLED_BACK tada navodi korak koji nije uspeo i da podaci nisu promenjeni. Rešenje se navodi pre dugmeta Pokušaj ponovo, a paket za podršku je udaljen jedan klik.
Za instalaciju bez spoljne veze paket stiže na medijumu. Uvoz sa medijuma proverava potpis izdanja prema ključu izdanja kompanije Adverant instaliranom na instalaciji i proverava da se verzije pomeraju samo unapred. Datoteke koje je potpisao bilo ko drugi odbijaju se sa MEDIA_SIGNATURE_INVALID: ništa se ne učitava, a izdanje koje radi nastavlja da radi.
Šta se dešava u pozadini
nexusctl upgrade apply pokreće helm upgrade nad chart-om. Ako nadogradnju vršite sami pomoću Helm-a, važe ista pravila:
helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900sŠema se menja pre nego što se uvedu novi podovi. Migracije chart-a su pre-upgrade hook-ovi koji se izvršavaju redom: najpre inicijalizacija baze podataka, zatim migracije svakog servisa, pa migracije backend-a za frontend (BFF) konzole. Pokreće se i Job za čuvanje, koji na već inicijalizovanoj instalaciji to potvrđuje i ništa ne menja. Svaki hook Job ima backoff limit 0, tako da migracija koja ne uspe zaustavlja nadogradnju i nikada se ne ponavlja neprimetno: pročitajte njen dnevnik pomoću kubectl -n nexus logs job/<hook-job> pre nego što pokušate ponovo.
Pod svakog servisa čeka u init kontejneru, wait-for-schema, dok evidencija izdanja ne pokaže da su njegove migracije primenjene za image novog izdanja. Posle poništavanja, ili nadogradnje koja je promenila samo vrednosti, ponovo pokrenuti pod pronalazi svoj red i odmah se pokreće.
Pre nadogradnje
Tri stavke iz napomena uz izdanje vredi uzeti u obzir pri planiranju:
- Vršite nadogradnju u mirnom periodu. Pri prvoj nadogradnji instalacije napravljene iz ranijeg chart-a, posao inicijalizacije uklanja stara podrazumevana prava nad tabelama, a svaki servis dobija svoja nazad iz sopstvene migracije. Dok se ta migracija ne izvrši, servis ne može da koristi svoje tabele. Ovaj prekid traje nekoliko sekundi. Ako su sekunde bitne, najpre smanjite broj instanci servisa na nulu, a vratite ih kada se poslovi migracije završe.
- Dodelite organizaciju svakom ključu interfejsa za programiranje aplikacija (API). Ključ bez organizacije odbija sa
403 TOKEN_ORG_MISSINGsvaki servis koji proverava ključeve preko nexus-auth, uključujući nexus-graphrag. Pre nadogradnje dodelite organizaciju svakom takvom ključu ili izdajte novi ključ. Stari bcrypt ključevi rade do datuma svog konačnog opoziva. - Nakon toga ispraznite keširane API ključeve. Do sat vremena keširani unosi ključeva nose pogrešno ime aplikacije dok to ne uradite. Pokrenite ovo nad kešom servisa nexus-auth, Valkey instancom instalacije (
nexus-valkey, lozinka u Secret objektunexus-generatedpodVALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"To važi za podrazumevano skladište unutar klastera. Uz dataTier.valkey.mode: external takav pod ne postoji: pokrenite isto skeniranje i brisanje nad sopstvenim Valkey hostom, sa lozinkom iz Secret objekta navedenog u dataTier.valkey.external.existingSecret.
Vraćanje na prethodnu verziju (rollback)
U okviru perioda koji prikazuje stranica Nadogradnja, opcija Vrati se nazad vraća sve mašine na prethodno izdanje. Posle tog perioda, povratak znači vraćanje rezervne kopije koju je nadogradnja najpre napravila.
Dve vrednosti se nikada ne smeju menjati pri nadogradnji ili poništavanju.
keys.installationName je trajna. Prva inicijalizacija skladišta ključeva pod njom kreira identitet instalacije, a taj identitet je ono što navodi vaša licenca. Koristite potpuno istu vrednost u svakoj datoteci vrednosti koju ikada primenite na ovu instalaciju.
Secret nexus-generated mora ostati nepromenjen. Pri svakoj nadogradnji chart iz njega čita EXTERNAL_KEY_ENCRYPTION_KEY i proverava njegov oblik. Vrednost koja nije ni base64 zapis 32 bajta ni sirovi 32-bajtni ključ starije instalacije zaustavlja renderovanje sa EXTERNAL_KEY_ENCRYPTION_KEY_INVALID, a chart nikada ne ispisuje tu vrednost. To znači da je neko izmenio ili zamenio Secret. Vratite ključ pod kojim su zapečaćeni podaci ove instalacije, kao base64 zapis njegovih 32 bajta (printf %s "$OLD" | base64), i ponovo izvršite nadogradnju. Novi nasumični ključ bi učinio nečitljivim sve što je zapečaćeno pod starim.
Skaliranje
Svaka komponenta ima prekidač i veličinu u datoteci vrednosti. Obavezne komponente ne mogu se isključiti: chart ih pokreće bez obzira na to šta njihov prekidač kaže. Ostalima se može dodeliti više replika i više resursa.
# harrow-values.yaml (Helm values): scaling
components:
gateway:
replicas: 2
resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
graphrag:
replicas: 2
workflows:
replicas: 2
workflows:
concurrency: "8"
dataTier:
qdrant:
resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }Primenite to pomoću helm upgrade kao gore. Veličina volumena se podešava pod dataTier.<store>.size; proverite da li vaša klasa skladišta može da poveća volumen pre nego što ga povećate. Stranica Stanje instalacije grafički prikazuje opterećenje procesora i memorije klastera, uz preostali kapacitet svakog od njih. Povećajte ono čega prvo ponestane.
Paketi za podršku
Kada je Harrow-u potrebna pomoć kompanije Adverant, Tomás pravi paket za podršku:
nexusctl support-bundle --out harrow-support-4471.tar.gzStranica Paket za podršku u konzoli pravi istu datoteku. Ona prikuplja logove mehanizma iz poslednja 24 sata, zajedno sa podacima o stanju i verziji. Podešavanja se uključuju bez svojih tajni, zajedno sa izveštajima o prethodnoj proveri i instalaciji. Pre nego što se bilo šta upiše, redakcija zamenjuje imena i tajne zamenskim vrednostima, a vi čitate pregled tačno onoga što će biti poslato. Sadržaj samih korisnika se nikada ne prikuplja. Paket se šalje kompaniji Adverant ili otpremanjem na stranicu Podrška i paketi za podršku vašeg naloga, ili kao datoteka koja se iznosi na medijumu. Mogu ga otvoriti samo inženjeri podrške navedeni u zahtevu, a briše se nakon 30 dana.
Izvoz dokaza
Revizori i vaš sopstveni tim za usklađenost često traže dokaz da se platforma ponaša onako kako je opisano. nexusctl evidence export ga zapisuje:
nexusctl evidence export --out harrow-evidence-2027-01Pored zapisa koje izvozi, komanda pokreće testove prihvatljivosti platforme: ruter veštačke inteligencije (AI) je dostupan i odgovara, UNO posao se raspoređuje i završava, a čitanje između organizacija se odbija. Njihovi rezultati nalaze se u probes.json u izlaznoj fascikli.
Pregled statusa
nexusctl status --json odgovara na pitanje da li je instalacija ispravna i u kakvom je stanju svaka komponenta. Takođe prikazuje stanje licence sa datumom isteka, izdanje i aktuelno pokrenuto izdanje. Svaki kompajlirani deo naveden je sa svojim sažetkom (digest) i potpisom. To je komanda koju treba povezati sa vašim sopstvenim nadzorom.
Deinstaliranje
nexusctl uninstall --profile <profile-file><profile-file> je profil raspoređivanja za klaster, ista datoteka koju ste prosledili komandi nexusctl handoff --profile <profile-file> --out <dir> ako vaš tim za platformu upravlja klasterom. Handoff za taj tim zapisuje jasnim jezikom sastavljenu listu onoga što je Nexus-u potrebno od klastera, kao i manifeste kojima se to ispunjava. Deinstalacija uklanja Nexus imenske prostore i ništa drugo, a vaše rezervne kopije zadržava. Identitet instalacije uklanja se zajedno sa njom. Kasnija instalacija na istom klasteru je nova instalacija sa novim identitetom, pa je njeno preuzimanje novo preuzimanje, a njena licenca nova licenca.
Stranice Ova instalacija
Operateri instalacije imaju sopstvenu grupu u meniju, Ova instalacija, i na njenim stranicama se u konzoli odvija veći deo ovog poglavlja. Član koji otvori neku od njih vidi stranicu Niste administrator, na kojoj su navedeni oni koji mogu da deluju.
| Stranica | Čemu služi |
|---|---|
| Licenca i ono što omogućava | Licenca i njene grupe funkcija (poglavlje 2.13, Licence) |
| Ako licenca istekne | Faze isteka opisane rečima, sa datumima ove licence |
| Kompajlirani delovi | Svaki licencirani modul sa svojom noćnom proverom potpisa |
| Izveštaj o korišćenju za Adverant | Godišnji brojači, čitljivi pre nego što budu poslati |
| Verzije i nadogradnje | Svaka instalirana verzija, sa podatkom ko ju je instalirao i kada |
| Nadogradnja | Postepena nadogradnja i način vraćanja |
| Rezervne kopije i vraćanje | Svako skladište, njegova poslednja rezervna kopija i poslednje testirano vraćanje |
| Stanje instalacije | Čvorovi, kapacitet i tekući troškovi, sa upozorenjima |
| Ključevi i brisanje | Ključ svake organizacije i Brisanje uz navođenje razloga i drugu osobu |
| Incidenti | Otvoreni i zatvoreni problemi, sa onim što je urađeno |
| Uskoro se ukida | Funkcije koje se isključuju, sa datumima, izvozom i zamenom |
| Status | Svaki deo Nexus-a sada i tokom 30 dana, rečima koje svako može da razume |
| Paket za podršku | Šta se šalje kompaniji Adverant i na koji način |
Dve od ovih stranica zaslužuju posebnu napomenu. Kompajlirani delovi svake noći proveravaju svaki licencirani modul u odnosu na potpis kompanije Adverant. Izmenjena kopija modula se odbija i nikada se ne učitava, dok potpisana kopija nastavlja da radi, a stranica broji odbijanja po mesecima kako izmenjena kopija ne bi prošla neprimećeno. Stanje je napisano tako da ga svako u organizaciji može pročitati. Prikazuje svaki deo Nexus-a sada i tokom poslednjih 30 dana kao traku dana, sa planiranim održavanjem i nedavnim incidentima, a operater sa iste stranice dodaje incident ili period održavanja.
Community instalacija ima jednu stranicu, Ova instalacija (Community), sa svojom verzijom, stanjem i ažuriranjima. Enterprise stranice se na njoj pojavljuju kao najave na kojima je navedeno ko ih može uključiti.




