AutentificareProgramați o prezentare

Capitolul 2.15

Ziua a doua: operarea Nexus

Munca de rutină pentru rularea unei instalări după prima săptămână. Începe cu desigilarea depozitului de chei după o repornire și se încheie cu dezinstalarea.

Această pagină a fost tradusă cu ajutorul IA din originalul în limba engleză. Dacă există neclarități, pagina în limba engleză rămâne cea de referință. Citiți această pagină în limba engleză

18 minute de lectură

Prima dată când a căzut curentul în camera serverelor de la Harrow Port Authority, totul a repornit, cu excepția componentelor care aveau nevoie de chei. Pod-urile aveau starea Running și consola s-a încărcat. Nimeni nu putea deschide niciun fișier. Tomás Reilly citise despre acest lucru și tot i-au trebuit douăzeci de minute ca să-și amintească de ce. Unsealer-ul depozitului de chei pornește sigilat după fiecare repornire a nodului său și doar un custode îl poate deschide.

Acest capitol urmărește rutina operatorului după prima săptămână, de la depozitul de chei și custozii săi până la dezinstalare. Fiecare verb nexusctl de aici acceptă --explain, care afișează operațiunile kubectl și helm pe care le-ar rula, fără a le executa efectiv. Folosiți această opțiune prima dată când rulați orice comandă pe un cluster de producție.

Custodia depozitului de chei

O instalare are două servere OpenBao în namespace-ul său. Depozitul de chei, openbao, păstrează fiecare cheie pe care o folosește Nexus. Unsealer-ul, openbao-unsealer, este un al doilea server OpenBao, de mici dimensiuni, a cărui singură sarcină este să desigileze depozitul de chei. Depozitul de chei se desigilează singur prin cheia de tranzit a unsealer-ului; unsealer-ul este sigilat cu schema lui Shamir, sub formă de 5 fragmente din care oricare 3 îl pot desigila.

La prima instalare, un Job de custodie inițializează ambele servere în interiorul clusterului. Acesta criptează în propria memorie fragmentele unsealer-ului și cheile de recuperare ale depozitului de chei pentru fiecare custode numit în keys.custody.recipients, și stochează doar textul cifrat (resursele Secret openbao-unseal-shares-encrypted și openbao-recovery-keys-encrypted). În același Job, revocă ambele token-uri root. Pachetul fiecărui custode conține suficiente fragmente pentru a realiza desigilarea pe cont propriu, astfel încât aveți nevoie de un singur custode după o repornire.

După repornirea unui nod

După orice repornire a nodului pe care rulează unsealer-ul (o pană de curent, o repornire a mașinii, o repornire a container runtime-ului), unsealer-ul pornește sigilat. Până când un custode îl desigilează, și depozitul de chei rămâne sigilat, iar nimic din ceea ce necesită o cheie nu funcționează. Consola răspunde în continuare și utilizatorii se pot autentifica, dar orice acțiune care are nevoie de o cheie din depozitul de chei rămâne în așteptare: deschiderea conținutului criptat, o revendicare, verificarea unei componente compilate.

Interogați direct OpenBao, în interiorul fiecărui pod. Acesta este unsealer-ul:

kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
  bao status -format=json -address=https://127.0.0.1:8200 \
  -ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"

Rulați aceeași comandă pentru openbao-0 cu -tls-server-name=openbao pentru depozitul de chei. bao status returnează codul de ieșire 0 când serverul este desigilat, 2 când este sigilat și 1 când nu a putut răspunde. Un cod de ieșire 1 nu este concludent, deoarece este posibil ca pod-ul să nu fie încă pornit. Așteptați un minut și încercați din nou. Dacă unsealer-ul este desigilat, iar depozitul de chei este încă sigilat, depozitul de chei se desigilează singur și nu trebuie să faceți nimic.

Stânga: o pictogramă de persoană etichetată „Custode, cu propria sa identitate age”. O săgeată merge spre dreapta într-o casetă „unseal.sh pe mașina custodelui (o singură decriptare)”. De acolo, o săgeată etichetată „kubectl port-forward, Transport Layer Security (TLS) verificat în raport cu autoritatea de certificare (CA) a procesului de desigilare (unsealer)” intră într-o casetă „openbao-unsealer (Shamir 5 părți, oricare 3)”. De la procesul de desigilare, o a doua săgeată etichetată „cheie de tranzit, automată” intră într-o casetă „openbao, depozitul de chei”. De la depozitul de chei, un evantai de săgeți către casete mici „nexus-keys”, „nexus-auth”, „celelalte servicii”. O notă sub custode: „identitatea nu părăsește niciodată această mașină”.
Ce face un custode după repornirea unui nod.

Desigilarea

Chart-ul include unseal.sh în dosarul său files/custody/, identic octet cu octet în fiecare versiune. Un custode îl rulează pe propria mașină. Scriptul citește resursa Secret criptată, o decriptează o singură dată cu identitatea custodelui (o identitate Secure Enclave solicită Touch ID o singură dată), trimite fragmentele către unsealer și confirmă că acesta este desigilat. Niciun fragment nu este scris vreodată într-un fișier sau expus în linia de comandă.

Harrow îl rulează în mod direct, printr-un port-forward:

kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &

AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh

<path-to-your-custodian-identity> este fișierul de identitate age al custodelui, jumătatea privată a unuia dintre destinatarii din keys.custody.recipients. UNSEAL_RESOLVE este numele înscris pe certificatul unsealer-ului (<namespace> este namespace-ul în care este instalat Nexus, nexus în mod implicit), astfel încât TLS este verificat în raport cu propria autoritate de certificare (CA) a unsealer-ului, chiar dacă conexiunea merge către 127.0.0.1. Scriptul nu dezactivează niciodată verificarea certificatului.

Cod de ieșire Ultima linie Semnificație
0 UNSEALED nexus/openbao-unsealer-0 Desigilat. Dacă era deja desigilat, nu s-a trimis nimic
1 STILL-SEALED … Încă sigilat sau un apel de desigilare a eșuat
2 UNSEAL-REFUSED … Lipsește o cerință preliminară, numită în mesaj
3 UNSEAL-REFUSED … Această identitate nu poate decripta fragmentele, deci nu aparține unui custode al acestei instalări. Nu s-a trimis nimic

În decurs de un minut, depozitul de chei urmează de la sine. Verificați cu kubectl -n nexus get deploy,statefulset că totul este din nou pregătit.

Custozii sunt aleși înainte de instalare și fiecare își creează propria cheie pe propria mașină. Chart-ul vede întotdeauna doar jumătatea publică:

age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.key

Prima comandă creează o identitate age obișnuită; destinatarul său este linia # public key: age1... din fișier. A doua creează una păstrată în Secure Enclave pe un Mac, cu un destinatar care începe cu age1se1. Oricare dintre destinatari este introdus în keys.custody.recipients. Fișierul de identitate rămâne la custodele său, offline.

Copiere de rezervă și restaurare

Copiere de rezervă și restaurare afișează fiecare depozit de date împreună cu ultima sa copie de rezervă și data la care o restaurare a acestuia a fost efectiv testată ultima oară. O copie de rezervă este dovedită ca fiind funcțională doar după ce a fost restaurată, astfel că pagina le urmărește pe ambele. Șase depozite sunt salvate ca rezervă. Baza de date principală conține persoanele și setările, job-urile și jurnalul de audit. Alături de aceasta se află graful de cunoștințe și indexul de căutare, apoi depozitul de fișiere și depozitul de memorie. Cheile reprezintă al șaselea depozit, fiind sigilate și păstrate separat de date. Copiile de rezervă merg în propriul dumneavoastră spațiu de stocare, criptate cu propriile chei, iar Adverant nu le poate citi. Când un depozit nu a avut o restaurare de test în intervalul stabilit de regula dumneavoastră, pagina afișează caseta RESTORE_TEST_OVERDUE cu un buton Testează acum. O restaurare de test rulează într-un spațiu separat și nimeni nu o observă.

Aceleași două acțiuni sunt disponibile din linia de comandă:

nexusctl backup now
nexusctl backup verify

backup now creează simultan o copie de rezervă pentru fiecare depozit. backup verify verifică cea mai recentă copie de rezervă. Rulați-le pe ambele înainte de orice modificare care vă dă emoții.

Copiere de rezervă și restaurare
Copiere de rezervă și restaurare
Fiecare depozit cu ultima sa copie de rezervă și ultima sa restaurare testată. Indexul de căutare a depășit termenul pentru un test, iar caseta vă oferă opțiunea de a rula unul acum.

Pentru a restaura, indicați numele copiei de rezervă:

nexusctl restore --from <backup-id>

<backup-id> provine din lista din pagina Copiere de rezervă și restaurare. O restaurare necesită aprobarea unei a doua persoane, iar în timp ce rulează, banda de progres o afișează împreună cu ora la care a început și persoana care a aprobat-o. Toți utilizatorii au acces doar pentru citire în timpul restaurării, ceea ce este diferit de blocarea accesului: utilizatorii se pot autentifica și pot citi. Job-urile nu pornesc (programările așteaptă și recuperează ulterior), iar căutarea revine când indexul de căutare este din nou disponibil. Orice s-a scris după efectuarea copiei de rezervă se pierde, astfel încât raportul de restaurare listează aceste modificări după proprietar, pentru ca aceștia să le poată reface.

Restaurare în curs
Se restaurează
O restaurare în curs. Depozitele revin în ordine, utilizatorii au acces doar pentru citire până când ultimul depozit este restaurat, iar o notificare pe fiecare pagină indică momentul în care se estimează revenirea completă.

Păstrați încă un element împreună cu copiile de rezervă: resursa Secret nexus-generated din namespace-ul nexus. Chart-ul creează parolele generate și cheile de criptare ale instalării la prima instalare și le citește din acea resursă Secret la fiecare actualizare. Datele sigilate sub EXTERNAL_KEY_ENCRYPTION_KEY se deschid doar cu acea cheie. Stocați o copie a resursei Secret oriunde păstrați cele mai sensibile materiale pe care le aveți, deoarece oricine o deține, deține acele chei.

Actualizări de versiune (upgrades)

Tomás face actualizarea în doi pași. Mai întâi întreabă ce se va schimba:

nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

Planul listează ce se schimbă în noua versiune, orice modificare adusă structurii bazei de date și dacă aceasta poate fi anulată. Apoi îl aplică:

nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

Aplicarea creează mai întâi o copie de rezervă și rulează verificările prealabile (preflight). Apoi actualizează motoarele în valuri, iar fiecare val așteaptă până când ultimul a funcționat optim timp de 10 minute. Pagina Actualizare afișează fiecare val pe măsură ce avansează și starea de sănătate a instalării în acest timp. De asemenea, indică până când rămâne deschisă calea de revenire la versiunea anterioară; după acea dată, revenirea necesită o restaurare. Dacă un pas eșuează, Nexus readuce fiecare motor la versiunea anterioară și le verifică. Notificarea UPGRADE_ROLLED_BACK numește apoi pasul care a eșuat și confirmă că datele nu au fost modificate. Soluția de remediere este afișată înaintea butonului Încearcă din nou, iar pachetul de asistență este la un clic distanță.

Pentru o instalare fără conexiune externă, pachetul sosește pe un suport fizic. Importul de pe suportul fizic verifică semnătura versiunii în raport cu cheia de versiune Adverant instalată în sistem și se asigură că versiunile evoluează doar înainte. Fișierele semnate de oricine altcineva sunt refuzate cu MEDIA_SIGNATURE_INVALID: nu se încarcă nimic, iar versiunea existentă continuă să ruleze.

Actualizare
Actualizare
O actualizare în curs. Mai întâi a fost efectuată o copie de rezervă, al doilea din cele trei valuri este în desfășurare, iar calea de revenire rămâne deschisă până la o dată specificată.
Actualizarea a eșuat și s-a revenit la versiunea anterioară
Actualizarea a eșuat și s-a revenit la versiunea anterioară
Un val a eșuat deoarece un volum a rămas fără spațiu. Fiecare motor a revenit la versiunea anterioară cu datele intacte, iar soluția de remediere este listată înaintea butonului Încearcă din nou.

Ce se întâmplă în fundal

nexusctl upgrade apply rulează helm upgrade pe chart. Dacă actualizați singur cu Helm, se aplică aceleași reguli:

helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900s

Schema este actualizată înainte de lansarea noilor pod-uri. Migrările chart-ului sunt hook-uri pre-upgrade care rulează în ordine: mai întâi bootstrap-ul bazei de date, apoi migrările fiecărui serviciu, urmate de cele ale backend-ului pentru frontend (BFF) al consolei. Rulează și Job-ul de custodie, iar pe o instalare care este deja inițializată, acesta confirmă starea și nu modifică nimic. Fiecare Job de tip hook are o limită de backoff de 0, astfel încât o migrare care eșuează oprește actualizarea și nu este reîncercată niciodată în mod silențios: citiți jurnalul acesteia cu kubectl -n nexus logs job/<hook-job> înainte de a încerca din nou.

Pod-ul fiecărui serviciu așteaptă într-un container de inițializare, wait-for-schema, până când registrul de versiuni indică faptul că migrările sale au fost aplicate pentru imaginea noii versiuni. După o revenire la versiunea anterioară sau după o actualizare care a modificat doar valori, un pod repornit își găsește rândul corespunzător și pornește imediat.

Înainte de a actualiza

Trei aspecte din notele de lansare merită luate în calcul în planificare:

  1. Actualizați într-o perioadă de activitate redusă. La prima actualizare a unei instalări realizate dintr-un chart anterior, jobul de bootstrap retrage vechile drepturi implicite asupra tabelelor, iar fiecare serviciu și le recuperează din propria sa migrare. Până când acea migrare rulează, un serviciu nu își poate utiliza tabelele. Întreruperea durează câteva secunde. Dacă secundele contează, scalați mai întâi serviciile la zero și readuceți-le la normal după ce joburile de migrare s-au încheiat.
  2. Atribuiți o organizație fiecărei chei de interfață de programare a aplicațiilor (API). O cheie fără organizație este refuzată cu 403 TOKEN_ORG_MISSING de către fiecare serviciu care verifică cheile prin nexus-auth, inclusiv nexus-graphrag. Înainte de a actualiza, atribuiți fiecărei astfel de chei o organizație sau emiteți o cheie nouă. Cheile bcrypt vechi continuă să funcționeze până la data lor de revocare definitivă.
  3. Goliți apoi memoria cache a cheilor API. Intrările de chei stocate în cache pe o perioadă de până la o oră poartă numele greșit al aplicației până când faceți acest lucru. Rulați această comandă asupra memoriei cache a serviciului nexus-auth, instanța Valkey a instalării (nexus-valkey, parola în obiectul Secret nexus-generated sub VALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
  'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"

Aceasta este procedura pentru stocarea implicită din interiorul clusterului. Cu dataTier.valkey.mode: external nu există un astfel de pod: rulați aceeași scanare și ștergere asupra propriei dumneavoastră gazde Valkey, cu parola din obiectul Secret numit în dataTier.valkey.external.existingSecret.

Revenire la versiunea anterioară (rollback)

În interiorul ferestrei de timp afișate de pagina Actualizare, opțiunea Revenire readuce fiecare motor la versiunea anterioară. După expirarea ferestrei, revenirea înseamnă restaurarea copiei de rezervă pe care actualizarea a creat-o la început.

Două valori nu trebuie să se schimbe niciodată în timpul unei actualizări sau al unei reveniri la versiunea anterioară.

keys.installationName este permanentă. Primul bootstrap al depozitului de chei generează identitatea instalării sub această valoare, iar acea identitate este cea menționată în licența dumneavoastră. Utilizați exact aceeași valoare în fiecare fișier de valori pe care îl aplicați vreodată acestei instalări.

Obiectul Secret nexus-generated trebuie să rămână așa cum este. La fiecare actualizare, chart-ul citește EXTERNAL_KEY_ENCRYPTION_KEY din acesta și îi verifică forma. O valoare care nu este nici în format base64 de 32 bytes, nici cheia brută de 32 bytes a unei instalări mai vechi oprește randarea cu EXTERNAL_KEY_ENCRYPTION_KEY_INVALID, iar chart-ul nu afișează niciodată valoarea. Aceasta înseamnă că cineva a editat sau a înlocuit obiectul Secret. Puneți înapoi cheia sub care sunt sigilate datele acestei instalări, în format base64 al celor 32 bytes ai săi (printf %s "$OLD" | base64), și actualizați din nou. O cheie nouă, aleatorie, ar face ca tot ceea ce a fost sigilat sub cea veche să devină ilizibil.

Scalare

Fiecare componentă are un comutator și o dimensiune în fișierul de valori. Componentele obligatorii nu pot fi dezactivate: chart-ul le rulează indiferent de ceea ce indică comutatorul lor. Celorlalte li se pot aloca mai multe replici și mai multe resurse.

# harrow-values.yaml (Helm values): scaling
components:
  gateway:
    replicas: 2
    resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
  graphrag:
    replicas: 2
  workflows:
    replicas: 2
workflows:
  concurrency: "8"
dataTier:
  qdrant:
    resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }

Aplicați modificarea cu helm upgrade, ca mai sus. Volumele sunt dimensionate sub dataTier.<store>.size; verificați dacă clasa dumneavoastră de stocare poate mări un volum înainte de a crește dimensiunea unuia. Pagina Starea instalării afișează grafic cât de ocupate au fost procesoarele și memoria clusterului, împreună cu spațiul rămas în fiecare. Măriți resursa care se epuizează prima.

Pachete de asistență

Când Harrow are nevoie de ajutorul Adverant, Tomás creează un pachet de asistență:

nexusctl support-bundle --out harrow-support-4471.tar.gz

Pagina Pachet de asistență din consolă creează același fișier. Acesta colectează jurnalele motoarelor din ultimele 24 de ore, împreună cu detalii despre stare și versiune. Setările sunt incluse fără secretele lor, alături de rapoartele de verificare prealabilă și de instalare. Înainte ca orice să fie scris, procesul de anonimizare înlocuiește numele și secretele cu substituenți, iar dumneavoastră citiți o previzualizare exactă a ceea ce va fi trimis. Conținutul propriu al persoanelor nu este colectat niciodată. Pachetul ajunge la Adverant fie ca o încărcare pe pagina Asistență și pachete de asistență a contului dumneavoastră, fie ca un fișier transportat pe un suport fizic. Doar inginerii de asistență nominalizați în solicitare îl pot deschide, iar acesta este șters după 30 de zile.

Pachet de asistență
Pachet de asistență
Crearea unui pachet de asistență. Previzualizarea anonimizării arată ceea ce este ascuns înainte ca orice să fie trimis, și doar inginerii nominalizați îl pot deschide.

Exportul de dovezi

Auditorii și propria dumneavoastră echipă de conformitate doresc adesea dovezi că platforma se comportă așa cum este descris. nexusctl evidence export generează aceste dovezi:

nexusctl evidence export --out harrow-evidence-2027-01

Alături de înregistrările pe care le exportă, comanda rulează sondele de acceptanță ale platformei: ruterul de inteligență artificială (IA) este accesibil și răspunde, un job UNO este expediat și se finalizează, iar o citire între organizații este refuzată. Rezultatele acestora se află în probes.json, în dosarul de ieșire.

Starea pe scurt

nexusctl status --json indică dacă instalarea funcționează corespunzător și în ce stare se află fiecare componentă. De asemenea, raportează starea licenței împreună cu data de expirare a acesteia, ediția și versiunea care rulează. Fiecare parte compilată este listată cu rezumatul criptografic (digest) și semnătura sa. Este comanda pe care o puteți integra în propriul dumneavoastră sistem de monitorizare.

Dezinstalarea

nexusctl uninstall --profile <profile-file>

<profile-file> este profilul de implementare pentru cluster, același fișier pe care l-ați transmis către nexusctl handoff --profile <profile-file> --out <dir> în cazul în care echipa dumneavoastră de platformă administrează clusterul. Comanda de predare (handoff) scrie, pentru acea echipă, o listă în limbaj simplu cu ceea ce are nevoie Nexus de la cluster și manifestele necesare pentru a îndeplini aceste cerințe. Dezinstalarea elimină spațiile de nume Nexus și nimic altceva, păstrând copiile dumneavoastră de rezervă. Identitatea instalării dispare odată cu aceasta. O instalare ulterioară pe același cluster reprezintă o instalare nouă cu o identitate nouă, astfel încât revendicarea sa este o revendicare nouă, iar licența sa este o licență nouă.

Paginile Această instalare

Operatorii instalării au propriul lor grup în meniu, Această instalare, iar paginile sale reprezintă locul în care se desfășoară în consolă cea mai mare parte a operațiunilor din acest capitol. Un membru care deschide una dintre acestea vede pagina Nu sunteți administrator, care indică persoanele care pot acționa.

Pagină La ce folosește
Licența și ce deblochează aceasta Licența și grupurile sale de funcționalități (capitolul 2.13, Licențe)
Dacă licența expiră Etapele de expirare explicate în cuvinte, cu datele acestei licențe
Componente compilate Fiecare modul licențiat cu verificarea nocturnă a semnăturii sale
Declarație de utilizare pentru Adverant Contoarele anuale, lizibile înainte de a fi trimise
Versiuni și actualizări Fiecare versiune instalată, cu cine a instalat-o și când
Actualizare Actualizarea etapizată și calea de revenire
Copiere de rezervă și restaurare Fiecare depozit de date, ultima sa copie de rezervă și ultima sa restaurare testată
Starea instalării Noduri, capacitate și cost de operare, cu avertismente
Chei și ștergere Cheia fiecărei organizații și opțiunea Ștergere cu un motiv și o a doua persoană
Incidente Probleme deschise și închise, cu acțiunile întreprinse
Se retrag în curând Funcționalități în curs de dezactivare, cu date, export și înlocuitor
Stare Fiecare parte din Nexus în prezent și pe parcursul a 30 de zile, în cuvinte pe care oricine le poate înțelege
Pachet de asistență Ce se trimite către Adverant și cum

Două dintre aceste pagini merită o mențiune. Pagina Părți compilate verifică în fiecare noapte fiecare modul licențiat în raport cu semnătura Adverant. O copie modificată a unui modul este refuzată și nu este încărcată niciodată, în timp ce copia semnată continuă să ruleze, iar pagina numără refuzurile pe luni, astfel încât o copie alterată să nu poată trece neobservată. Pagina Stare este scrisă astfel încât oricine din organizație să o poată înțelege. Aceasta afișează fiecare parte din Nexus în prezent și pe parcursul ultimelor 30 de zile sub forma unei benzi de zile, cu lucrările de mentenanță programate și incidentele recente, iar un operator poate adăuga un incident sau o fereastră de mentenanță din aceeași pagină.

O instalare Community are o singură pagină, Această instalare (Community), cu versiunea, starea de funcționare și actualizările sale. Paginile Enterprise apar pe aceasta ca prezentări preliminare care indică cine le poate activa.