Logg innBestill en gjennomgang

Kapittel 2.15

Dag to: drift av Nexus

Det rutinemessige arbeidet med å drifte en installasjon etter den første uken. Det starter med å låse opp nøkkellageret etter en omstart og slutter med avinstallering.

Denne siden er oversatt med KI fra den engelske originalen. Hvis noe er uklart, er den engelske siden referansen. Les denne siden på engelsk

18 minutter å lese

Den første gangen strømmen gikk på serverrommet til Harrow Port Authority, kom alt tilbake unntatt delene som trengte nøkler. Poder hadde statusen Running, og konsollen ble lastet inn. Ingen kunne åpne en fil. Tomás Reilly hadde lest om dette, og det tok ham likevel tjue minutter å huske hvorfor. Nøkkellagerets åpningsenhet starter forseglet etter hver omstart av noden sin, og kun en nøkkelforvalter kan åpne den.

Dette kapittelet følger operatørens rutine etter den første uken, fra nøkkellageret og dets nøkkelforvaltere til avinstallering. Hvert nexusctl-verb her godtar --explain, som skriver ut kubectl- og helm-operasjonene det ville ha kjørt, uten å kjøre dem. Bruk dette første gang du kjører noe på en produksjonsklynge.

Forvaltning av nøkkellager

En installasjon har to OpenBao-servere i navnerommet sitt. Nøkkellageret, openbao, inneholder hver nøkkel Nexus bruker. Åpningsenheten, openbao-unsealer, er en annen, liten OpenBao hvis eneste jobb er å åpne forseglingen til nøkkellageret. Nøkkellageret åpner seg selv gjennom åpningsenhetens transittnøkkel; åpningsenheten er forseglet med Shamirs ordning, som 5 deler der hvilke som helst 3 åpner forseglingen.

Ved første installasjon initialiserer en forvaltningsjobb (Job) begge serverne inne i klyngen. Den krypterer åpningsenhetens deler og nøkkellagerets gjenopprettingsnøkler i sitt eget minne til hver nøkkelforvalter som er navngitt i keys.custody.recipients, og lagrer kun chifferteksten (Secret-objektene openbao-unseal-shares-encrypted og openbao-recovery-keys-encrypted). Den tilbakekaller begge rottokenene i den samme jobben. Hver nøkkelforvalters pakke inneholder nok deler til å åpne forseglingen på egen hånd, så én nøkkelforvalter er alt du trenger etter en omstart.

Etter en nodeomstart

Etter enhver omstart av noden som åpningsenheten kjører på (et strømbrudd, en omstart av maskinen, en omstart av container-kjøremiljøet), starter åpningsenheten forseglet. Inntil en nøkkelforvalter åpner forseglingen, forblir også nøkkellageret forseglet, og ingenting som trenger en nøkkel, fungerer. Konsollen svarer fortsatt, og folk kan fortsatt logge inn, men enhver handling som trenger en nøkkel fra nøkkellageret, venter: åpning av kryptert innhold, et krav, en sjekk av en kompilert del.

Spør OpenBao selv, inne i hver pod. Dette er åpningsenheten:

kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
  bao status -format=json -address=https://127.0.0.1:8200 \
  -ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"

Kjør den samme kommandoen mot openbao-0 med -tls-server-name=openbao for nøkkellageret. bao status avslutter med 0 når serveren er åpnet, 2 når den er forseglet, og 1 når den ikke kunne svare. En avslutningskode på 1 fastslår ingenting, fordi poden kanskje ikke er oppe ennå. Vent et minutt og spør igjen. Hvis åpningsenheten er åpnet og nøkkellageret fortsatt er forseglet, er nøkkellageret i ferd med å åpne seg selv, og du trenger ikke å gjøre noe.

Til venstre: et personikon merket «Nøkkelforvalter, med sin egen age-identitet». En pil går mot høyre inn i en boks «unseal.sh på nøkkelforvalterens maskin (én dekryptering)». Derfra går en pil merket «kubectl port-forward, Transport Layer Security (TLS) sjekket mot åpningsenhetens sertifiseringsinstans (CA)» inn i en boks «openbao-unsealer (Shamir 5 deler, hvilke som helst 3)». Fra åpningsenheten går en andre pil merket «transittnøkkel, automatisk» inn i en boks «openbao, nøkkellageret». Fra nøkkellageret går en vifte av piler til små bokser «nexus-keys», «nexus-auth», «de andre tjenestene». En merknad under nøkkelforvalteren: «identiteten forlater aldri denne maskinen».
Hva en nøkkelforvalter gjør etter en nodeomstart.

Åpning av forsegling

Chartet leverer unseal.sh, i sin files/custody/-mappe, byte for byte likt i hver utgivelse. En nøkkelforvalter kjører det på sin egen maskin. Det leser det krypterte Secret-objektet, dekrypterer det én gang med nøkkelforvalterens identitet (en Secure Enclave-identitet ber om Touch ID én gang), sender inn delene til åpningsenheten og bekrefter at den er åpnet. Ingen del blir noen gang skrevet til en fil eller lagt inn på en kommandolinje.

Harrow kjører det i direktemodus, gjennom en port-forward:

kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &

AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh

<path-to-your-custodian-identity> er nøkkelforvalterens age-identitetsfil, den private halvdelen av en av mottakerne i keys.custody.recipients. UNSEAL_RESOLVE er navnet sertifikatet til åpningsenheten bærer (<namespace> er navnerommet Nexus er installert i, nexus som standard), slik at TLS blir sjekket mot åpningsenhetens egen CA selv om tilkoblingen går til 127.0.0.1. Skriptet slår aldri av sertifikatsjekking.

Avslutningskode Siste linje Betydning
0 UNSEALED nexus/openbao-unsealer-0 Åpnet. Hvis den allerede var det, ble ingenting sendt
1 STILL-SEALED … Fortsatt forseglet, eller et åpningskall mislyktes
2 UNSEAL-REFUSED … En forutsetning mangler, navngitt i meldingen
3 UNSEAL-REFUSED … Denne identiteten kan ikke dekryptere delene, så den er ikke en nøkkelforvalter for denne installasjonen. Ingenting ble sendt

Innen et minutt følger nøkkellageret etter av seg selv. Sjekk med kubectl -n nexus get deploy,statefulset at alt er klart igjen.

Nøkkelforvaltere velges før installasjonen, og hver enkelt lager sin egen nøkkel på sin egen maskin. Chartet ser kun den offentlige halvdelen:

age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.key

Den første kommandoen lager en vanlig age-identitet; mottakeren er # public key: age1...-linjen i filen. Den andre lager en som oppbevares i en Macs Secure Enclave, med en mottaker som starter med age1se1. Begge mottakere legges inn i keys.custody.recipients. Identitetsfilen forblir hos nøkkelforvalteren sin, frakoblet.

Sikkerhetskopiering og gjenoppretting

Sikkerhetskopier og gjenopprett viser hvert lager med dets siste sikkerhetskopi og siste gang en gjenoppretting av det faktisk ble testet. En sikkerhetskopi er først bevist når den har blitt gjenopprettet, så siden sporer begge deler. Seks lagre sikkerhetskopieres. Hoveddatabasen inneholder personer og innstillinger, jobber og revisjonsloggen. Ved siden av den ligger kunnskapsgrafen og søkeindeksen, deretter fillageret og minnelageret. Nøklene er det sjette, forseglet og holdt adskilt fra dataene. Sikkerhetskopier går til din egen lagring, kryptert med dine egne nøkler, og Adverant kan ikke lese dem. Når et lager ikke har blitt testgjenopprettet innenfor regelen din, viser siden skiltet RESTORE_TEST_OVERDUE med en Test det nå-knapp. En testgjenoppretting kjører i et eget område, og ingen merker det.

De samme to handlingene er tilgjengelige fra kommandolinjen:

nexusctl backup now
nexusctl backup verify

backup now tar en sikkerhetskopi av hvert lager på én gang. backup verify sjekker den nyeste sikkerhetskopien. Kjør begge før enhver endring du er nervøs for.

Sikkerhetskopier og gjenopprett
Sikkerhetskopier og gjenopprett
Hvert lager med dets siste sikkerhetskopi og dets siste testede gjenoppretting. Søkeindeksen er på overtid for en test, og skiltet tilbyr å kjøre en nå.

For å gjenopprette oppgir du navnet på sikkerhetskopien:

nexusctl restore --from <backup-id>

<backup-id> kommer fra listen på Sikkerhetskopier og gjenopprett. En gjenoppretting krever at en annen person godkjenner den, og mens den kjører, viser fremdriftslinjen den med tidspunktet den startet og hvem som godkjente den. Alle har kun lesetilgang under gjenopprettingen, noe som er annerledes enn å være utelåst: folk kan logge inn og lese. Jobber starter ikke (tidsplaner venter og tar igjen det tapte), og søk kommer tilbake når søkeindeksen er tilbake. Alt som er skrevet etter at sikkerhetskopien ble tatt, går tapt, så gjenopprettingsrapporten lister det opp etter eier slik at de kan gjøre det på nytt.

Gjenoppretter
Gjenoppretter
En gjenoppretting pågår. Lagre kommer tilbake i rekkefølge, folk har kun lesetilgang inntil det siste er på plass, og en melding på hver side sier når det ventes å være tilbake.

Oppbevar én ting til sammen med sikkerhetskopiene dine: Secret-objektet nexus-generated i navnerommet nexus. Chartet lager installasjonens genererte passord og krypteringsnøkler ved første installasjon og leser dem tilbake fra det Secret-objektet ved hver oppgradering. Data forseglet under EXTERNAL_KEY_ENCRYPTION_KEY kan kun åpnes med den nøkkelen. Lagre en kopi av Secret-objektet der du oppbevarer det mest sensitive materialet du har, fordi enhver som har det, har disse nøklene.

Oppgraderinger

Tomás oppgraderer i to trinn. Først spør han hva som vil endre seg:

nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

Planen lister opp hva som endres i utgivelsen, enhver endring i formen på databasen, og hvorvidt den kan angres. Deretter tar han den i bruk:

nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

Brukssteget tar en sikkerhetskopi først og kjører forhåndssjekk. Det flytter deretter motorene i bølger, og hver bølge venter til den forrige har vært frisk i 10 minutter. Oppgrader-siden viser hver bølge etter hvert som den går, og helsetilstanden til installasjonen i mellomtiden. Den sier også hvor lenge veien tilbake holdes åpen; etter den datoen krever det en gjenoppretting å gå tilbake. Hvis et trinn mislykkes, ruller Nexus hver motor tilbake til forrige utgivelse og sjekker dem. Meldingen UPGRADE_ROLLED_BACK navngir deretter trinnet som mislyktes, og sier at data ikke ble endret. Løsningen står oppført før Prøv igjen, og støttepakken er ett klikk unna.

For en installasjon uten tilkobling utad ankommer pakken på lagringsmedier. Importer fra medier sjekker utgivelsens signatur mot Adverant-utgivelsesnøkkelen som er installert på installasjonen, og sjekker at versjoner kun beveger seg fremover. Filer signert av noen andre blir avvist med MEDIA_SIGNATURE_INVALID: ingenting lastes inn, og den kjørende utgivelsen fortsetter å kjøre.

Oppgrader
Oppgrader
En oppgradering pågår. En sikkerhetskopi ble tatt først, den andre av tre bølger flytter seg, og veien tilbake holdes åpen inntil en oppgitt dato.
Oppgradering mislyktes og ble rullet tilbake
Oppgradering mislyktes og ble rullet tilbake
En bølge mislyktes fordi et volum gikk tomt for plass. Hver motor er tilbake på forrige utgivelse med dataene urørt, og løsningen er listet opp før Prøv igjen.

Hva som skjer under panseret

nexusctl upgrade apply kjører helm upgrade mot chartet. Hvis du oppgraderer med Helm selv, gjelder de samme reglene:

helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900s

Skjemaet flytter seg før de nye podene ruller ut. Chartets migreringer er pre-upgrade-hooks som kjører i rekkefølge: database-bootstrapen først, deretter hver tjenestes migreringer, deretter migreringene til konsollens backend for frontend (BFF). Forvaltningsjobben (Job) kjører også, og på en installasjon som allerede er initialisert, bekrefter den dette og endrer ingenting. Hver hook-Job har en backoff-grense på 0, så en migrering som mislykkes, stopper oppgraderingen og prøves aldri på nytt i det stille: les loggen med kubectl -n nexus logs job/<hook-job> før du prøver igjen.

Hver tjenestes pod venter i en init-container, wait-for-schema, inntil utgivelsesprotokollen viser at migreringene er tatt i bruk for den nye utgivelsens avbildning (image). Etter en tilbakerulling, eller en oppgradering som kun endret verdier, finner en omstartet pod raden sin og starter med en gang.

Før du oppgraderer

Tre punkter fra utgivelsesnotatene er verdt å planlegge rundt:

  1. Oppgrader i en rolig periode. Ved første oppgradering av en installasjon laget fra et tidligere chart fjerner bootstrap-jobben de gamle standardrettighetene for tabeller, og hver tjeneste får sine egne tilbake fra sin egen migrering. Inntil den migreringen kjører, kan ikke en tjeneste bruke tabellene sine. Oppholdet varer i sekunder. Hvis sekunder teller, skalerer du tjenestene til null først og tar sikkerhetskopi når migreringsjobbene er ferdige.
  2. Gi hver programmeringsgrensesnittnøkkel (API-nøkkel) en organisasjon. En nøkkel uten organisasjon blir avvist med 403 TOKEN_ORG_MISSING av hver tjeneste som sjekker nøkler gjennom nexus-auth, inkludert nexus-graphrag. Før du oppgraderer, må du gi hver slik nøkkel en organisasjon eller utstede en ny nøkkel. Gamle bcrypt-nøkler fortsetter å fungere frem til datoen for endelig tilbakekalling.
  3. Tøm de hurtiglagrede API-nøklene etterpå. Opptil én time med hurtiglagrede nøkkeloppføringer har feil applikasjonsnavn inntil du gjør dette. Kjør dette mot hurtiglageret til nexus-auth, installasjonens Valkey (nexus-valkey, passord i Secret-objektet nexus-generated under VALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
  'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"

Det gjelder for standardlageret inne i klyngen. Med dataTier.valkey.mode: external finnes det ingen slik pod: kjør den samme skanningen og slettingen mot din egen Valkey-vert, med passordet fra Secret-objektet som er navngitt i dataTier.valkey.external.existingSecret.

Tilbakerulling

Innenfor tidsvinduet som Oppgrader-siden viser, fører Gå tilbake hver motor tilbake til forrige utgivelse. Etter tidsvinduet betyr det å gå tilbake at du må gjenopprette sikkerhetskopien som oppgraderingen tok først.

To verdier må aldri endres på tvers av en oppgradering eller en tilbakerulling.

keys.installationName er permanent. Den første bootstrapen av nøkkellageret oppretter installasjonens identitet under den, og den identiteten er det lisensen din navngir. Bruk nøyaktig samme verdi i hver values-fil du noen gang tar i bruk på denne installasjonen.

Secret-objektet nexus-generated må forbli som det er. Ved hver oppgradering leser chartet EXTERNAL_KEY_ENCRYPTION_KEY fra det og sjekker formen. En verdi som verken er base64 av 32 byte eller den rå 32-byte-nøkkelen fra en eldre installasjon, stopper gjengivelsen med EXTERNAL_KEY_ENCRYPTION_KEY_INVALID, og chartet skriver aldri ut verdien. Det betyr at noen har redigert eller erstattet Secret-objektet. Legg tilbake nøkkelen som denne installasjonens data er forseglet under, som base64 av dens 32 byte (printf %s "$OLD" | base64), og oppgrader igjen. En ny tilfeldig nøkkel ville gjøre alt som er forseglet under den gamle, uleselig.

Skalering

Hver komponent har en bryter og en størrelse i values-filen. Påkrevde komponenter kan ikke slås av: chartet kjører dem uansett hva bryteren deres sier. De andre kan gis flere replikaer og flere ressurser.

# harrow-values.yaml (Helm values): scaling
components:
  gateway:
    replicas: 2
    resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
  graphrag:
    replicas: 2
  workflows:
    replicas: 2
workflows:
  concurrency: "8"
dataTier:
  qdrant:
    resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }

Ta det i bruk med helm upgrade som ovenfor. Volumer dimensjoneres under dataTier.<store>.size; sjekk at lagringsklassen din kan utvide et volum før du øker et. Hvordan installasjonen klarer seg viser i grafer hvor travle klyngens prosessorer og minne har vært, med plassen som er igjen i hver. Utvid det som går tomt først.

Støttepakker

Når Harrow trenger Adverants hjelp, lager Tomás en støttepakke:

nexusctl support-bundle --out harrow-support-4471.tar.gz

Konsollens Støttepakke-side lager den samme filen. Den samler inn motorloggene fra de siste 24 timene med helse- og versjonsdetaljer. Innstillinger legges ved uten hemmelighetene sine, sammen med forhåndssjekk- og installasjonsrapportene. Før noe skrives, erstatter sladding navn og hemmeligheter med plassholdere, og du leser en forhåndsvisning av nøyaktig hva som vil bli sendt ut. Folks eget innhold samles aldri inn. Pakken går til Adverant enten som en opplasting til kontoens side for Støtte og støttepakker eller som en fil som fraktes ut på lagringsmedier. Kun støtteteknikerne som er navngitt på forespørselen, kan åpne den, og den slettes etter 30 dager.

Støttepakke
Støttepakke
Opprettelse av en støttepakke. Forhåndsvisningen av sladding viser hva som skjules før noe sendes ut, og kun de navngitte teknikerne kan åpne den.

Eksport av bevis

Revisorer og ditt eget samsvarsteam ønsker ofte bevis på at plattformen oppfører seg som beskrevet. nexusctl evidence export skriver det:

nexusctl evidence export --out harrow-evidence-2027-01

Ved siden av oppføringene den eksporterer, kjører kommandoen plattformens akseptansetester: ruteren for kunstig intelligens (KI) kan nås og svarer, en UNO-jobb sendes ut og fullføres, og en lesing på tvers av organisasjoner blir avvist. Resultatene deres ligger i probes.json i utdatamappen.

Status med et blikk

nexusctl status --json svarer på om installasjonen er frisk og hvilken tilstand hver komponent er i. Den rapporterer også lisenstilstanden med utløpsdato, utgaven og den kjørende utgivelsen. Hver kompilert del listes opp med sitt sammendrag (digest) og sin signatur. Det er kommandoen du bør legge bak din egen overvåking.

Avinstallering

nexusctl uninstall --profile <profile-file>

<profile-file> er distribusjonsprofilen for klyngen, den samme filen du sendte til nexusctl handoff --profile <profile-file> --out <dir> hvis plattformteamet ditt driver klyngen. Overlevering skriver, for det teamet, en liste i klartekst over hva Nexus trenger fra klyngen, og manifestene for å oppfylle det. Avinstaller fjerner Nexus-navnerommene og ingenting annet, og beholder sikkerhetskopiene dine. Installasjonens identitet forsvinner med den. En senere installasjon på den samme klyngen er en ny installasjon med en ny identitet, så kravet dens er et nytt krav og lisensen dens er en ny lisens.

Sidene under Denne installasjonen

Operatører av installasjonen har sin egen gruppe i menyen, Denne installasjonen, og sidene der er stedet hvor det meste av dette kapittelet foregår i konsollen. Et medlem som åpner en av dem, ser siden Ikke en administrator, som navngir hvem som kan utføre handlinger.

Side Hva den er til for
Lisens og hva den låser opp Lisensen og dens funksjonsgrupper (kapittel 2.13, Lisenser)
Hvis lisensen utløper Utløpsstigen med ord, med denne lisensens datoer
Kompilerte deler Hver lisensiert modul med dens nattlige signatursjekk
Bruksoppgave for Adverant De årlige tellerne, lesbare før de sendes ut
Versjoner og oppgraderinger Hver installert versjon, med hvem som installerte den og når
Oppgrader Den trinnvise oppgraderingen og veien tilbake
Sikkerhetskopier og gjenopprett Hvert lager, dets siste sikkerhetskopi og dets siste testede gjenoppretting
Hvordan det står til med installasjonen Noder, kapasitet og driftskostnad, med advarsler
Nøkler og sletting Hver organisasjons nøkkel, og Slett med en årsak og en annen person
Hendelser Åpne og lukkede problemer, med hva som ble gjort
Utfases snart Funksjoner som slås av, med datoer, eksport og erstatning
Status Hver del av Nexus nå og over 30 dager, med ord hvem som helst kan lese
Støttepakke Hva som sendes til Adverant, og hvordan

To av disse sidene fortjener noen ord. Kompilerte deler sjekker hver lisensiert modul mot Adverants signatur hver natt. En endret kopi av en modul blir avvist og aldri lastet inn, mens den signerte kopien fortsetter å kjøre, og siden teller avvisninger per måned slik at en manipulert kopi ikke kan gå ubemerket hen. Status er skrevet slik at hvem som helst i organisasjonen kan lese den. Den viser hver del av Nexus nå og over de siste 30 dagene som en stripe av dager, med planlagt vedlikehold og nylige hendelser, og en operatør legger til en hendelse eller et vedlikeholdsvindu fra den samme siden.

En Community-installasjon har én side, Denne installasjonen (Community), med versjon, helse og oppdateringer. Enterprise-sidene vises på den som smakebiter som navngir hvem som kan slå dem på.