Version 1.0.0-alpha.1senaste
Kapitel 2.15
Dag två: driva Nexus
Rutinarbetet med att köra en installation efter den första veckan. Det börjar med att låsa upp nyckellagret efter en omstart och slutar med avinstallation.
Denna sida har översatts av AI från det engelska originalet. Om något är oklart är den engelska sidan referensen. Läs denna sida på engelska

Första gången strömmen gick i serverrummet hos Harrow Port Authority kom allt igång igen utom de delar som behövde nycklar. Poddarna hade statusen Running och konsolen laddades. Ingen kunde öppna en fil. Tomás Reilly hade läst om detta, och det tog honom ändå tjugo minuter att komma ihåg varför. Nyckellagrets upplåsare startar förseglad efter varje omstart av sin nod, och endast en nyckelförvaltare kan öppna den.
Det här kapitlet följer operatörens rutiner efter den första veckan, från nyckellagret och dess nyckelförvaltare till avinstallation. Varje nexusctl-verb här accepterar --explain, vilket skriver ut de kubectl- och helm-operationer som skulle ha körts utan att köra dem. Använd det första gången du kör något på ett produktionskluster.
Förvaltning av nyckellager
En installation har två OpenBao-servrar i sin namnrymd. Nyckellagret, openbao, håller alla nycklar som Nexus använder. Upplåsaren, openbao-unsealer, är en andra, liten OpenBao vars enda uppgift är att låsa upp nyckellagret. Nyckellagret låser upp sig självt genom upplåsarens transitnyckel; upplåsaren är förseglad med Shamirs schema, som 5 andelar varav valfria 3 låser upp den.
Vid den första installationen initierar ett förvaltningsjobb (Job) båda servrarna inuti klustret. Det krypterar upplåsarens andelar och nyckellagrets återställningsnycklar i sitt eget minne till varje nyckelförvaltare som namnges i keys.custody.recipients, och lagrar endast chiffertexten (Secret-objekten openbao-unseal-shares-encrypted och openbao-recovery-keys-encrypted). Det återkallar båda rot-token i samma jobb. Varje nyckelförvaltares paket innehåller tillräckligt många andelar för att låsa upp på egen hand, så en nyckelförvaltare är allt du behöver efter en omstart.
Efter en nodomstart
Efter varje omstart av den nod som upplåsaren körs på (ett strömavbrott, en omstart av maskinen, en omstart av containermiljön) startar upplåsaren förseglad. Tills en nyckelförvaltare låser upp den förblir även nyckellagret förseglat, och ingenting som behöver en nyckel fungerar. Konsolen svarar fortfarande och användare kan fortfarande logga in, men varje åtgärd som behöver en nyckel från nyckellagret väntar: att öppna krypterat innehåll, ett anspråk, en kontroll av en kompilerad del.
Fråga OpenBao självt, inuti varje podd. Detta är upplåsaren:
kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
bao status -format=json -address=https://127.0.0.1:8200 \
-ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"Kör samma kommando mot openbao-0 med -tls-server-name=openbao för nyckellagret. bao status avslutas med 0 när servern är upplåst, 2 när den är förseglad och 1 när den inte kunde svara. Slutkoden 1 säger ingenting, eftersom podden kanske inte är igång än. Vänta en minut och fråga igen. Om upplåsaren är upplåst och nyckellagret fortfarande är förseglat, håller nyckellagret på att låsa upp sig självt och du behöver inte göra någonting.
Upplåsning
Chartet levererar unseal.sh, i sin files/custody/-mapp, byte för byte likadan i varje utgåva. En nyckelförvaltare kör den på sin egen maskin. Den läser det krypterade Secret-objektet, dekrypterar det en gång med nyckelförvaltarens identitet (en Secure Enclave-identitet ber om Touch ID en gång), skickar in andelarna till upplåsaren och bekräftar att den är upplåst. Ingen andel skrivs någonsin till en fil eller anges på en kommandorad.
Harrow kör den i direktläge, genom en port-forward:
kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &
AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh<path-to-your-custodian-identity> är nyckelförvaltarens age-identitetsfil, den privata halvan av en av mottagarna i keys.custody.recipients. UNSEAL_RESOLVE är namnet som upplåsarens certifikat bär (<namespace> är namnrymden som Nexus är installerat i, nexus som standard), så TLS kontrolleras mot upplåsarens egen CA trots att anslutningen går till 127.0.0.1. Skriptet stänger aldrig av certifikatkontrollen.
| Slutkod | Sista raden | Betydelse |
|---|---|---|
| 0 | UNSEALED nexus/openbao-unsealer-0 |
Upplåst. Om den redan var det skickades ingenting |
| 1 | STILL-SEALED … |
Fortfarande förseglad, eller så misslyckades ett upplåsningsanrop |
| 2 | UNSEAL-REFUSED … |
Ett förhandskrav saknas, namngivet i meddelandet |
| 3 | UNSEAL-REFUSED … |
Den här identiteten kan inte dekryptera andelarna, så den är inte en nyckelförvaltare för denna installation. Ingenting skickades |
Inom en minut följer nyckellagret efter av sig självt. Kontrollera med kubectl -n nexus get deploy,statefulset att allt är redo igen.
Nyckelförvaltare väljs före installationen, och var och en skapar sin egen nyckel på sin egen maskin. Chartet ser bara någonsin den publika halvan:
age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.keyDet första kommandot skapar en vanlig age-identitet; dess mottagare är raden # public key: age1... i filen. Det andra skapar en som hålls i en Macs Secure Enclave, med en mottagare som börjar på age1se1. Vilken som helst av mottagarna läggs in i keys.custody.recipients. Identitetsfilen stannar hos sin nyckelförvaltare, offline.
Säkerhetskopiering och återställning
Säkerhetskopiera och återställ visar varje lager med dess senaste säkerhetskopia och den senaste gången en återställning av det faktiskt testades. En säkerhetskopia är bevisad först när den har återställts, så sidan spårar båda. Sex lager säkerhetskopieras. Huvuddatabasen håller personer och inställningar, jobb och revisionsloggen. Bredvid den ligger kunskapsgrafen och sökindexet, därefter fillagret och minneslagret. Nycklarna är det sjätte, förseglade och hållna åtskilda från data. Säkerhetskopior går till din egen lagring, krypterade med dina egna nycklar, och Adverant kan inte läsa dem. När ett lager inte har teståterställts inom din regel visar sidan skylten RESTORE_TEST_OVERDUE med knappen Testa nu. En teståterställning körs i ett separat utrymme och ingen märker av den.
Samma två åtgärder är tillgängliga från kommandoraden:
nexusctl backup now
nexusctl backup verifybackup now tar en säkerhetskopia av varje lager på en gång. backup verify kontrollerar den senaste säkerhetskopian. Kör båda före varje ändring som du känner dig osäker inför.
För att återställa anger du namnet på säkerhetskopian:
nexusctl restore --from <backup-id><backup-id> kommer från listan på Säkerhetskopiera och återställ. En återställning kräver att en andra person godkänner den, och medan den körs visar förloppsindikatorn den med starttiden och vem som godkände den. Alla har endast läsbehörighet under återställningen, vilket skiljer sig från att vara utelåst: användare kan logga in och läsa. Jobb startar inte (scheman väntar och kommer ikapp), och sökfunktionen återvänder när sökindexet är tillbaka. Allt som skrivits efter att säkerhetskopian togs går förlorat, så återställningsrapporten listar det per ägare så att de kan göra om det.
Förvara ytterligare en sak tillsammans med dina säkerhetskopior: Secret-objektet nexus-generated i namnrymden nexus. Chartet skapar installationens genererade lösenord och krypteringsnycklar vid den första installationen och läser tillbaka dem från det Secret-objektet vid varje uppgradering. Data som förseglats under EXTERNAL_KEY_ENCRYPTION_KEY öppnas endast med den nyckeln. Lagra en kopia av Secret-objektet där du förvarar det mest känsliga materialet du har, eftersom den som innehar det innehar de nycklarna.
Uppgraderingar
Tomás uppgraderar i två steg. Först frågar han vad som kommer att ändras:
nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarPlanen listar vad som ändras i utgåvan, eventuella ändringar i databasens struktur och huruvida det kan ångras. Sedan tillämpar han den:
nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarTillämpningen tar först en säkerhetskopia och kör förkontroller. Den flyttar sedan fram motorerna i vågor, och varje våg väntar tills den föregående har varit felfri i 10 minuter. Sidan Uppgradera visar varje våg medan den pågår och installationens hälsotillstånd under tiden. Den anger också hur länge vägen tillbaka hålls öppen; efter det datumet kräver en tillbakagång en återställning. Om ett steg misslyckas rullar Nexus tillbaka varje motor till den föregående utgåvan och kontrollerar dem. Meddelandet UPGRADE_ROLLED_BACK namnger då det steg som misslyckades och anger att data inte har ändrats. Åtgärden visas före Försök igen, och supportpaketet ligger en knapptryckning bort.
För en installation utan extern anslutning anländer paketet på lagringsmedia. Importera från media kontrollerar utgåvans signatur mot den Adverant-utgåvenyckel som är installerad på installationen och kontrollerar att versioner endast rör sig framåt. Filer som signerats av någon annan avvisas med MEDIA_SIGNATURE_INVALID: ingenting läses in och den körande utgåvan fortsätter att köra.
Vad som händer under ytan
nexusctl upgrade apply kör helm upgrade mot chartet. Om du uppgraderar med Helm själv gäller samma regler:
helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900sSchemat flyttas fram innan de nya poddarna rullas ut. Chartets migreringar är pre-upgrade-hooks som körs i ordning: först databasens bootstrap, sedan varje tjänsts migreringar, sedan de för konsolens backend för frontend (BFF). Förvaltningsjobbet körs också, och på en installation som redan är initierad bekräftar det detta och ändrar ingenting. Varje hook-jobb har en backoff-gräns på 0, så en migrering som misslyckas stoppar uppgraderingen och försöks aldrig igen i tysthet: läs dess logg med kubectl -n nexus logs job/<hook-job> innan du försöker igen.
Varje tjänsts podd väntar i en init-container, wait-for-schema, tills utgåveliggaren visar att dess migreringar har tillämpats för den nya utgåvans avbildning. Efter en tillbakarullning, eller en uppgradering som endast ändrade värden, hittar en omstartad podd sin rad och startar direkt.
Innan du uppgraderar
Tre punkter från versionsinformationen är värda att planera kring:
- Uppgradera under en lugn period. Vid den första uppgraderingen av en installation som skapats från ett tidigare chart tar bootstrap-jobbet bort de gamla standardrättigheterna för tabeller, och varje tjänst får tillbaka sina egna genom sin egen migrering. Tills den migreringen körs kan en tjänst inte använda sina tabeller. Glappet varar i sekunder. Om sekunder spelar roll, skala ned tjänsterna till noll först och säkerhetskopiera när migreringsjobben har slutförts.
- Ge varje nyckel för applikationsprogrammeringsgränssnitt (API) en organisation. En nyckel utan organisation avvisas med
403 TOKEN_ORG_MISSINGav varje tjänst som kontrollerar nycklar genom nexus-auth, inklusive nexus-graphrag. Innan du uppgraderar, ge varje sådan nyckel en organisation eller utfärda en ny nyckel. Gamla bcrypt-nycklar fortsätter att fungera fram till sitt datum för hård återkallelse. - Rensa de cachade API-nycklarna efteråt. Upp till en timme av cachade nyckelposter bär fel applikationsnamn tills du gör det. Kör detta mot nexus-auths cache, installationens Valkey (
nexus-valkey, lösenord i Secret-objektetnexus-generatedunderVALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"Det gäller för standardlagret i klustret. Med dataTier.valkey.mode: external finns det ingen sådan podd: kör samma skanning och radering mot din egen Valkey-värd, med lösenordet från det Secret-objekt som namnges i dataTier.valkey.external.existingSecret.
Återställning till tidigare version
Inom det tidsfönster som sidan Uppgradera visar återställer Gå tillbaka varje motor till den föregående utgåvan. Efter tidsfönstret innebär en tillbakagång att man återställer den säkerhetskopia som uppgraderingen tog först.
Två värden får aldrig ändras över en uppgradering eller en tillbakarullning.
keys.installationName är permanent. Nyckellagrets första bootstrap skapar installationens identitet under det, och den identiteten är vad din licens namnger. Använd exakt samma värde i varje values-fil du någonsin tillämpar på denna installation.
Secret-objektet nexus-generated måste förbli som det är. Vid varje uppgradering läser chartet EXTERNAL_KEY_ENCRYPTION_KEY från det och kontrollerar dess form. Ett värde som varken är base64 av 32 byte eller den råa 32-bytenyckeln från en äldre installation stoppar renderingen med EXTERNAL_KEY_ENCRYPTION_KEY_INVALID, och chartet skriver aldrig ut värdet. Det betyder att någon har redigerat eller ersatt Secret-objektet. Lägg tillbaka nyckeln som denna installations data är förseglade under, som base64 av dess 32 byte (printf %s "$OLD" | base64), och uppgradera igen. En ny slumpmässig nyckel skulle göra allt som är förseglat under den gamla oläsbart.
Skalning
Varje komponent har en brytare och en storlek i values-filen. Obligatoriska komponenter kan inte stängas av: chartet kör dem oavsett vad deras brytare anger. De övriga kan ges fler repliker och mer resurser.
# harrow-values.yaml (Helm values): scaling
components:
gateway:
replicas: 2
resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
graphrag:
replicas: 2
workflows:
replicas: 2
workflows:
concurrency: "8"
dataTier:
qdrant:
resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }Tillämpa det med helm upgrade som ovan. Volymer storleksbestäms under dataTier.<store>.size; kontrollera att din lagringsklass kan utöka en volym innan du höjer en. Hur installationen mår visar i diagram hur belastade klustrets processorer och minne har varit, samt hur mycket utrymme som finns kvar i respektive del. Utöka det som tar slut först.
Supportpaket
När Harrow behöver Adverants hjälp skapar Tomás ett supportpaket:
nexusctl support-bundle --out harrow-support-4471.tar.gzKonsolens sida Supportpaket skapar samma fil. Den samlar in motorloggarna från de senaste 24 timmarna med hälso- och versionsdetaljer. Inställningar läggs in utan sina hemligheter, tillsammans med förkontroll- och installationsrapporterna. Innan någonting skrivs ersätter maskeringen namn och hemligheter med platshållare, och du läser en förhandsgranskning av exakt vad som kommer att skickas iväg. Användarnas eget innehåll samlas aldrig in. Paketet går till Adverant antingen som en uppladdning till ditt kontos sida Support och supportpaket eller som en fil som bärs ut på lagringsmedia. Endast de supportingenjörer som namnges i ärendet kan öppna det, och det raderas efter 30 dagar.
Bevisexport
Revisorer och ditt eget efterlevnadsteam vill ofta ha bevis på att plattformen beter sig som beskrivet. nexusctl evidence export skriver ut det:
nexusctl evidence export --out harrow-evidence-2027-01Utöver de poster som kommandot exporterar kör det plattformens acceptanstester: routern för artificiell intelligens (AI) kan nås och svarar, ett UNO-jobb skickas iväg och slutförs, och en läsning mellan organisationer avvisas. Deras resultat finns i probes.json i utdatamappen.
Status i korthet
nexusctl status --json svarar på om installationen är felfri och vilket tillstånd varje komponent befinner sig i. Det rapporterar också licenstillståndet med dess utgångsdatum, utgåvan och den körande versionen. Varje kompilerad del listas med sitt kontrollvärde (digest) och sin signatur. Det är kommandot att lägga bakom din egen övervakning.
Avinstallera
nexusctl uninstall --profile <profile-file><profile-file> är driftsättningsprofilen för klustret, samma fil som du skickade till nexusctl handoff --profile <profile-file> --out <dir> om ditt plattformsteam driver klustret. Överlämningen (handoff) skriver, för det teamet, en lista i klarspråk över vad Nexus behöver från klustret och manifesten för att uppfylla det. Avinstallationen tar bort Nexus-namnrymderna och ingenting annat, och den behåller dina säkerhetskopior. Installationens identitet försvinner med den. En senare installation på samma kluster är en ny installation med en ny identitet, så dess anspråk är ett nytt anspråk och dess licens är en ny licens.
Sidorna Den här installationen
Operatörer av installationen har sin egen grupp i menyn, Den här installationen, och det är på dess sidor som merparten av det här kapitlet utspelar sig i konsolen. En medlem som öppnar en av dem ser sidan Inte en administratör, som namnger vem som kan agera.
| Sida | Vad den är till för |
|---|---|
| Licens och vad den låser upp | Licensen och dess funktionsgrupper (kapitel 2.13, Licenser) |
| Om licensen löper ut | Utgångstrappan i ord, med den här licensens datum |
| Kompilerade komponenter | Varje licensierad modul med sin nattliga signaturkontroll |
| Användningsredovisning för Adverant | De årliga räknarna, läsbara innan de skickas iväg |
| Versioner och uppgraderingar | Varje installerad version, med vem som installerade den och när |
| Uppgradera | Den stegvisa uppgraderingen och vägen tillbaka |
| Säkerhetskopiera och återställ | Varje lager, dess senaste säkerhetskopia och dess senaste testade återställning |
| Installationens status | Noder, kapacitet och driftskostnad, med varningar |
| Nycklar och radering | Varje organisations nyckel, och Radera med en anledning och en andra person |
| Incidenter | Öppna och stängda problem, med vad som gjordes |
| Fasats ut snart | Funktioner som stängs av, med datum, export och ersättning |
| Status | Varje del av Nexus nu och över 30 dagar, med ord som vem som helst kan förstå |
| Supportpaket | Vad som skickas till Adverant, och hur |
Två av dessa sidor förtjänar ett eget omnämnande. Kompilerade delar kontrollerar varje licensierad modul mot Adverants signatur varje natt. En ändrad kopia av en modul avvisas och läses aldrig in, medan den signerade kopian fortsätter att köra, och sidan räknar avvisningar per månad så att en manipulerad kopia inte kan passera obemärkt. Status är skriven så att vem som helst i organisationen kan läsa den. Den visar varje del av Nexus nu och under de senaste 30 dagarna som en rad av dagar, med planerat underhåll och nyligen inträffade incidenter, och en operatör lägger till en incident eller ett underhållsfönster från samma sida.
En Community-installation har en sida, Den här installationen (Community), med dess version, hälsa och uppdateringar. Enterprise-sidorna visas på den som förhandsvisningar som anger vem som kan slå på dem.




