Útgáfa 1.0.0-alpha.1nýjast
Kafli 2.15
Dagur tvö: rekstur Nexus
Reglubundin vinna við að reka uppsetningu eftir fyrstu vikuna. Hún byrjar á því að opna innsigli lyklageymslunnar eftir endurræsingu og endar á fjarlægingu.
Þessi síða var þýdd með gervigreind úr enska frumtextanum. Ef eitthvað er óljóst gildir enska síðan til viðmiðunar. Lesa þessa síðu á ensku

Í fyrsta sinn sem rafmagnið fór af netþjónaherbergi Harrow Port Authority kom allt aftur upp nema þeir hlutar sem þurftu lykla. Pod-einingar voru í stöðunni Running og stjórnborðið hlóðst inn. Enginn gat opnað skrá. Tomás Reilly hafði lesið um þetta og það tók hann samt tuttugu mínútur að muna hvers vegna. Afinnsiglari lyklageymslunnar ræsist innsiglaður eftir hverja endurræsingu á hnúti sínum og aðeins vörsluaðili getur opnað hann.
Þessi kafli fylgir venjubundnum verkefnum rekstraraðilans eftir fyrstu vikuna, allt frá lyklageymslunni og vörsluaðilum hennar til fjarlægingar á uppsetningu. Hver nexusctl-skipun hér tekur við --explain, sem prentar út þær kubectl- og helm-aðgerðir sem hún myndi keyra án þess að keyra þær. Notið þetta í fyrsta sinn sem þið keyrið eitthvað á raunklasa.
Varsla lyklageymslu
Uppsetning hefur tvo OpenBao-netþjóna í nafnarými sínu. Lyklageymslan, openbao, geymir alla lykla sem Nexus notar. Afinnsiglarinn, openbao-unsealer, er annar lítill OpenBao-netþjónn sem hefur það eina hlutverk að afinnsigla lyklageymsluna. Lyklageymslan afinnsiglar sig sjálf í gegnum flutningslykil afinnsiglarans; afinnsiglarinn er innsiglaður með kerfi Shamirs, sem 5 hlutar þar sem hvaða 3 sem er afinnsigla hann.
Við fyrstu uppsetningu frumstillir vörsluverk (Job) báða netþjónana inni í klasanum. Það dulkóðar hluta afinnsiglarans og endurheimtarlykla lyklageymslunnar í eigin minni fyrir hvern vörsluaðila sem nefndur er í keys.custody.recipients, og geymir aðeins dulmálið (Secrets-gildin openbao-unseal-shares-encrypted og openbao-recovery-keys-encrypted). Það afturkallar bæði rócarteiknin (root tokens) í sama verkinu. Pakki hvers vörsluaðila inniheldur næga hluta til að afinnsigla upp á eigin spýtur, þannig að einn vörsluaðili er allt sem þarf eftir endurræsingu.
Eftir endurræsingu hnúts
Eftir hvaða endurræsingu sem er á hnútnum sem afinnsiglarinn keyrir á (rafmagnsleysi, endurræsingu vélar, endurræsingu gámakeyrsluumhverfis) ræsist afinnsiglarinn innsiglaður. Þangað til vörsluaðili afinnsiglar hann helst lyklageymslan einnig innsigluð og ekkert sem þarf lykil virkar. Stjórnborðið svarar enn og fólk getur enn skráð sig inn, en allar aðgerðir sem þurfa lykil úr lyklageymslunni bíða: opnun á dulkóðuðu efni, tilkall, athugun á þýddum einingum.
Spyrjið OpenBao sjálft, inni í hverri pod-einingu. Þetta er afinnsiglarinn:
kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
bao status -format=json -address=https://127.0.0.1:8200 \
-ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"Keyrið sömu skipun á openbao-0 með -tls-server-name=openbao fyrir lyklageymsluna. bao status hættir með 0 þegar netþjónninn er afinnsiglaður, 2 þegar hann er innsiglaður og 1 þegar hann gat ekki svarað. Útgöngukóðinn 1 segir ekkert til um stöðuna, því pod-einingin er ef til vill ekki komin upp ennþá. Bíðið í eina mínútu og spyrjið aftur. Ef afinnsiglarinn er afinnsiglaður og lyklageymslan er enn innsigluð, er lyklageymslan að afinnsigla sig sjálf og þið þurfið ekkert að gera.
Afinnsiglun
Chart-pakkinn inniheldur unseal.sh, í files/custody/-möppu sinni, nákvæmlega eins bæti fyrir bæti í hverri útgáfu. Vörsluaðili keyrir hana á eigin vél. Hún les dulkóðaða Secret-gildið, afkóðar það einu sinni með auðkenni vörsluaðilans (Secure Enclave-auðkenni biður um Touch ID einu sinni), sendir hlutana til afinnsiglarans og stafestir að hann sé afinnsiglaður. Enginn hluti er nokkurn tímann skrifaður í skrá eða settur í skipanalínu.
Harrow keyrir hana í beinum ham, í gegnum gáttaráframsendingu (port-forward):
kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &
AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh<path-to-your-custodian-identity> er age-auðkennisskrá vörsluaðilans, einkahluti eins af viðtakendunum í keys.custody.recipients. UNSEAL_RESOLVE er nafnið sem skilríki afinnsiglarans ber (<namespace> er nafnarýmið sem Nexus er sett upp í, sjálfgefið nexus), þannig að TLS er sannreynt gagnvart eigin vottunarstöð (CA) afinnsiglarans jafnvel þótt tengingin fari á 127.0.0.1. Skriftan slekkur aldrei á sannprófun skilríkja.
| Útgöngukóði | Síðasta lína | Merking |
|---|---|---|
| 0 | UNSEALED nexus/openbao-unsealer-0 |
Afinnsiglað. Ef það var þegar afinnsiglað var ekkert sent |
| 1 | STILL-SEALED … |
Enn innsiglað, eða afinnsiglunarkall mistókst |
| 2 | UNSEAL-REFUSED … |
Forkröfu vantar, sem nefnd er í skilaboðunum |
| 3 | UNSEAL-REFUSED … |
Þetta auðkenni getur ekki afkóðað hlutana, svo það er ekki vörsluaðili þessarar uppsetningar. Ekkert var sent |
Innan mínútu fylgir lyklageymslan af sjálfu sér. Gangið úr skugga um að allt sé tilbúið aftur með kubectl -n nexus get deploy,statefulset.
Vörsluaðilar eru valdir fyrir uppsetninguna og hver um sig býr til sinn eigin lykil á eigin vél. Chart-pakkinn sér aldrei annað en dreifilykilinn (public half):
age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.keyFyrri skipunin býr til venjulegt age-auðkenni; viðtakandi þess er # public key: age1...-línan í skránni. Sú seinni býr til auðkenni sem geymt er í Secure Enclave á Mac-tölvu, með viðtakanda sem byrjar á age1se1. Hvor viðtakandinn sem er fer í keys.custody.recipients. Auðkennisskráin er áfram hjá vörsluaðila sínum, ótengd neti.
Afritun og endurheimt
Afritun og endurheimt sýnir hverja geymslu ásamt síðasta afriti hennar og hvenær endurheimt úr henni var síðast prófuð í raun. Afrit er aðeins sannað þegar það hefur verið endurheimt, þannig að síðan heldur utan um hvort tveggja. Sex geymslur eru afritaðar. Aðalgagnagrunnurinn geymir fólk og stillingar; verk og aðgerðaskrá (audit log). Við hlið hans sitja þekkingarnetið og leitarvísirinn, og síðan skráageymslan og minnisgeymslan. Lyklarnir eru sú sjötta, innsiglaðir og geymdir aðskildir frá gögnunum. Afrit fara í ykkar eigin geymslu, dulkóðuð með ykkar eigin lyklum, og Adverant getur ekki lesið þau. Þegar geymsla hefur ekki verið prófunarendurheimt innan reglna ykkar sýnir síðan spjaldið RESTORE_TEST_OVERDUE með hnappinum Prófa núna. Prófunarendurheimt keyrir í aðskildu rými og enginn tekur eftir henni.
Sömu tvær aðgerðir eru tiltækar úr skipanalínunni:
nexusctl backup now
nexusctl backup verifybackup now tekur afrit af öllum geymslum í einu. backup verify sannprófar nýjasta afritið. Keyrið hvort tveggja fyrir allar breytingar sem þið eruð uggandi yfir.
Til að endurheimta tilgreinið þið afritið:
nexusctl restore --from <backup-id><backup-id> kemur af listanum á síðunni Afritun og endurheimt. Endurheimt krefst þess að annar aðili samþykki hana og á meðan hún keyrir sýnir framvinduröndin hana ásamt tímanum sem hún hófst og hver samþykkti hana. Allir hafa aðeins lesaðgang á meðan á endurheimtinni stendur, sem er ólíkt því að vera læstur úti: fólk getur skráð sig inn og lesið. Verk fara ekki af stað (áætlanir bíða og vinna upp biðtímann) og leit kemur aftur inn þegar leitarvísirinn er kominn til baka. Allt sem skrifað var eftir að afritið var tekið glatast, þannig að endurheimtarskýrslan listar það eftir eigendum svo þeir geti gert það aftur.
Geymið eitt enn með afritunum ykkar: Secret-gildið nexus-generated í nafnarýminu nexus. Chart-pakkinn býr til framleidd lykilorð og dulkóðunarlykla uppsetningarinnar við fyrstu uppsetningu og les þau aftur úr þessu Secret-gildi við hverja uppfærslu. Gögn sem innsigluð eru undir EXTERNAL_KEY_ENCRYPTION_KEY opnast aðeins með þeim lykli. Geymið afrit af Secret-gildinu þar sem þið geymið viðkvæmustu gögnin ykkar, því hver sá sem hefur það undir höndum hefur þessa lykla.
Uppfærslur
Tomás uppfærir í tveimur skrefum. Fyrst spyr hann hvað muni breytast:
nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarÁætlunin listar hvað breytist í útgáfunni, allar breytingar á uppbyggingu gagnagrunnsins og hvort hægt sé að afturkalla þær. Síðan virkjar hann hana:
nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tarVirkjunin tekur fyrst afrit og keyrir forathugun (preflight). Hún færir síðan vélarnar í bylgjum og hver bylgja bíður þangað til sú síðasta hefur verið í lagi í 10 mínútur. Uppfærslusíðan sýnir hverja bylgju á meðan hún gengur yfir og heilbrigði uppsetningarinnar á meðan. Hún segir einnig til hvers tíma leiðin til baka helst opin; eftir þá dagsetningu krefst afturhvarf endurheimtar. Ef skref mistekst, rúllar Nexus öllum vélum aftur í fyrri útgáfu og sannprófar þær. Tilkynningin UPGRADE_ROLLED_BACK nefnir þá skrefið sem mistókst og segir að gögnum hafi ekki verið breytt. Lagfæringin kemur á undan Reyna aftur og þjónustupakkinn (support bundle) er í eins hnapps fjarlægð.
Fyrir uppsetningu án utanaðkomandi tengingar berst pakkinn á gagnamiðli. Innflutningur af gagnamiðli sannprófar undirskrift útgáfunnar gagnvart útgáfulykli Adverant sem settur er upp á uppsetningunni og gætir þess að útgáfur færist aðeins fram á við. Skrám sem undirritaðar eru af einhverjum öðrum er hafnað með MEDIA_SIGNATURE_INVALID: ekkert er hlaðið inn og útgáfan sem er í gangi heldur áfram að keyra.
Hvað gerist undir niðri
nexusctl upgrade apply keyrir helm upgrade á chart-pakkann. Ef þið uppfærið sjálf með Helm gilda sömu reglur:
helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900sSkemað færist áður en nýju pod-einingarnar rúlla inn. Gagnaskipti (migrations) chart-pakkans eru for-uppfærslukrókar (pre-upgrade hooks) sem keyra í röð: frumstilling gagnagrunnsins fyrst, síðan gagnaskipti hverrar þjónustu, og loks gagnaskipti bakenda fyrir framenda (BFF) stjórnborðsins. Vörsluverkið (custody Job) keyrir líka og á uppsetningu sem þegar er frumstillt staðfestir það þá stöðu og breytir engu. Hvert krókaverk hefur endurtekningarmörk (backoff limit) upp á 0, þannig að gagnaskipti sem mistakast stöðva uppfærsluna og eru aldrei reynd aftur í hljóði: lesið atburðaskrá þess með kubectl -n nexus logs job/<hook-job> áður en reynt er aftur.
Pod-eining hverrar þjónustu bíður í frumstillingargámi (init container), wait-for-schema, þangað til útgáfuskráin sýnir að gagnaskipti hennar hafi verið virkjuð fyrir mynd nýju útgáfunnar. Eftir afturhvarf (rollback), eða uppfærslu sem breytti aðeins gildum, finnur endurræst pod-eining línuna sína og ræsist samstundis.
Áður en þið uppfærið
Þrjú atriði úr útgáfulýsingunni er vert að skipuleggja sig í kringum:
- Uppfærið á rólegum tíma. Við fyrstu uppfærslu á uppsetningu sem gerð var úr eldri chart-pakka tekur frumstillingarverkið í burtu gömlu sjálfgefnu töfluréttindin og hver þjónusta fær sín eigin til baka úr sínum eigin gagnaskiptum. Þangað til þau gagnaskipti keyra getur þjónusta ekki notað töflurnar sínar. Bilið varir í nokkrar sekúndur. Ef sekúndur skipta máli skuluð þið skala þjónusturnar niður í núll fyrst og skala þær aftur upp þegar gagnaskiptaverkunum er lokið.
- Gefið hverjum forritaskilalykli (API-lykli) stofnun. Lykli án stofnunar er hafnað með
403 TOKEN_ORG_MISSINGaf öllum þjónustum sem sannprófa lykla í gegnum nexus-auth, þar á meðal nexus-graphrag. Áður en þið uppfærið skuluð þið gefa hverjum slíkum lykli stofnun eða gefa út nýjan lykil. Gamlir bcrypt-lyklar halda áfram að virka fram að endanlegri afturköllunardagsetningu þeirra. - Hreinsið skyndiminni API-lykla á eftir. Allt að klukkustund af lyklafærslum í skyndiminni bera rangt forritsheiti þangað til þið gerið það. Keyrið þetta á skyndiminni nexus-auth, Valkey uppsetningarinnar (
nexus-valkey, lykilorð í Secret-gildinunexus-generatedundirVALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"Þetta á við um sjálfgefnu geymsluna innan klasans. Með dataTier.valkey.mode: external er engin slík pod-eining til staðar: keyrið sömu leit og eyðingu á ykkar eigin Valkey-hýsil, með lykilorðinu úr Secret-gildinu sem nefnt er í dataTier.valkey.external.existingSecret.
Afturhvarf
Innan tímarammans sem Uppfærslusíðan sýnir skilar Fara til baka öllum vélum í fyrri útgáfu. Eftir að tímarammanum lýkur þýðir afturhvarf að endurheimta þarf afritið sem uppfærslan tók fyrst.
Tvö gildi mega aldrei breytast við uppfærslu eða afturhvarf.
keys.installationName er varanlegt. Fyrsta frumstilling lyklageymslunnar býr til auðkenni uppsetningarinnar undir því og það auðkenni er það sem leyfið ykkar tilgreinir. Notið nákvæmlega sama gildi í öllum gildaskrám (values files) sem þið virkjið nokkurn tímann á þessa uppsetningu.
Secret-gildið nexus-generated verður að haldast óbreytt. Við hverja uppfærslu les chart-pakkinn EXTERNAL_KEY_ENCRYPTION_KEY úr því og athugar lögun þess. Gildi sem er hvorki base64 af 32 bætum né hrái 32 bæta lykillinn úr eldri uppsetningu stöðvar útfærsluna með EXTERNAL_KEY_ENCRYPTION_KEY_INVALID og chart-pakkinn prentar aldrei gildið. Það þýðir að einhver breytti eða skipti út Secret-gildinu. Setjið aftur inn lykilinn sem gögn þessarar uppsetningar eru innsigluð undir, sem base64 af 32 bætum hans (printf %s "$OLD" | base64), og uppfærið aftur. Nýr slembilykill myndi gera allt sem innsiglað var undir þeim gamla ólæsilegt.
Skölun
Hver eining hefur rofa og stærð í gildaskránni. Ekki er hægt að slökkva á nauðsynlegum einingum: chart-pakkinn keyrir þær óháð því hvað rofinn þeirra segir. Hinum er hægt að gefa fleiri afrit (replicas) og meiri tilföng.
# harrow-values.yaml (Helm values): scaling
components:
gateway:
replicas: 2
resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
graphrag:
replicas: 2
workflows:
replicas: 2
workflows:
concurrency: "8"
dataTier:
qdrant:
resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }Virkjið það með helm upgrade eins og að ofan. Stærð geymslusvæða er stillt undir dataTier.<store>.size; gangið úr skugga um að geymsluflokkurinn (storage class) ykkar geti stækkað geymslusvæði áður en þið hækkið gildið. Hvernig uppsetningunni gengur sýnir á grafi hversu uppteknir örgjörvar og minni klasans hafa verið, ásamt því rými sem eftir er í hvoru um sig. Stækkið það sem klárast fyrst.
Þjónustupakkar
Þegar Harrow þarf á aðstoð Adverant að halda býr Tomás til þjónustupakka:
nexusctl support-bundle --out harrow-support-4471.tar.gzSíðan Þjónustupakki á stjórnborðinu býr til sömu skrá. Hún safnar saman atburðaskrám véla síðustu 24 klukkustundir ásamt upplýsingum um heilbrigði og útgáfur. Stillingar fara inn án leyndarmála sinna, ásamt forathugunar- og uppsetningarskýrslum. Áður en nokkuð er skrifað skiptir afmáun (redaction) út nöfnum og leyndarmálum fyrir staðgengla og þið lesið forskoðun á nákvæmlega því sem mun fara út. Eigin efni fólks er aldrei safnað. Pakkinn fer til Adverant annaðhvort sem upphleðsla á síðuna Þjónusta og þjónustupakkar á reikningnum ykkar eða sem skrá sem flutt er út á gagnamiðli. Aðeins þjónustuverkfræðingarnir sem nefndir eru í beiðninni geta opnað hann og honum er eytt eftir 30 daga.
Útflutningur sönnunargagna
Endurskoðendur og ykkar eigið regluvörsluteymi vilja oft sönnun þess að kerfið hagi sér eins og lýst er. nexusctl evidence export skrifar hana:
nexusctl evidence export --out harrow-evidence-2027-01Samhliða skránum sem skipunin flytur út keyrir hún viðtökuprófanir kerfisins: gervigreindarbeinirinn (AI router) er aðgengilegur og svarar, UNO-verk er sent af stað og klárast, og lestri þvert á stofnanir er hafnað. Niðurstöður þeirra eru í probes.json í úttaksmöppunni.
Staðan í fljótu bragði
nexusctl status --json svarar því hvort uppsetningin sé heilbrigð og í hvaða ástandi hver eining er. Hún gefur einnig skýrslu um stöðu leyfisins ásamt gildistíma þess, útgáfugerðinni (edition) og útgáfunni sem er í gangi. Hver þýdd eining (compiled part) er listuð með útdrætti (digest) sínum og undirskrift. Þetta er skipunin sem setja á bak við ykkar eigin vöktun.
Fjarlæging
nexusctl uninstall --profile <profile-file><profile-file> er uppsetningarsniðið fyrir klasann, sama skrá og þið senduð í nexusctl handoff --profile <profile-file> --out <dir> ef kerfisteymið ykkar rekur klasann. Handoff skrifar, fyrir það teymi, lista á skýru máli yfir það sem Nexus þarf frá klasanum og lýsiskrárnar (manifests) til að mæta því. Uninstall fjarlægir nafnarými Nexus og ekkert annað, og heldur afritunum ykkar. Auðkenni uppsetningarinnar fer með henni. Síðari uppsetning á sama klasa er ný uppsetning með nýju auðkenni, þannig að tilkall hennar er nýtt tilkall og leyfi hennar er nýtt leyfi.
Síðurnar Þessi uppsetning
Rekstraraðilar uppsetningarinnar hafa sinn eigin hóp í valmyndinni, Þessi uppsetning, og síður hans eru þar sem mestur hluti þessa kafla fer fram á stjórnborðinu. Meðlimur sem opnar eina þeirra sér síðuna Ekki kerfisstjóri, sem nefnir hverjir geta framkvæmt aðgerðir.
| Síða | Til hvers hún er |
|---|---|
| Leyfi og hvað það opnar | Leyfið og eiginleikahópar þess (kafli 2.13, Leyfi) |
| Ef leyfið rennur út | Lokunarþrepin í orðum, með dagsetningum þessa leyfis |
| Vistþýddir hlutar | Hver leyfisskyld eining með næturlegri sannprófun á undirskrift |
| Notkunaryfirlit fyrir Adverant | Árlegu teljararnir, læsilegir áður en þeir fara út |
| Útgáfur og uppfærslur | Hver uppsett útgáfa, ásamt því hver setti hana upp og hvenær |
| Uppfærsla | Þrepaskipta uppfærslan og leiðin til baka |
| Afritun og endurheimt | Hver geymsla, síðasta afrit hennar og síðasta prófaða endurheimt |
| Staða uppsetningarinnar | Hnútar, afkastageta og rekstrarkostnaður, með viðvörunum |
| Lyklar og eyðing | Lykill hverrar stofnunar og Eyða með ástæðu og öðrum aðila |
| Atvik | Opin og lokuð vandamál, ásamt því hvað var gert |
| Á útleið bráðlega | Eiginleikar sem verið er að slökkva á, með dagsetningum, útflutningi og arftaka |
| Staða | Hver hluti Nexus núna og yfir 30 daga, á máli sem allir geta lesið |
| Þjónustupakki | Hvað fer til Adverant, og hvernig |
Tvær af þessum síðum verðskulda nokkur orð. Þýddar einingar sannprófar hverja leyfisskylda einingu gagnvart undirskrift Adverant á hverju kvöldi. Breyttu eintaki af einingu er hafnað og því er aldrei hlaðið inn, á meðan undirritaða eintakið heldur áfram að keyra, og síðan telur hafnanir eftir mánuðum svo að átt hafi verið við eintak geti ekki farið fram hjá neinum. Staða er skrifuð þannig að hver sem er í stofnuninni geti lesið hana. Hún sýnir hvern hluta Nexus núna og síðustu 30 daga semjarönd af dögum, með áætluðu viðhaldi og nýlegum atvikum, og rekstraraðili bætir við atviki eða viðhaldsglugga af sömu síðu.
Community-uppsetning hefur eina síðu, Þessi uppsetning (Community), með útgáfu hennar, heilbrigði og uppfærslum. Enterprise-síðurnar birtast á henni sem kynningar sem nefna hver getur kveikt á þeim.




