Versija 1.0.0-alpha.1naujausia
2.3 skyrius
Diegimo planavimas
Ko reikia Nexus diegimui Kubernetes aplinkoje prieš įvedant komandą, koks jo dydis ir du sprendimai, kurių negalėsite atšaukti – diegimo pavadinimas ir raktų saugotojai. Pabaigoje pateikiamas užpildytas Harrow Port Authority planavimo darbalapis.
Šį puslapį iš originalo anglų kalba išvertė DI. Jei kas nors neaišku, remkitės puslapiu anglų kalba. Skaityti šį puslapį anglų kalba

Kai įdiegėme „Nexus“ organizacijoje „Harrow Port Authority“, komandų vykdymas užtruko vieną popietę. Planavimas užtruko savaitę, ir didžioji tos savaitės dalis buvo skirta dviem klausimams, kurie neturi nieko bendra su „Kubernetes“: kaip pavadinsime diegimą ir kurie žmonės saugos jo atkūrimo raktus. Abu atsakymai yra galutiniai. Visa kita šiame skyriuje vėliau galima pakeisti naudojant reikšmių failą ir helm upgrade.
Esu Tomás Reilly, „Harrow“ platformos inžinierius. „Harrow“ valdo du diegimus. Šiame skyriuje planuojamas prijungtasis diegimas mūsų įmonės tinkle, kuriame pirmiausia išbandėme „Community“ leidimą. Uosto operacijų tinklas, neturintis maršruto į internetą, savo diegimą gavo vėliau; jį aprašo 2.10 skyrius, „Izoliuotas diegimas“. Šis skyrius yra tai, ką norėjau turėti pirmąjį rytą: klasteris, kurio tikisi „Nexus“, vardai, į kuriuos jis atsiliepia, kiek resursų jis reikalauja iš jūsų mazgų, ir sprendimai, kuriuos reikia suderinti su IT vadovu prieš diegimą. Skyrius baigiasi darbalapiu, kurį prieš mums pradedant pasirašė mūsų IT vadovė Aoife Brennan. 2.4 skyrius, „Leidimo gavimas ir patikrinimas“, aprašo leidimo atsisiuntimą ir patikrą, o 2.5 skyrius, „Išankstinė patikra su nexusctl“, patikrina jūsų klasterį pagal visus čia išdėstytus reikalavimus.
Ką privalo turėti klasteris
„Nexus“ diegiamas kaip vienas „Helm“ paketas (chart), nexus, versija 1.0.0-alpha.1. Paketas apima platformos paslaugas bei jų duomenų sluoksnį ir atsisako diegtis klasteryje, kuriame trūksta toliau nurodytų dalių.
| Reikalavimas | Ko tikisi „Nexus“ | Kodėl |
|---|---|---|
| Kubernetes | 1.33 arba naujesnė versija. Išbandyta su k3s v1.33.6+k3s1 |
Paketo kubeVersion yra >=1.33.0-0, o helm install tai užtikrina |
| cert-manager | v1.21.3, įdiegtas prieš „Nexus“ |
Paketas sukuria savo vietinį sertifikatų centrą (CA) ir sertifikatus, kuriuos jo paslaugos naudoja tarpusavio ryšiui |
| Helm | v4 (mes naudojome v4.3.1) | „Helm 4“ pagal numatytuosius nustatymus laukia paketo „hook Jobs“ užduočių pabaigos, nuo kurių priklauso diegimas |
| Saugyklos klasė (storage class) | Viena pažymėta kaip numatytoji arba ta, kurią nurodote storage.className |
Kiekviena duomenų saugykla reikalauja nuolatinio tomo (persistent volume) |
| Įėjimo klasė (ingress class) | Viena pažymėta kaip numatytoji arba ta, kurią nurodote ingress.className |
Trys viešieji adresai yra įprasti networking.k8s.io/v1 „Ingress“ objektai |
| 80 ir 443 prievadai | Atviri įėjimo valdiklyje (ingress controller) kaip „LoadBalancer“ arba „NodePort Service“ | Naudotojai pasiekia „Nexus“ per įėjimo valdiklį |
| Architektūra | linux/amd64 arba linux/arm64 mazgai |
Kiekvienas atvaizdas yra sukurtas abiem architektūroms |
Du dalykai į šią lentelę neįtraukti sąmoningai. „Nexus“ nereikalauja paslaugų tinklelio (service mesh): abipusis TLS (mTLS, abipusis transporto lygmens saugumas) tarp paslaugų gaunamas iš paketo vietinio CA per „cert-manager“. Paketas turi istio.enabled raktą, kurio numatytoji reikšmė yra false, ir turėtumėte ją tokią palikti. „Nexus“ taip pat nereikalauja jokio atskiro priėmimo politikos variklio (admission policy engine).
Savo darbo vietoje jums reikės kubectl, „Helm“ v4, cosign v3 parašams tikrinti, age saugotojų raktams kurti ir nexusctl – „Nexus“ operatoriaus komandinės eilutės sąsajos (CLI). 2.4 skyriuje, „Leidimo gavimas ir patikrinimas“, nurodyta, kur rasti kiekvieną „Nexus“ atsisiuntimą.
Trys adresai
Kiekvienas diegimas atsiliepia trimis mazgų vardais (host names). Paketas juos vadina diegimo tapatybe, ir be jų kiekviena paslauga atsisako pasileisti.
| Reikšmių raktas | „Harrow“ vardas | Kas ten atsiliepia |
|---|---|---|
hosts.console |
console.harrow.example |
Konsolė – žiniatinklio programa, prie kurios prisijungia žmonės |
hosts.api |
api.harrow.example |
Šliuzas (gateway), kuris aptarnauja programų sąsają (API) ir nukreipia kiekvieną dirbtinio intelekto (DI) užklausą |
hosts.auth |
auth.harrow.example |
Prisijungimo paslauga, nexus-auth |
global.domain saugo domeną, kuriam priklauso visi trys vardai – mūsų atveju harrow.example. Kiekvienas mazgo vardas yra savarankiškas pilnas vardas ir gali priklausyti bet kuriam jūsų valdomam domenui. Mes išlaikėme visus tris po vienu domenu, kad juos galėtų apimti vienas sertifikatas.
Sukurkite domeno vardų sistemos (DNS) įrašą kiekvienam iš trijų vardų, nukreipiantį į jūsų įėjimo valdiklio adresą. Atlikite tai prieš išankstinę patikrą (preflight). nexusctl preflight ieško kiekvieno vardo iš jūsų darbo vietos ir nutraukia diegimą, jei nors vienas iš jų neturi įrašo, nes žmogus negali pasiekti vardo, kuris nėra išsprendžiamas.
Pasirinkimas, kur baigiasi TLS
Paketo tls.mode nusprendžia, kas valdo trijų viešųjų adresų sertifikatus. Yra trys pasirinkimai, ir vėliau atnaujinimo metu galite juos keisti.
tls.mode |
Jūs pateikiate | Ką daro paketas |
|---|---|---|
existing (numatytasis) |
„Kubernetes“ TLS „Secret“ objektą nexus vardų srityje, nurodytą tls.existingSecret |
Visi trys „Ingress“ objektai naudoja tą vieną „Secret“ |
cert-manager |
Jūsų valdomą „ClusterIssuer“, nurodytą tls.clusterIssuer |
Prideda anotacijas kiekvienam „Ingress“ objektui, kad „cert-manager“ išduotų nexus-console-tls, nexus-api-tls ir nexus-auth-tls |
none |
Kažką priešais klasterį, kas užbaigia TLS ryšį, pavyzdžiui, jūsų pačių apkrovos skirstytuvą (load balancer) | Sugeneruoja „Ingress“ objektus be TLS sekcijos |
Naudojant existing, vienas sertifikatas aptarnauja visus tris mazgus, todėl jame turi būti nurodyti visi trys vardai – arba kaip trys alternatyvūs subjekto vardai (SAN), arba kaip jūsų domeno pakaitos simbolis (wildcard). Mes naudojome „Harrow“ vidinio CA išduotą sertifikatą. Išankstinė patikra nuskaito „Secret“ objektą prieš diegimą ir įspėja, jei jo sertifikato galiojimas baigiasi per 30 dienų.
Naudojant cert-manager ir automatinės sertifikatų valdymo aplinkos (ACME) išdavėją, paketas neprideda jokio savo peradresavimo, todėl /.well-known/acme-challenge/ užklausa 80 prievadu pasiekia sprendiklį (solver) nepakeista. Nepridėkite HTTP į HTTPS peradresavimo savo įėjimo valdiklyje, kuris suveiktų prieš patikros kelią (challenge path); sertifikatas, kurio nepavyksta atnaujinti, tyliai nustoja veikti po kelių savaičių.
Kad ir ką pasirinktumėte viešajam perimetrui, paslaugos vardų srities viduje visada bendrauja per TLS, naudodamos paketo vietinį CA. Ši dalis nėra pasirenkama, todėl „cert-manager“ yra būtina sąlyga net tada, kai tls.mode yra existing arba none.
Kas išeina iš klasterio, o kas – ne
Paketas sugeneruoja numatytojo draudimo (default-deny) tinklo politiką nexus vardų sričiai. Po to leidžiami tik šie srautai:
- srautas tarp „Nexus“ pod'ų vardų srities viduje;
- DNS užklausos į klasterio DNS paslaugą;
- „Kubernetes“ API serveris kelioms paslaugoms, kurios tikrina darbo krūvio prieigos raktus (workload tokens);
- įėjimo valdiklio vardų sritis į tris viešąsias paslaugas („Services“);
- bet kokie beklasio tarpdomeninio maršrutizavimo (CIDR) rėžiai, kuriuos išvardijate
networkPolicy.externalEgressCIDRs.
Pastarasis sąrašas pagal numatytuosius nustatymus yra tuščias. Jei naudosite pašto perdavimo serverį (mail relay) arba modelių serverį už klasterio ribų, jo rėžis įrašomas čia. Telemetrija yra išjungta ir lieka išjungta: schema priima tik telemetry.enabled: false, o pačių duomenų saugyklų naudojimo ataskaitų teikimas taip pat yra išjungtas.
Diegimo metu paketas nuskaito API serverio adresus iš klasterio. Jei jūsų paskyra negali nuskaityti kubernetes „Endpoints“ objektų default vardų srityje, nurodykite juos patys per networkPolicy.apiServerCIDRs kaip /32 rėžius. proxy.trustedCIDRs nurodo pod'ų tinklą, kuriame yra jūsų įėjimo valdiklis, kad nexus-auth žinotų, kuria X-Forwarded-For antrašte pasitikėti. Numatytoji reikšmė, 10.42.0.0/16, yra „k3s“ pod'ų tinklas.
Dydžio parinkimas
Paketo numatytosios užklausos (requests) iš viso sudaro apie 2.05 centrinio procesoriaus (CPU) branduolio ir 6.7 GiB atminties. Tiek rezervuoja planuoklis (scheduler); limitai yra didesni, ir duomenų saugyklos plečiasi iki jų, kai pridedate žmonių ir failų.
| Dalis | Prašoma CPU | Prašoma atminties |
|---|---|---|
| Devynios platformos paslaugos (console, backend for frontend (BFF), auth, orchestrator, workflows, gateway, graphrag, probitas, skills engine) | 1.1 branduolio | 2.6 GiB |
Raktų paslauga, nexus-keys |
0.05 branduolio | 64 MiB |
| PostgreSQL | 0.25 branduolio | 1 GiB |
| Neo4j | 0.25 branduolio | 2 GiB |
| „Valkey“, „Qdrant“ ir objektų saugykla kartu | 0.25 branduolio | 640 MiB |
| Du raktų saugyklos „OpenBao“ serveriai | 0.15 branduolio | 384 MiB |
Numatytieji tomai iš viso sudaro 142 GiB:
| Saugykla | Reikšmių raktas | Numatytasis dydis |
|---|---|---|
| PostgreSQL 16 su PostGIS 3 ir pgvector 0.8 | dataTier.postgres.size |
50Gi |
| Objektų saugykla (SeaweedFS) | dataTier.objectStore.size |
50Gi |
| Neo4j 5.26 Community Edition | dataTier.neo4j.size |
20Gi |
| Qdrant | dataTier.qdrant.size |
10Gi |
| Valkey | dataTier.valkey.size |
5Gi |
| Raktų saugykla ir jos atrakinimo tarnyba (unsealer) | keys.openbao.storage.keystore, keys.openbao.storage.unsealer |
5Gi ir 1Gi |
| Raktų paslaugos kvitai (receipts) | keys.receiptsStorage |
1Gi |
Vienam mazgui planuokite 8 vCPU, 32 GiB operatyviosios atminties (RAM) ir 250 GB kietojo kūno diską (SSD). Išbandymui (evaluation) pakaks 4 vCPU, 16 GiB ir 200 GB. Diegimo programos disko atvaizdas atsisako diegtis mašinoje, turinčioje mažiau nei 16 GiB atminties (žr. 2.9 skyrių, „Diegimo programos disko atvaizdas“), ir aš tai laikyčiau minimalia riba visur.
Grafikos mazgai nėra privalomi. Be mazgo, turinčio grafinį procesorių (GPU), asistentas atsako per talpinamą (hosted) modelį, naudodamas pačios organizacijos raktą. Išankstinė patikra apie tai praneša kaip apie įspėjimą, bet ne klaidą. 2.14 skyrius, „DI teikėjai ir modeliai“, aprašo abu būdus.
Kiekviena saugykla taip pat gali veikti už klasterio ribų: nustatykite dataTier.<store>.mode į external ir nurodykite jos mazgą bei „Secret“ objektą. Išoriniam „PostgreSQL“ reikalinga supernaudotojo paskyra diegimo pradinei paleisčiai (bootstrap) ir sertifikatas, kurį „Nexus“ gali patikrinti. Tai aprašyta 2.11 skyriuje, „Variacijos: išorinės saugyklos, TLS ir įėjimas“. Jei laikote jas klasteryje, priskirkite jas saugyklos klasei, už kurios yra tikri diskai. Duomenų bazė yra ta dalis, kurios labiausiai pasigesite, jei suges mazgo vietinis diskas.
Diegimo pavadinimas yra nuolatinis
keys.installationName yra tai, kaip operatoriai vadina šį diegimą. Jis turi atitikti ^[a-z][a-z0-9-]{0,62}$: mažoji raidė, o po jos – iki 62 mažųjų raidžių, skaitmenų arba brūkšnelių.
Kai raktų saugykla pasileidžia pirmą kartą, ji sukuria diegimo tapatybę šiuo vardu, ir ta tapatybė yra užfiksuojama visam laikui. „Adverant“ licencija yra išduodama tai tapatybei, todėl vienam diegimui skirta licencija kitame diegime atmetama su klaida LICENCE_OTHER_INSTALLATION. Pervadinimas reikštų naują diegimą, naują tapatybę ir naujas licencijas.
Paketas neturi numatytosios vardo reikšmės. Jis atsisako diegti be vardo (INSTALLATION_NAME_MISSING) ir atmeta pavyzdinį vardą iš savo paties pavyzdinių reikšmių failų (INSTALLATION_NAME_EXAMPLE). Išankstinė patikra praneša apie abu atvejus dar prieš jums pasiekiant šį etapą.
„Harrow“ organizacijoje tam skyrėme daugiau laiko, nei norėčiau pripažinti. Apsistojome ties harrow-port-authority: jis įvardija organizaciją, nieko nesako apie tai, kuriame klasteryje veikia, ir išliks teisingas, kai bus pakeista techninė įranga. Venkite tokių vardų kaip prod-k3s-2, kurie apibūdina šiandienines mašinas.
Raktų saugojimas
„Nexus“ saugo kiekvienos organizacijos raktus savo raktų saugykloje, klasterio viduje. Jums nereikia jos valdyti kasdien, tačiau prieš diegimą turite nuspręsti, kas galės ją atkurti po perkrovimo. Tai sprendimas, kuris kainuoja brangiausiai, jei suklystate.
Raktų saugyklą sudaro du „OpenBao“ serveriai. Pagrindinis, openbao, saugo raktus ir pats save atrakina (unseals) per antrą, mažesnį serverį, openbao-unsealer. Atrakinimo tarnyba (unsealer) yra užrakinta naudojant Šamiro (Shamir) schemą: penkios dalys, iš kurių bet kurios trys ją atidaro. Kai diegiate, saugojimo užduotis (custody Job) inicijuoja abu serverius klasterio viduje. Šios užduoties atmintyje ji užšifruoja atrakinimo tarnybos dalis ir raktų saugyklos atkūrimo raktus kiekvienam jūsų nurodytam saugotojui (custodian), išsaugo tik šifruotą tekstą („Secret“ objektuose openbao-unseal-shares-encrypted ir openbao-recovery-keys-encrypted) ir prieš baigdama darbą atšaukia abu pagrindinius (root) prieigos raktus. Jokia neužšifruota dalis niekada nepasiekia disko ar žurnalo (log).
Po bet kokio atrakinimo tarnybos mazgo perkrovimo, atrakinimo tarnyba pasileidžia užrakinta. Raktų saugykla jos laukia, ir niekas, kam reikalingas raktas, neveikia, kol saugotojas jos neatrakina. Tam reikia vieno iššifravimo naudojant paties saugotojo privatųjį raktą. Procedūra aprašyta 2.15 skyriuje, „Antroji diena: Nexus valdymas“.
Saugotojo rakto kūrimas
Saugotojas nurodomas viešąja age rakto puse, vadinama gavėju (recipient). Kiekvienas saugotojas sukuria savo raktą savo mašinoje ir pateikia jums tik gavėją:
age-keygen -o custodian.keyFailo # public key: eilutė yra gavėjas, prasidedantis age1. Saugotojas, naudojantis „Mac“, vietoj to gali laikyti raktą „Mac“ saugioje erdvėje („Secure Enclave“), kad privačioji pusė niekada nepaliktų lusto ir kiekvienas naudojimas prašytų piršto atspaudo:
age-plugin-se keygen --access-control=any-biometry -o custodian.keyŠis gavėjas prasideda age1se1. Saugojimo užduotis šifruoja penkių formų gavėjams: age1 (X25519), age1tag1 ir age1tagpq1 (žymė), age1pq1 (hibridinis postkvantinis) bei age1se1 („Secure Enclave“). Ji atmeta bet kokią kitą įskiepio formą, pavyzdžiui, age1yubikey1; vietoj to nurodykite tą raktą viena iš priimtinų formų.
Paketas patikrina kiekvieną gavėją generavimo metu. Su klaida įvestas gavėjas nepraeina „bech32“ kontrolinės sumos patikros ir yra atmetamas, todėl niekas niekada nėra užrakinama raktu, kurio niekas neturi. Jei kas nors per klaidą į sąrašą įklijuoja privatųjį raktą, paketas jį atmeta neatvaizduodamas jo ekrane. Pavyzdinis gavėjas paties paketo reikšmių failuose taip pat atmetamas (KEYS_CUSTODIAN_EXAMPLE); niekas neturi jo privačiosios pusės.
Kiek saugotojų
Kiekviena dalis yra užšifruojama kiekvienam saugotojui, todėl bet kuris vienas saugotojas gali atrakinti sistemą vienas. Daugiau saugotojų reiškia daugiau būdų atkurti ir daugiau žmonių, galinčių veikti savarankiškai. „Harrow“ organizacijoje pasirinkome tris: Aoife, mane ir „Secure Enclave“ raktą atsarginiame nešiojamajame kompiuteryje, kuris laikomas uosto seife. Du yra mažiausias skaičius, su kuriuo sutikčiau. Vienas yra vienintelis gedimo taškas (single point of failure), kuris anksčiau ar vėliau atostogaus, kai mazgas bus perkrautas.
Leidimo pasirinkimas
edition yra community arba enterprise, ir enterprise.enabled turi su tuo sutapti. Paketas atmeta nesutapimą ir atmeta bet kokį leidimą, kuris nėra vienas iš šių dviejų.
Leidimas taip pat nusprendžia, kuriuos atvaizdus diegiate. Kiekvienas paketo archyvas turi atvaizdų užraktą (images lock) – visų atvaizdų sąrašą pagal maišos kodą (digest), skirtą vienam leidimui. „Community“ diegimas ima tik „Community“ atvaizdus. „Enterprise“ diegimas ima „Enterprise“ užraktą, kurį sudaro „Community“ atvaizdai bei „Enterprise“ rinkiniai (builds), ir atsiunčia juos naudodamas atsiuntimo prieigos raktą (pull token) iš jūsų „Adverant“ paskyros. 2.4 skyrius, „Leidimo gavimas ir patikrinimas“, paaiškina užraktą, o 2.2 skyrius, „Leidimai iš vidaus“, paaiškina, ką apima kiekvienas leidimas.
Jums nereikia nuspręsti visam laikui. „Community“ diegimas pereina į „Enterprise“ vietoje, išsaugodamas savo žmones, failus ir istoriją; 2.7 skyrius, „Enterprise diegimas ir licencijos pritaikymas“, parodo, kaip tai padaryti. „Harrow“ bandomajam projektui naudojome „Community“ ir po šešių savaičių perėjome prie kito leidimo.
Licencija niekada nėra šio plano dalis. Tai nėra paketo reikšmė ar prijungtas failas: jūs ją importuojate po diegimo per konsolę, nexusctl arba API.
Pristatymo formos pasirinkimas
| Forma | Kada tai tinka | Skyrius |
|---|---|---|
„Helm“ paketas iš registry.adverant.ai |
Jūsų pačių „Kubernetes“ klasteris, turintis maršrutą į registrą | 2.6 ir 2.7 |
nexusctl install |
Tas pats klasteris, kai išankstinė patikra ir parašo patikrinimas atliekami už jus | 2.6 |
nexusctl install --single-node |
Viena mašina, kurioje nexusctl taip pat paruošia ir klasterį |
2.8 |
| Diegimo programos disko atvaizdas | Fizinis serveris (bare server) arba virtuali mašina (VM), kurios nenorėtumėte ruošti rankiniu būdu | 2.9 |
| Neprijungtas (offline) rinkinys | Visiškai nėra išorinio maršruto; atvaizdai ir paketas pateikiami diske | 2.10 |
Paketas yra tas pats kiekvienoje formoje. Skiriasi tik tai, kas sukuria klasterį ir iš kur gaunami atvaizdai.
Planavimo darbalapis
Tai yra „Harrow“ darbalapis, kurį pasirašė Aoife. Nukopijuokite du kairiuosius stulpelius ir užpildykite dešinįjį savo diegimui.
| Sprendimas | Reikšmių raktas arba komanda | Harrow Port Authority |
|---|---|---|
| „Kubernetes“ ir versija | (išankstinė patikra tai nuskaito) | k3s v1.33.6+k3s1, trys mazgai |
| „Kube“ kontekstas diegimui | --context |
harrow-prod |
| Vardų sritis (Namespace) | --namespace |
nexus |
| Leidimas | edition, enterprise.enabled |
community bandomajam projektui, vėliau enterprise |
| Atvaizdų registras | global.imageRegistry |
registry.adverant.ai |
| Domenas | global.domain |
harrow.example |
| Konsolės adresas | hosts.console |
console.harrow.example |
| API adresas | hosts.api |
api.harrow.example |
| Prisijungimo adresas | hosts.auth |
auth.harrow.example |
| TLS perimetre | tls.mode, tls.existingSecret |
existing, „Secret“ harrow-public-tls iš „Harrow“ vidinio CA |
| Įėjimo klasė (Ingress class) | ingress.className |
traefik |
| Įėjimo vardų sritis (Ingress namespace) | networkPolicy.ingressNamespace |
kube-system |
| Saugyklos klasė (Storage class) | storage.className |
local-path |
| Duomenų saugyklos | dataTier.<store>.mode |
Visos in-cluster, numatytieji dydžiai |
| Išeinančio srauto rėžiai | networkPolicy.externalEgressCIDRs |
Tik pašto perdavimo serverio (mail relay) rėžis |
| Diegimo vardas (galutinis) | keys.installationName |
harrow-port-authority |
| Saugotojai (iš esmės galutiniai) | keys.custody.recipients |
Trys: Aoife Brennan, Tomás Reilly, nešiojamasis kompiuteris seife (age1se1) |
| Grafikos mazgai | (išankstinė patikra tai nuskaito) | Jokių prijungtajam bandomajam projektui; talpinamas modelis su paties „Harrow“ raktu |
| Pirmasis administratorius | nexusctl claim-code --administrator |
aoife.brennan@harrow.example |
Dviejų šio lapo eilučių negalima atšaukti: diegimo vardo ir saugotojų (ta prasme, kad praradus juos visus, prarandama raktų saugykla). Pasirūpinkite, kad šias dvi eilutes pasirašytų asmuo, turintis įgaliojimus pasakyti „taip“. Visa kita yra tik reikšmių pakeitimas.
Užpildę darbalapį, pereikite prie 2.4 skyriaus, „Leidimo gavimas ir patikrinimas“, ir atsisiųskite leidimą.
