PrijavaRezervirajte predstavitev

Poglavje 2.3

Načrtovanje namestitve

Kaj namestitev Nexusa v okolju Kubernetes potrebuje, preden vtipkate ukaz, kako velika je, in dve odločitvi, ki ju ne morete preklicati: ime namestitve in skrbniki ključev. Zaključuje se z izpolnjenim delovnim listom za načrtovanje organizacije Harrow Port Authority.

To stran je iz angleškega izvirnika prevedla UI. Če je karkoli nejasno, je referenca angleška stran. Preberite to stran v angleščini

16 min branja

Ko smo pri Harrow Port Authority namestili Nexus, so ukazi vzeli eno popoldne. Načrtovanje je trajalo teden dni in večina tega tedna je šla za dve vprašanji, ki nimata nobene zveze s sistemom Kubernetes: kako bomo poimenovali namestitev in kateri ljudje bodo hranili njene obnovitvene ključe. Oba odgovora sta trajna. Vse ostalo v tem poglavju je mogoče pozneje spremeniti z datoteko vrednosti in helm upgrade.

Sem Tomás Reilly, inženir platforme pri Harrowu. Harrow upravlja dve namestitvi. To poglavje načrtuje povezano namestitev v našem korporativnem omrežju, kjer smo najprej preizkusili izdajo Community. Operativno omrežje pristanišča, ki nima poti do interneta, je svojo namestitev dobilo pozneje; to obravnava poglavje 2.10, Namestitev v izoliranem omrežju (air-gapped). To poglavje je tisto, kar bi si želel imeti prvo jutro: gruča, ki jo pričakuje Nexus, imena, na katera se odziva, koliko zahteva od vaših vozlišč, in odločitve, ki jih morate pred namestitvijo uskladiti z vodjo IT. Zaključuje se z delovnim listom, ki ga je Aoife Brennan, naša vodja IT, odobrila, preden smo začeli. Poglavje 2.4, Pridobivanje in preverjanje izdaje, obravnava prenos in preverjanje izdaje, poglavje 2.5, Predhodno preverjanje z orodjem nexusctl, pa preveri vašo gručo glede na vse, kar je navedeno tukaj.

Kaj mora imeti gruča

Nexus se namesti kot en sam krmilni paket Helm (Helm chart), nexus, različica 1.0.0-alpha.1. Paket vsebuje storitve platforme in njihov podatkovni sloj ter zavrne namestitev v gručo, v kateri manjkajo spodaj navedeni deli.

Zahteva Kaj pričakuje Nexus Zakaj
Kubernetes 1.33 ali novejši. Preizkušeno na k3s v1.33.6+k3s1 Vrednost kubeVersion paketa je >=1.33.0-0 in helm install to uveljavlja
cert-manager v1.21.3, nameščen pred sistemom Nexus Paket ustvari lastno lokalno overiteljsko telo (CA) in potrdila, ki jih njegove storitve uporabljajo za medsebojno komunikacijo
Helm v4 (uporabili smo v4.3.1) Helm 4 privzeto čaka na opravila (Jobs) kavljev paketa, od česar je odvisna namestitev
Razred shranjevanja (StorageClass) Eden označen kot privzeti ali tisti, ki ga navedete v storage.className Vsaka shramba podatkov zahteva trajni nosilec (PersistentVolume)
Vstopni razred (IngressClass) Eden označen kot privzeti ali tisti, ki ga navedete v ingress.className Trije javni naslovi so navadni viri Ingress v networking.k8s.io/v1
Vrati 80 in 443 Odprti na vstopnem krmilniku (ingress controller) kot storitev LoadBalancer ali NodePort Uporabniki dostopajo do sistema Nexus prek vstopnega krmilnika
Arhitektura Vozlišča linux/amd64 ali linux/arm64 Vsaka slika je zgrajena za oboje

Dve stvari sta iz te tabele izpuščeni namenoma. Nexus ne potrebuje storitvene mreže (service mesh): vzajemni TLS (mTLS, varnost transportnega sloja v obeh smereh) med storitvami zagotavlja lokalni CA paketa prek orodja cert-manager. Paket ima ključ istio.enabled, ki je privzeto nastavljen na false, in tam ga morate tudi pustiti. Nexus prav tako ne potrebuje lastnega pogona za politike sprejema (admission policy engine).

Na svoji delovni postaji boste potrebovali kubectl, Helm v4, cosign v3 za preverjanje podpisov, age za izdelavo skrbniških ključev in nexusctl, vmesnik ukazne vrstice (CLI) upravljavca sistema Nexus. Poglavje 2.4, Pridobivanje in preverjanje izdaje, navaja, kje se nahaja posamezen prenos za Nexus.

Trije naslovi

Vsaka namestitev se odziva na tri imena gostiteljev. Paket jih imenuje identiteta namestitve in nobena storitev se ne želi zagnati brez njih.

Ključ vrednosti Ime pri Harrowu Kaj se tam odziva
hosts.console console.harrow.example Konzola, spletna aplikacija, v katero se uporabniki prijavijo
hosts.api api.harrow.example Prehod (gateway), ki streže aplikacijskemu programskemu vmesniku (API) in usmerja vsako zahtevo umetne inteligence (UI)
hosts.auth auth.harrow.example Storitev prijave, nexus-auth

global.domain hrani domeno, pod katero so vsi trije, v našem primeru harrow.example. Vsak gostitelj je polno ime samo po sebi in je lahko pod katero koli domeno, ki jo nadzirate. Vse tri smo ohranili pod eno domeno, ker jih je tako lahko pokrilo eno potrdilo.

Ustvarite zapis v sistemu domenskih imen (DNS) za vsakega od treh, ki kaže na naslov vašega vstopnega krmilnika. To storite pred predhodnim preverjanjem. nexusctl preflight poišče vsako ime z vaše delovne postaje in prekine namestitev, če za katero od njih ni zapisa, saj uporabnik ne more doseči imena, ki se ne razreši.

Na levi so tri imena DNS: console.harrow.example, api.harrow.example in auth.harrow.example, vsako s puščico v en okvir z oznako »vstopni krmilnik, vrati 80 in 443«. Iz tega okvira vodijo tri puščice v večji okvir z oznako »imenski prostor nexus«: puščica console do »nexus-alpha :3000«, puščica api do »nexus-gateway :9092« in puščica auth do »nexus-auth :9101«. Črtkana obroba okoli imenskega prostora ima oznako »privzeta zavrnitev; samo vstopni imenski prostor lahko doseže te tri«.
Kako tri javna imena dosežejo storitve za njimi.

Izbira, kje se konča TLS

Vrednost tls.mode paketa določa, kdo hrani potrdila za tri javne naslove. Na voljo so tri izbire, med katerimi lahko pozneje preklapljate z nadgradnjo.

tls.mode Vi zagotovite Kaj naredi paket
existing (privzeto) Skrivnost (Secret) TLS sistema Kubernetes v imenskem prostoru nexus, poimenovano v tls.existingSecret Vsi trije viri Ingress uporabljajo to isto skrivnost (Secret)
cert-manager ClusterIssuer, ki ga upravljate vi, poimenovan v tls.clusterIssuer Označi vsak Ingress, tako da cert-manager izda nexus-console-tls, nexus-api-tls in nexus-auth-tls
none Nekaj pred gručo, kar zaključuje TLS, na primer vaš lastni izravnalnik obremenitve (load balancer) Izriše vire Ingress brez razdelka TLS

Pri existing eno potrdilo služi vsem trem gostiteljem, zato mora vsebovati imena vseh treh, bodisi kot tri alternativna imena subjekta (SAN) bodisi kot nadomestni znak (wildcard) za vašo domeno. Uporabili smo potrdilo internega CA-ja pri Harrowu. Predhodno preverjanje prebere skrivnost (Secret) pred namestitvijo in opozori, če potrdilo poteče v 30 dneh.

Pri cert-manager in izdajatelju avtomatiziranega okolja za upravljanje potrdil (ACME) paket ne doda lastne preusmeritve, tako da zahteva /.well-known/acme-challenge/ na vratih 80 doseže reševalnik (solver) nedotaknjena. Na vstopnem krmilniku ne dodajajte preusmeritve iz HTTP v HTTPS, ki bi se izvedla pred potjo izziva; potrdilo, ki se ne more obnoviti, čez nekaj tednov tiho odpove.

Ne glede na to, kaj izberete za javni rob, se storitve znotraj imenskega prostora vedno pogovarjajo prek TLS iz lokalnega CA-ja paketa. Ta del ni stvar izbire in zato je cert-manager predpogoj, tudi kadar je tls.mode nastavljen na existing ali none.

Kaj zapusti gručo in kaj ne

Paket ustvari omrežno politiko privzete zavrnitve (default-deny) za imenski prostor nexus. Po tem so dovoljeni samo ti tokovi:

  • promet med podi Nexus znotraj imenskega prostora;
  • poizvedbe DNS do storitve DNS v gruči;
  • strežnik API sistema Kubernetes, za tiste redke storitve, ki pregledujejo žetone delovnih obremenitev;
  • imenski prostor vstopnega krmilnika, do treh javnih storitev (Services);
  • kateri koli obsegi brezrazrednega meddomenskega usmerjanja (CIDR), ki jih navedete v networkPolicy.externalEgressCIDRs.

Ta zadnji seznam je privzeto prazen. Če boste uporabljali poštni posrednik (mail relay) ali strežnik modelov zunaj gruče, gre njegov obseg tja. Telemetrija je izklopljena in ostane izklopljena: shema sprejme samo telemetry.enabled: false, lastno poročanje o uporabi v shrambah podatkov pa je prav tako izklopljeno.

Paket ob namestitvi prebere naslove strežnika API iz gruče. Če vaš račun ne more brati končnih točk (Endpoints) kubernetes v imenskem prostoru default, jih navedite sami v networkPolicy.apiServerCIDRs kot obsege /32. proxy.trustedCIDRs poimenuje omrežje podov, v katerem se nahaja vaš vstopni krmilnik, tako da nexus-auth ve, čigavi glavi X-Forwarded-For lahko zaupa. Privzeta vrednost, 10.42.0.0/16, je omrežje podov k3s.

Dimenzioniranje

Privzete zahteve paketa skupaj znašajo približno 2,05 jedra centralne procesne enote (CPE) in 6,7 GiB pomnilnika. To je tisto, kar razporejevalnik rezervira; omejitve so višje in shrambe podatkov rastejo do njih, ko dodajate uporabnike in datoteke.

Del Zahtevani CPE Zahtevani pomnilnik
Devet storitev platforme (console, zaledje za ospredje (BFF), auth, orchestrator, workflows, gateway, graphrag, probitas, skills engine) 1,1 jedra 2,6 GiB
Storitev ključev, nexus-keys 0,05 jedra 64 MiB
PostgreSQL 0,25 jedra 1 GiB
Neo4j 0,25 jedra 2 GiB
Valkey, Qdrant in shramba objektov skupaj 0,25 jedra 640 MiB
Dva strežnika OpenBao shrambe ključev 0,15 jedra 384 MiB

Privzeti nosilci skupaj znašajo 142 GiB:

Shramba Ključ vrednosti Privzeta velikost
PostgreSQL 16 s PostGIS 3 in pgvector 0.8 dataTier.postgres.size 50Gi
Shramba objektov (SeaweedFS) dataTier.objectStore.size 50Gi
Neo4j 5.26 Community Edition dataTier.neo4j.size 20Gi
Qdrant dataTier.qdrant.size 10Gi
Valkey dataTier.valkey.size 5Gi
Shramba ključev in njen odpečatnik (unsealer) keys.openbao.storage.keystore, keys.openbao.storage.unsealer 5Gi in 1Gi
Potrdila storitve ključev keys.receiptsStorage 1Gi

Za eno vozlišče načrtujte 8 vCPU, 32 GiB bralno-pisalnega pomnilnika (RAM) in pogon SSD s 250 GB. Za preizkus (evaluacijo) bo zadostovalo 4 vCPU, 16 GiB in 200 GB. Slika namestitvenega diska zavrne stroj z manj kot 16 GiB pomnilnika (glejte poglavje 2.9, Slika namestitvenega diska) in to bi povsod obravnaval kot spodnjo mejo.

Grafična vozlišča so izbirna. Brez vozlišča, ki ponuja grafično procesno enoto (GPE), pomočnik odgovarja prek gostujočega modela z uporabo lastnega ključa organizacije. Predhodno preverjanje to javi kot opozorilo, nikoli kot napako. Poglavje 2.14, Ponudniki in modeli UI, obravnava obe poti.

Vsaka shramba lahko teče tudi zunaj gruče: nastavite dataTier.<store>.mode na external ter navedite njenega gostitelja in skrivnost (Secret). Zunanji PostgreSQL potrebuje račun superuporabnika za začetno pripravo (bootstrap) namestitve in potrdilo, ki ga Nexus lahko preveri. To obravnava poglavje 2.11, Različice: zunanje shrambe, TLS in ingress. Če jih ohranite v gruči, jih postavite na razred shranjevanja z resničnimi diski v ozadju. Podatkovna baza je tisti del, ki ga boste najbolj pogrešali, če odpove lokalni disk vozlišča.

Ime namestitve je trajno

keys.installationName je tisto, kar upravljavci imenujejo ta namestitev. Ujemati se mora z ^[a-z][a-z0-9-]{0,62}$: mala črka, nato pa do 62 malih črk, števk ali vezajev.

Ko se shramba ključev prvič zažene, ustvari identiteto namestitve pod tem imenom in ta identiteta je trajno določena. Licenca podjetja Adverant se izda za to identiteto, zato je licenca, narejena za eno namestitev, na drugi zavrnjena z LICENCE_OTHER_INSTALLATION. Preimenovanje bi pomenilo novo namestitev, novo identiteto in nove licence.

Paket nima privzete vrednosti za ime. Zavrne namestitev brez imena (INSTALLATION_NAME_MISSING) in zavrne vzorčno ime iz lastnih vzorčnih datotek vrednosti (INSTALLATION_NAME_EXAMPLE). Predhodno preverjanje javi oboje, še preden pridete tako daleč.

Pri Harrowu smo za to porabili več časa, kot bi rad priznal. Odločili smo se za harrow-port-authority: poimenuje organizacijo, ne pove ničesar o tem, v kateri gruči teče, in bo še vedno držalo, ko bomo zamenjali strojno opremo. Izogibajte se imenom, kot je prod-k3s-2, ki opisujejo današnje stroje.

Hramba ključev

Nexus hrani ključe vsake organizacije v lastni shrambi ključev znotraj gruče. Z njo ne upravljate vsakodnevno, vendar pa se pred namestitvijo odločite, kdo jo lahko povrne po ponovnem zagonu. To je odločitev, ki vas stane največ, če se zmotite.

Shrambo ključev sestavljata dva strežnika OpenBao. Glavni, openbao, hrani ključe in se odpečati prek drugega, manjšega, openbao-unsealer. Odpečatnik (unsealer) je zapečaten s Shamirjevo shemo: pet deležev, od katerih ga odprejo kateri koli trije. Ko izvajate namestitev, skrbniško opravilo (Job) inicializira oba strežnika znotraj gruče. V pomnilniku tega opravila šifrira deleže odpečatnika in obnovitvene ključe shrambe ključev za vsakega skrbnika, ki ga navedete, shrani samo šifrirano besedilo (v skrivnostih openbao-unseal-shares-encrypted in openbao-recovery-keys-encrypted) ter pred zaključkom prekliče oba korenska žetona. Noben delež v čistem besedilu nikoli ne doseže diska ali dnevnika.

Po vsakem ponovnem zagonu vozlišča odpečatnika se odpečatnik zažene zapečaten. Shramba ključev čaka nanj in nič, kar potrebuje ključ, ne deluje, dokler ga skrbnik ne odpečati. To zahteva eno dešifriranje z lastnim zasebnim ključem skrbnika. Postopek je opisan v poglavju 2.15, Drugi dan: upravljanje sistema Nexus.

Izdelava skrbniškega ključa

Skrbnik je določen z javno polovico ključa age, imenovano njegov prejemnik (recipient). Vsak skrbnik ustvari svoj ključ na svojem stroju in vam posreduje samo prejemnika:

age-keygen -o custodian.key

Vrstica # public key: v datoteki je prejemnik, ki se začne z age1. Skrbnik z računalnikom Mac lahko namesto tega ključ hrani v varni enklavi (Secure Enclave) računalnika Mac, tako da zasebna polovica nikoli ne zapusti čipa in vsaka uporaba zahteva prstni odtis:

age-plugin-se keygen --access-control=any-biometry -o custodian.key

Ta prejemnik se začne z age1se1. Skrbniško opravilo šifrira za pet oblik prejemnikov: age1 (X25519), age1tag1 in age1tagpq1 (tag), age1pq1 (hibridni post-kvantni) ter age1se1 (Secure Enclave). Zavrne katero koli drugo obliko vtičnika, kot je age1yubikey1; ta ključ namesto tega navedite v eni od sprejetih oblik.

Paket preveri vsakega prejemnika ob izrisovanju. Napačno vtipkan prejemnik ne opravi preverjanja kontrolne vsote bech32 in je zavrnjen, tako da ni nič nikoli zapečateno s ključem, ki ga nima nihče. Če nekdo pomotoma prilepi zasebni ključ na seznam, ga paket zavrne, ne da bi ga izpisal nazaj. Vzorčni prejemnik v lastnih datotekah vrednosti paketa je prav tako zavrnjen (KEYS_CUSTODIAN_EXAMPLE); nihče nima njegove zasebne polovice.

Koliko skrbnikov

Vsak delež je šifriran za vsakega skrbnika, tako da lahko kateri koli posamezni skrbnik sam izvede odpečatenje. Več skrbnikov pomeni več načinov za obnovitev in več ljudi, ki lahko ukrepajo vsak zase. Pri Harrowu smo izbrali tri: Aoife, mene in ključ Secure Enclave na rezervnem prenosniku, ki je shranjen v pristaniškem sefu. Dva sta najmanj, kar bi sprejel. Eden predstavlja enotno točko odpovedi, ki bo prej ali slej na dopustu, ko se bo vozlišče znova zagnalo.

Izbira izdaje

edition je community ali enterprise in enterprise.enabled se mora ujemati z njim. Paket zavrne neujemanje in zavrne katero koli izdajo, ki ni ena od teh dveh.

Izdaja določa tudi, katere slike namestite. Vsak paket vsebuje zaklep slik (images lock), tj. seznam vsake slike po izvlečku (digest), za eno izdajo. Namestitev Community vzame samo slike Community. Namestitev Enterprise vzame zaklep Enterprise, ki vsebuje slike Community ter gradnje Enterprise, in jih prenese z žetonom za prenos (pull token) iz vašega računa Adverant. Poglavje 2.4, Pridobivanje in preverjanje izdaje, pojasnjuje zaklep, poglavje 2.2, Izdaje pod pokrovom, pa pojasnjuje, kaj posamezna izdaja vsebuje.

Ni se vam treba odločiti za vedno. Namestitev Community na mestu preide na Enterprise, pri čemer ohrani svoje uporabnike, datoteke in zgodovino; poglavje 2.7, Namestitev izdaje Enterprise in uveljavitev licence, prikazuje, kako. Pri Harrowu smo za pilotni projekt uporabljali Community in prešli šest tednov pozneje.

Licenca ni nikoli del tega načrta. Ni vrednost paketa ali priklopljena datoteka: uvozite jo po namestitvi prek konzole, nexusctl ali API-ja.

Izbira oblike dostave

Oblika Kdaj ustreza Poglavje
Krmilni paket Helm iz registry.adverant.ai Vaša lastna gruča Kubernetes s potjo do registra 2.6 in 2.7
nexusctl install Ista gruča, pri čemer se predhodno preverjanje in preverjanje podpisa izvedeta namesto vas 2.6
nexusctl install --single-node En stroj, kjer nexusctl vzpostavi tudi gručo 2.8
Namestitveni odtis diska Goli strežnik ali navidezni stroj (VM), ki ga raje ne bi pripravljali ročno 2.9
Paket brez povezave (offline bundle) Sploh ni izhodne poti; slike in paket pridejo na disku 2.10

Paket je v vsaki obliki enak. Spremeni se le to, kdo ustvari gručo in od kod prihajajo slike.

Pridobi izdajo
Pridobi izdajo
To je stran izdaje v računu Adverant. Bodite pozorni na jasno izjavo o tem, kaj obljublja izdaja alfa, velikost in podpis ob vsaki datoteki ter ukaze za preverjanje prenosa brez povezave.

Delovni list za načrtovanje

To je Harrowov list, kot ga je odobrila Aoife. Kopirajte leva dva stolpca in izpolnite desnega za svojo namestitev.

Odločitev Ključ vrednosti ali ukaz Harrow Port Authority
Kubernetes in različica (prebere predhodno preverjanje) k3s v1.33.6+k3s1, tri vozlišča
Kontekst Kube za namestitev --context harrow-prod
Imenski prostor --namespace nexus
Izdaja edition, enterprise.enabled community za pilotni projekt, nato enterprise
Register slik global.imageRegistry registry.adverant.ai
Domena global.domain harrow.example
Naslov konzole hosts.console console.harrow.example
Naslov API-ja hosts.api api.harrow.example
Naslov za prijavo hosts.auth auth.harrow.example
TLS na robu tls.mode, tls.existingSecret existing, skrivnost (Secret) harrow-public-tls iz internega CA-ja pri Harrowu
Vstopni razred (Ingress class) ingress.className traefik
Vstopni imenski prostor (Ingress namespace) networkPolicy.ingressNamespace kube-system
Razred shranjevanja (Storage class) storage.className local-path
Shrambe podatkov dataTier.<store>.mode Vse in-cluster, privzete velikosti
Izhodni obsegi networkPolicy.externalEgressCIDRs Samo obseg poštnega posrednika
Ime namestitve (trajno) keys.installationName harrow-port-authority
Skrbniki (dejansko trajno) keys.custody.recipients Trije: Aoife Brennan, Tomás Reilly, prenosnik v sefu (age1se1)
Grafična vozlišča (prebere predhodno preverjanje) Brez za povezani pilotni projekt; gostujoči model z lastnim ključem Harrowa
Prvi skrbnik (administrator) nexusctl claim-code --administrator aoife.brennan@harrow.example

Dveh vrstic na tem listu ni mogoče razveljaviti: imena namestitve in skrbnikov v smislu, da izguba vseh pomeni izgubo shrambe ključev. Poskrbite, da ti dve vrstici odobri nekdo s pooblastilom za potrditev. Vse ostalo je sprememba vrednosti.

Ko je delovni list končan, pojdite na poglavje 2.4, Pridobivanje in preverjanje izdaje, in prenesite izdajo.