PrijavaZakažite brifing

Poglavlje 2.3

Planiranje instalacije

Šta je potrebno za Kubernetes instalaciju sistema Nexus pre nego što otkucate komandu, koliko je velika i dve odluke koje ne možete povući: naziv instalacije i čuvari ključeva. Završava se popunjenim radnim listom za planiranje organizacije Harrow Port Authority.

Ovu stranicu je sa engleskog originala prevela AI tehnologija. Ako nešto nije jasno, merodavna je stranica na engleskom. Pročitajte ovu stranicu na engleskom

16 min čitanja

Kada smo instalirali Nexus u Harrow Port Authority, komande su oduzele jedno popodne. Planiranje je trajalo nedelju dana, a najveći deo te nedelje otišao je na dva pitanja koja nemaju nikakve veze sa Kubernetesom: kako ćemo nazvati instalaciju i koje će osobe držati njene ključeve za oporavak. Oba odgovora su trajna. Sve ostalo u ovom poglavlju može se kasnije promeniti pomoću datoteke sa vrednostima i komande helm upgrade.

Ja sam Tomás Reilly, inženjer platforme u Harrowu. Harrow ima dve instalacije. Ovo poglavlje planira onu povezanu u našoj korporativnoj mreži, gde smo najpre pilotirali Community izdanje. Operativna mreža luke, koja nema rutu ka internetu, kasnije je dobila sopstvenu instalaciju; nju pokriva poglavlje 2.10, Instalacija bez mrežne veze. Ovo poglavlje je ono što bih voleo da sam imao prvog jutra: klaster koji Nexus očekuje, imena na koja se odaziva, koliko zahteva od Vaših čvorova i odluke koje treba usaglasiti sa Vašim rukovodiocem IT-a pre instalacije. Završava se radnim listom koji je Aoife Brennan, naša rukovoditeljka IT-a, odobrila pre nego što smo počeli. Poglavlje 2.4, Preuzimanje i provera izdanja, opisuje preuzimanje i proveru izdanja, a poglavlje 2.5, Provera pre instalacije pomoću nexusctl, proverava Vaš klaster u odnosu na sve što je ovde navedeno.

Šta klaster mora da ima

Nexus se instalira kao jedan Helm chart, nexus, verzija 1.0.0-alpha.1. Chart sadrži servise platforme i njihov sloj podataka, i odbija instalaciju na klasteru kojem nedostaju dole navedeni delovi.

Zahtev Šta Nexus očekuje Zašto
Kubernetes 1.33 ili novija. Testirano na k3s v1.33.6+k3s1 Vrednost kubeVersion u chartu je >=1.33.0-0, a helm install to sprovodi
cert-manager v1.21.3, instaliran pre Nexusa Chart pravi sopstveno lokalno sertifikaciono telo (CA) i sertifikate koje njegovi servisi koriste za međusobnu komunikaciju
Helm v4 (mi smo koristili v4.3.1) Helm 4 podrazumevano čeka hook Job-ove charta, od čega instalacija zavisi
Klasa skladišta Jedna označena kao podrazumevana ili ona koju navedete u storage.className Svako skladište podataka zahteva trajni volumen
Ingress klasa Jedna označena kao podrazumevana ili ona koju navedete u ingress.className Tri javne adrese su obični networking.k8s.io/v1 Ingress resursi
Portovi 80 i 443 Otvoreni na ingress kontroleru, kao LoadBalancer ili NodePort Service Korisnici pristupaju Nexusu preko ingress kontrolera
Arhitektura Čvorovi linux/amd64 ili linux/arm64 Svaka slika je izgrađena za obe arhitekture

Dve stvari namerno nedostaju u toj tabeli. Nexusu nije potreban service mesh: uzajamni TLS (mTLS, Transport Layer Security u oba smera) između servisa obezbeđuje lokalni CA charta putem cert-managera. Chart ima ključ istio.enabled čija je podrazumevana vrednost false, i trebalo bi da je tako ostavite. Nexusu takođe nije potreban sopstveni mehanizam politika prijema (admission policy engine).

Na Vašoj radnoj stanici biće Vam potrebni kubectl, Helm v4, cosign v3 za proveru potpisa, age za izradu ključeva čuvara i nexusctl, interfejs komandne linije (CLI) za operatere Nexusa. Poglavlje 2.4, Preuzimanje i provera izdanja, navodi gde se nalazi svako Nexus preuzimanje.

Tri adrese

Svaka instalacija odgovara na tri imena hostova. Chart ih naziva identitetom instalacije, i nijedan servis ne želi da se pokrene bez njih.

Ključ vrednosti Ime u Harrowu Šta tamo odgovara
hosts.console console.harrow.example Konzola, veb-aplikacija na koju se korisnici prijavljuju
hosts.api api.harrow.example Gateway, koji služi interfejs za programiranje aplikacija (API) i usmerava svaki zahtev ka veštačkoj inteligenciji (AI)
hosts.auth auth.harrow.example Servis za prijavu, nexus-auth

global.domain sadrži domen pod kojim se nalaze sva tri, kod nas harrow.example. Svaki host je samostalno puno ime i može se nalaziti pod bilo kojim domenom koji kontrolišete. Sva tri smo zadržali pod jednim domenom jer je tada jedan sertifikat mogao da ih pokrije.

Napravite zapis u sistemu imena domena (DNS) za svako od tri imena, koji ukazuje na adresu Vašeg ingress kontrolera. Uradite to pre provere pre instalacije. nexusctl preflight pretražuje svako ime sa Vaše radne stanice i prekida instalaciju ako bilo koje od njih nema zapis, jer korisnik ne može da pristupi imenu koje se ne razrešava.

Levo su tri DNS imena: console.harrow.example, api.harrow.example i auth.harrow.example, svako sa strelicom ka jednom polju označenom „ingress controller, ports 80 and 443“. Iz tog polja tri strelice vode u veće polje označeno „namespace nexus“: strelica konzole ka „nexus-alpha :3000“, strelica api ka „nexus-gateway :9092“ i strelica auth ka „nexus-auth :9101“. Isprekidana ivica oko namespace-a označena je sa „default deny; only the ingress namespace may reach these three“.
Kako tri javna imena stižu do servisa iza njih.

Izbor mesta terminacije TLS protokola

Ključ tls.mode u chartu određuje ko drži sertifikate za tri javne adrese. Postoje tri izbora, i između njih možete kasnije prelaziti nadogradnjom.

tls.mode Vi obezbeđujete Šta chart radi
existing (podrazumevano) Kubernetes TLS Secret u namespace-u nexus, naveden u tls.existingSecret Sva tri Ingress resursa koriste taj jedan Secret
cert-manager ClusterIssuer kojim Vi upravljate, naveden u tls.clusterIssuer Dodaje anotacije svakom Ingress resursu kako bi cert-manager izdao nexus-console-tls, nexus-api-tls i nexus-auth-tls
none Nešto ispred klastera što završava TLS, na primer Vaš sopstveni load balancer Generiše Ingress resurse bez TLS odeljka

Uz existing, jedan sertifikat služi sva tri hosta, pa mora da navodi sva tri, bilo kao tri alternativna imena subjekta, bilo kao wildcard za Vaš domen. Mi smo koristili sertifikat internog CA Harrowa. Provera pre instalacije čita Secret pre nego što instalirate i upozorava kada sertifikat ističe u roku od 30 dana.

Uz cert-manager i izdavaoca preko protokola Automatic Certificate Management Environment (ACME), chart ne dodaje sopstveno preusmeravanje, pa /.well-known/acme-challenge/ zahtev na portu 80 netaknut stiže do rešavača. Nemojte dodavati preusmeravanje sa HTTP na HTTPS na Vašem ingress kontroleru koje se izvršava pre putanje izazova; sertifikat koji ne može da se obnovi otkazuje tiho, nedeljama kasnije.

Šta god izabrali za javnu ivicu, servisi unutar namespace-a uvek komuniciraju preko TLS-a sa lokalnog CA charta. Taj deo nije stvar izbora, i zato je cert-manager preduslov čak i kada je tls.mode postavljeno na existing ili none.

Šta napušta klaster, a šta ne

Chart generiše mrežnu politiku podrazumevane zabrane za namespace nexus. Nakon toga dozvoljeni su samo sledeći tokovi:

  • saobraćaj između Nexus podova unutar namespace-a;
  • DNS upiti ka DNS servisu klastera;
  • Kubernetes API server, za nekoliko servisa koji proveravaju tokene radnih opterećenja;
  • namespace ingress kontrolera, ka trima javnim servisima;
  • svi opsezi besklasnog međudomenskog rutiranja (CIDR) koje navedete u networkPolicy.externalEgressCIDRs.

Ta poslednja lista je podrazumevano prazna. Ako ćete koristiti mail relay ili server modela izvan klastera, njegov opseg ide tamo. Telemetrija je isključena i ostaje isključena: šema prihvata samo telemetry.enabled: false, a sopstveno izveštavanje o upotrebi skladišta podataka takođe je isključeno.

Chart čita adrese API servera iz klastera prilikom instalacije. Ako Vaš nalog ne može da čita Endpoints kubernetes u namespace-u default, navedite ih sami u networkPolicy.apiServerCIDRs, kao /32 opsege. proxy.trustedCIDRs navodi mrežu podova u kojoj se nalazi Vaš ingress kontroler, kako bi nexus-auth znao čijem zaglavlju X-Forwarded-For da veruje. Podrazumevana vrednost, 10.42.0.0/16, jeste mreža podova k3s-a.

Dimenzionisanje

Podrazumevani zahtevi charta iznose ukupno oko 2.05 jezgara centralne procesorske jedinice (CPU) i 6.7 GiB memorije. To je ono što planer rezerviše; ograničenja su viša, a skladišta podataka rastu do njih kako dodajete korisnike i datoteke.

Deo Zahtevani CPU Zahtevana memorija
Devet servisa platforme (console, backend for frontend (BFF), auth, orchestrator, workflows, gateway, graphrag, probitas, skills engine) 1.1 jezgara 2.6 GiB
Servis ključeva, nexus-keys 0.05 jezgara 64 MiB
PostgreSQL 0.25 jezgara 1 GiB
Neo4j 0.25 jezgara 2 GiB
Valkey, Qdrant i skladište objekata zajedno 0.25 jezgara 640 MiB
Dva OpenBao servera skladišta ključeva 0.15 jezgara 384 MiB

Podrazumevani volumeni iznose ukupno 142 GiB:

Skladište Ključ vrednosti Podrazumevana veličina
PostgreSQL 16 sa PostGIS 3 i pgvector 0.8 dataTier.postgres.size 50Gi
Skladište objekata (SeaweedFS) dataTier.objectStore.size 50Gi
Neo4j 5.26 Community Edition dataTier.neo4j.size 20Gi
Qdrant dataTier.qdrant.size 10Gi
Valkey dataTier.valkey.size 5Gi
Skladište ključeva i njegov unsealer keys.openbao.storage.keystore, keys.openbao.storage.unsealer 5Gi i 1Gi
Potvrde servisa ključeva keys.receiptsStorage 1Gi

Za jedan čvor planirajte 8 vCPU, 32 GiB radne memorije (RAM) i SSD disk (solid-state drive) od 250 GB. Za evaluaciju će biti dovoljni 4 vCPU, 16 GiB i 200 GB. Instalaciona slika diska odbija mašinu sa manje od 16 GiB memorije (pogledajte poglavlje 2.9, Instalaciona slika diska), i ja bih to svuda smatrao minimumom.

Grafički čvorovi su opcioni. Bez čvora koji nudi grafički procesor (GPU), asistent odgovara putem hostovanog modela, koristeći sopstveni ključ organizacije. Provera pre instalacije to prijavljuje kao upozorenje, nikada kao grešku. Poglavlje 2.14, AI provajderi i modeli, pokriva oba načina.

Svako skladište može da radi i izvan klastera: postavite dataTier.<store>.mode na external i navedite njegov host i Secret. Spoljni PostgreSQL zahteva superuser nalog za bootstrap instalacije i sertifikat koji Nexus može da proveri. To pokriva poglavlje 2.11, Varijante: spoljna skladišta, TLS i ingress. Ako ih zadržite u klasteru, smestite ih na klasu skladišta iza koje stoje pravi diskovi. Baza podataka je deo koji će Vam najviše nedostajati ako lokalni disk čvora otkaže.

Naziv instalacije je trajan

keys.installationName je naziv kojim operateri označavaju ovu instalaciju. Mora da odgovara obrascu ^[a-z][a-z0-9-]{0,62}$: malo slovo, a zatim do 62 mala slova, cifre ili crtice.

Prilikom prvog pokretanja, skladište ključeva generiše identitet instalacije pod ovim imenom, i taj identitet je trajno fiksiran. Licenca kompanije Adverant izdaje se za taj identitet, pa se licenca napravljena za jednu instalaciju na drugoj odbija sa LICENCE_OTHER_INSTALLATION. Preimenovanje bi značilo novu instalaciju, novi identitet i nove licence.

Chart nema podrazumevanu vrednost za ime. Odbija instalaciju bez imena (INSTALLATION_NAME_MISSING) i odbija primer imena iz sopstvenih primera datoteka sa vrednostima (INSTALLATION_NAME_EXAMPLE). Provera pre instalacije prijavljuje oba slučaja pre nego što dođete do toga.

U Harrowu smo na ovome proveli više vremena nego što bih voleo da priznam. Odlučili smo se za harrow-port-authority: navodi organizaciju, ne govori ništa o tome na kom klasteru radi i i dalje će biti tačno kada se hardver zameni. Izbegavajte imena poput prod-k3s-2 koja opisuju današnje mašine.

Čuvanje ključeva

Nexus čuva ključeve svake organizacije u sopstvenom skladištu ključeva, unutar klastera. Vi njime ne upravljate svakodnevno, ali pre instalacije odlučujete ko može da ga vrati u rad nakon ponovnog pokretanja. Ovo je odluka koja najviše košta ako je pogrešno donesete.

Skladište ključeva čine dva OpenBao servera. Glavni, openbao, čuva ključeve i otpečaćuje se putem drugog, manjeg servera, openbao-unsealer. Unsealer je zapečaćen Shamirovom šemom: pet delova, od kojih bilo koja tri ga otvaraju. Prilikom instalacije, custody Job inicijalizuje oba servera unutar klastera. U memoriji tog Job-a, on šifruje delove unsealera i ključeve za oporavak skladišta ključeva za svakog čuvara kojeg navedete, čuva samo šifrovani tekst (u Secret resursima openbao-unseal-shares-encrypted i openbao-recovery-keys-encrypted) i opoziva oba root tokena pre nego što završi. Nijedan nešifrovani deo nikada ne dospeva na disk ili u log.

Nakon svakog ponovnog pokretanja čvora unsealera, unsealer se pokreće zapečaćen. Skladište ključeva ga čeka, i ništa što zahteva ključ ne radi dok ga čuvar ne otpečati. Za to je potrebno jedno dešifrovanje sopstvenim privatnim ključem čuvara. Postupak je opisan u poglavlju 2.15, Drugi dan: upravljanje Nexusom.

Izrada ključa čuvara

Čuvar se navodi javnom polovinom age ključa, koja se naziva primalac. Svaki čuvar pravi sopstveni ključ na sopstvenoj mašini i Vama daje samo primaoca:

age-keygen -o custodian.key

Linija # public key: u datoteci je primalac, koji počinje sa age1. Čuvar sa Mac računarom može umesto toga da čuva ključ u Secure Enclave-u Mac računara, tako da privatna polovina nikada ne napušta čip, a svaka upotreba traži otisak prsta:

age-plugin-se keygen --access-control=any-biometry -o custodian.key

Taj primalac počinje sa age1se1. Custody Job šifruje za pet oblika primalaca: age1 (X25519), age1tag1 i age1tagpq1 (tag), age1pq1 (hibridni post-kvantni) i age1se1 (Secure Enclave). Odbija svaki drugi oblik dodatka, kao što je age1yubikey1; umesto toga navedite taj ključ u jednom od prihvaćenih oblika.

Chart proverava svakog primaoca prilikom renderovanja. Pogrešno upisan primalac ne prolazi bech32 kontrolni zbir i biva odbijen, tako da se ništa nikada ne zapečati ključem koji niko ne poseduje. Ako neko greškom nalepi privatni ključ u listu, chart ga odbija bez prikazivanja. Odbija se i primer primaoca iz chart-ovih sopstvenih values datoteka (KEYS_CUSTODIAN_EXAMPLE); njegovu privatnu polovinu niko ne poseduje.

Koliko čuvara

Svaki deo je šifrovan za svakog čuvara, tako da bilo koji čuvar može sam da otpečati. Više čuvara znači više načina za oporavak i više ljudi koji mogu svaki sam da deluju. U Harrow smo izabrali tri: Aoife, mene i Secure Enclave ključ na rezervnom laptopu koji se čuva u lučkom sefu. Dva je najmanje što bih prihvatio. Jedan je jedinstvena tačka otkaza koja će, pre ili kasnije, biti na odmoru kada se neki čvor ponovo pokrene.

Izbor izdanja

edition je community ili enterprise, a enterprise.enabled mora da se slaže s njim. Chart odbija neslaganje, kao i svako izdanje koje nije jedno od ta dva.

Izdanje takođe određuje koje slike instalirate. Svaki chart paket sadrži images lock, listu svih slika po digestu, za jedno izdanje. Community instalacija preuzima samo Community slike. Enterprise instalacija preuzima Enterprise lock, koji čine Community slike plus Enterprise buildovi, i preuzima ih pomoću pull tokena iz vašeg Adverant naloga. Poglavlje 2.4, Preuzimanje i verifikacija izdanja, objašnjava lock, a poglavlje 2.2, Izdanja iznutra, objašnjava šta svako izdanje sadrži.

Ne morate da se odlučite zauvek. Community instalacija prelazi na Enterprise na licu mesta, uz zadržavanje svojih ljudi, datoteka i istorije; poglavlje 2.7, Instaliranje Enterprise izdanja i primena licence, pokazuje kako. U Harrow smo za pilot koristili Community i prešli šest nedelja kasnije.

Licenca nikada nije deo ovog plana. Ona nije chart vrednost niti montirana datoteka: uvozite je nakon instalacije, preko konzole, nexusctl ili API-ja.

Izbor oblika isporuke

Oblik Kada odgovara Poglavlje
Helm chart sa registry.adverant.ai Vaš sopstveni Kubernetes klaster, sa pristupom registru 2.6 i 2.7
nexusctl install Isti klaster, s tim što se preflight i provera potpisa pokreću umesto vas 2.6
nexusctl install --single-node Jedna mašina, na kojoj nexusctl podešava i klaster 2.8
Instalaciona slika diska Server bez operativnog okruženja ili virtuelna mašina (VM) koju ne želite da pripremate ručno 2.9
Offline paket Bez ikakvog izlaza ka spolja; slike i chart stižu na disku 2.10

Chart je isti u svakom obliku. Menja se samo to ko pravi klaster i odakle dolaze slike.

Preuzmite izdanje
Preuzmite izdanje
Ovo je stranica izdanja u Adverant nalogu. Obratite pažnju na jasnu izjavu o tome šta alpha izdanje obećava, veličinu i potpis pored svake datoteke i offline komande za proveru preuzetog sadržaja.

Radni list za planiranje

Ovo je radni list luke Harrow, onako kako ga je Aoife odobrila. Kopirajte leve dve kolone i popunite desnu za sopstvenu instalaciju.

Odluka Values ključ ili komanda Harrow Port Authority
Kubernetes i verzija (preflight je očitava) k3s v1.33.6+k3s1, tri čvora
Kube kontekst za instalaciju --context harrow-prod
Namespace --namespace nexus
Izdanje edition, enterprise.enabled community za pilot, zatim enterprise
Registar slika global.imageRegistry registry.adverant.ai
Domen global.domain harrow.example
Adresa konzole hosts.console console.harrow.example
API adresa hosts.api api.harrow.example
Adresa za prijavu hosts.auth auth.harrow.example
TLS na ivici mreže tls.mode, tls.existingSecret existing, Secret harrow-public-tls od internog CA luke Harrow
Ingress klasa ingress.className traefik
Ingress namespace networkPolicy.ingressNamespace kube-system
Klasa skladišta storage.className local-path
Skladišta podataka dataTier.<store>.mode Sve in-cluster, podrazumevane veličine
Odlazni opsezi networkPolicy.externalEgressCIDRs Samo opseg mail relay servera
Naziv instalacije (trajan) keys.installationName harrow-port-authority
Čuvari (praktično trajni) keys.custody.recipients Tri: Aoife Brennan, Tomás Reilly, laptop iz sefa (age1se1)
Grafički čvorovi (preflight je očitava) Nema ih za povezani pilot; hostovani model sa sopstvenim ključem luke Harrow
Prvi administrator nexusctl claim-code --administrator aoife.brennan@harrow.example

Dva reda na tom listu ne mogu se poništiti: naziv instalacije i čuvari, u smislu da gubitak svih njih znači gubitak skladišta ključeva. Neka te dve stavke odobri neko ko ima ovlašćenje da kaže da. Sve ostalo je izmena vrednosti.

Kada završite radni list, pređite na poglavlje 2.4, Preuzimanje i verifikacija izdanja, i preuzmite izdanje.