Logi sisseBroneerige tutvustus

Peatükk 2.3

Installatsiooni planeerimine

Mida Nexuse Kubernetese installatsioon vajab enne käsu sisestamist, kui suur see on, ja kaks otsust, mida ei saa tagasi võtta: installatsiooni nimi ja võtmehoidjad. Lõpus on Harrow Port Authority täidetud planeerimistööleht.

Selle lehe tõlkis AI ingliskeelsest originaalist. Kui miski jääb ebaselgeks, võtke aluseks ingliskeelne leht. Lugege seda lehte inglise keeles

16 minutit lugemist

Kui paigaldasime Nexuse ettevõttes Harrow Port Authority, kulus käskudele üks pärastlõuna. Planeerimisele kulus nädal ja suurem osa sellest nädalast läks kahele küsimusele, millel pole Kubernetesega midagi pistmist: kuidas me paigaldust nimetame ja millised inimesed hoiavad selle taastevõtmeid. Mõlemad vastused on lõplikud. Kõike muud selles peatükis saab hiljem muuta väärtuste faili ja käsuga helm upgrade.

Olen Tomás Reilly, Harrow' platvormiinsener. Harrow's töötab kaks paigaldust. Selles peatükis planeeritakse võrku ühendatud paigaldust meie ettevõtte võrgus, kus katsetasime esmalt Community väljaannet. Sadama operatiivvõrk, millel puudub ühendus internetiga, sai oma paigalduse hiljem; seda käsitleb peatükk 2.10, Võrguühenduseta paigaldus. See peatükk on see, mida oleksin soovinud omada esimesel hommikul: klaster, mida Nexus eeldab, nimed, millele see vastab, kui palju see teie sõlmedelt nõuab, ja otsused, mis tuleb enne paigaldamist IT-juhiga kokku leppida. Peatükk lõpeb töölehega, mille meie IT-juht Aoife Brennan enne alustamist kinnitas. Peatükk 2.4, Väljalaske hankimine ja kontrollimine, käsitleb väljalaske allalaadimist ja kontrollimist ning peatükk 2.5, Eelsüsteemikontroll tööriistaga nexusctl, kontrollib teie klastrit kõige siin esitatu suhtes.

Mis klastril peab olema

Nexus paigaldatakse ühe Helmi paketina (chart), nexus, versioon 1.0.0-alpha.1. Pakett sisaldab platvormiteenuseid ja nende andmekihti ning keeldub paigaldusest klastrisse, millest puuduvad allpool loetletud osad.

Nõue Mida Nexus eeldab Miks
Kubernetes 1.33 või uuem. Testitud k3s-i versioonil v1.33.6+k3s1 Paketi kubeVersion on >=1.33.0-0 ja helm install jõustab selle
cert-manager v1.21.3, paigaldatud enne Nexust Pakett loob oma kohaliku sertifitseerimiskeskuse (CA) ja sertifikaadid, mida selle teenused kasutavad omavaheliseks suhtluseks
Helm v4 (meie kasutasime versiooni v4.3.1) Helm 4 ootab vaikimisi ära paketi haaktööd (hook Jobs), millest paigaldus sõltub
Salvestusklass (StorageClass) Üks vaikimisi märgitud või see, mille nimetate võtmes storage.className Iga andmehoidla nõuab püsivat andmeköidet (PersistentVolume)
Sissetuleva liikluse klass (IngressClass) Üks vaikimisi märgitud või see, mille nimetate võtmes ingress.className Kolm avalikku aadressi on tavalised networking.k8s.io/v1 Ingress-ressursid
Pordid 80 ja 443 Avatud sissetuleva liikluse kontrolleris (ingress controller) LoadBalancer või NodePort tüüpi teenusena (Service) Kasutajad jõuavad Nexuseni sissetuleva liikluse kontrolleri kaudu
Arhitektuur linux/amd64 või linux/arm64 sõlmed Iga tõmmis on ehitatud mõlema jaoks

Kaks asja puuduvad sellest tabelist meelega. Nexus ei vaja teenusevõrgustikku (service mesh): vastastikune TLS (mTLS, mõlemasuunaline transpordikihi turbeprotokoll) teenuste vahel tuleb paketi kohalikust CA-st cert-manageri kaudu. Paketil on võti istio.enabled, mille vaikeväärtus on false, ja peaksite selle nii jätmagi. Samuti ei vaja Nexus omaenda vastuvõtupoliitika mootorit (admission policy engine).

Oma tööjaamas läheb teil vaja tööriistu kubectl, Helm v4, cosign v3 allkirjade kontrollimiseks, age võtmehoidjate võtmete loomiseks ja nexusctl, mis on Nexuse operaatori käsurealiides (CLI). Peatükk 2.4, Väljalaske hankimine ja kontrollimine, ütleb, kus iga Nexuse allalaaditav fail asub.

Kolm aadressi

Iga paigaldus vastab kolmel hostinimel. Pakett nimetab neid paigalduse identiteediks ja ükski teenus ei ole nõus ilma nendeta käivituma.

Väärtuste võti Harrow' nimi Mis seal vastab
hosts.console console.harrow.example Konsool, veebirakendus, kuhu inimesed sisse logivad
hosts.api api.harrow.example Lüüs (gateway), mis teenindab rakendusliidest (API) ja suunab iga tehisintellekti (AI) päringu
hosts.auth auth.harrow.example Sisselogimisteenus, nexus-auth

global.domain sisaldab domeeni, mille alla need kolm kuuluvad – meie puhul harrow.example. Iga host on iseseisev täisnimi ja võib asuda mis tahes teie kontrollitava domeeni all. Meie hoidsime kõik kolm ühe domeeni all, sest siis sai neid katta ühe sertifikaadiga.

Looge iga kolme jaoks domeeninimede süsteemi (DNS) kirje, mis suunab teie sissetuleva liikluse kontrolleri aadressile. Tehke seda enne eelsüsteemikontrolli (preflight). nexusctl preflight otsib iga nime teie tööjaamast ja katkestab paigalduse, kui mõnel neist kirje puudub, sest kasutaja ei saa pöörduda nime poole, mis ei lahendu.

Vasakul kolm DNS-nime: console.harrow.example, api.harrow.example ja auth.harrow.example, igaühest suundub nool ühte kasti sildiga "ingress controller, ports 80 and 443". Sellest kastist viivad kolm noolt suuremasse kasti sildiga "namespace nexus": konsooli nool teenusesse "nexus-alpha :3000", api nool teenusesse "nexus-gateway :9092" ja auth nool teenusesse "nexus-auth :9101". Katkendlik ääris nimeruumi ümber kannab silti "default deny; only the ingress namespace may reach these three".
Kuidas kolm avalikku nime jõuavad nende taga olevate teenusteni.

TLS-i lõppemise viisi valimine

Paketi tls.mode otsustab, kes hoiab kolme avaliku aadressi sertifikaate. Valikuid on kolm ja saate neid hiljem uuendamise (upgrade) käigus vahetada.

tls.mode Teie pakute Mida pakett teeb
existing (vaikeväärtus) Kubernetese TLS Secret nimeruumis nexus, mis on määratud võtmes tls.existingSecret Kõik kolm Ingress-ressurssi kasutavad seda ühte Secretit
cert-manager Teie hallatav ClusterIssuer, mis on määratud võtmes tls.clusterIssuer Lisab igale Ingress-ressursile annotatsioonid, et cert-manager väljastaks sertifikaadid nexus-console-tls, nexus-api-tls ja nexus-auth-tls
none Midagi klastri ees, mis lõpetab TLS-ühenduse, näiteks teie enda koormusejaotur (load balancer) Genereerib Ingress-ressursid ilma TLS-sektsioonita

Valikuga existing teenindab üks sertifikaat kõiki kolme hosti, seega peab see sisaldama kõiki kolme nime – kas kolme subjekti alternatiivnimena (SAN) või teie domeeni metamärgina (wildcard). Meie kasutasime sertifikaati Harrow' sisemisest CA-st. Eelsüsteemikontroll loeb Secretit enne paigaldamist ja hoiatab, kui selle sertifikaat aegub 30 päeva jooksul.

Valikuga cert-manager ja automaatse sertifikaadihalduse keskkonna (ACME) väljastajaga ei lisa pakett omalt poolt ühtegi ümbersuunamist, nii et /.well-known/acme-challenge/ päring pordil 80 jõuab lahendajani puutumatult. Ärge lisage oma sissetuleva liikluse kontrollerisse HTTP-lt HTTPS-ile ümbersuunamist, mis käivitub enne kontrollrada (challenge path); sertifikaat, mida ei saa uuendada, aegub vaikselt nädalaid hiljem.

Olenemata sellest, mille valite avaliku serva jaoks, suhtlevad nimeruumi sees olevad teenused alati üle TLS-i, kasutades paketi kohalikku CA-d. See osa ei ole valikuline ja just seetõttu on cert-manager eeltingimus isegi siis, kui tls.mode on existing või none.

Mis lahkub klastrist ja mis mitte

Pakett genereerib nimeruumi nexus jaoks vaikimisi keelava (default-deny) võrgupoliitika. Pärast seda on lubatud ainult järgmised liiklused:

  • liiklus Nexuse podide vahel nimeruumi sees;
  • DNS-päringud klastri DNS-teenusele;
  • Kubernetese API-server nende väheste teenuste jaoks, mis kontrollivad töökoormuse lubasid (workload tokens);
  • sissetuleva liikluse kontrolleri nimeruumist kolme avaliku teenuseni (Service);
  • mis tahes klassideta domeenidevahelise marsruutimise (CIDR) vahemikud, mille loetlete võtmes networkPolicy.externalEgressCIDRs.

See viimane loend on vaikimisi tühi. Kui kasutate klastrivälist meilireleed või mudeliserverit, käib selle vahemik sinna. Telemeetria on välja lülitatud ja jääb välja lülitatuks: skeem aktsepteerib ainult väärtust telemetry.enabled: false ning ka andmehoidlate endi kasutusaruandlus on välja lülitatud.

Pakett loeb paigaldamise ajal klastrist API-serveri aadresse. Kui teie konto ei saa lugeda kubernetes Endpoint-ressursse nimeruumis default, esitage need ise võtmes networkPolicy.apiServerCIDRs /32 vahemikena. proxy.trustedCIDRs määrab podide võrgu, milles teie sissetuleva liikluse kontroller asub, et nexus-auth teaks, kelle X-Forwarded-For päist uskuda. Vaikeväärtus 10.42.0.0/16 on k3s-i podide võrk.

Mahu arvestus

Paketi vaikimisi ressursitaotlused (requests) teevad kokku umbes 2,05 keskprotsessori (CPU) tuuma ja 6,7 GiB mälu. See on maht, mille plaanur (scheduler) broneerib; piirangud (limits) on kõrgemad ning andmehoidlad kasvavad nendeni sedamööda, kuidas lisate inimesi ja faile.

Osa Taotletud CPU Taotletud mälu
Üheksa platvormiteenust (console, backend for frontend (BFF), auth, orchestrator, workflows, gateway, graphrag, probitas, skills engine) 1,1 tuuma 2,6 GiB
Võtmeteenus, nexus-keys 0,05 tuuma 64 MiB
PostgreSQL 0,25 tuuma 1 GiB
Neo4j 0,25 tuuma 2 GiB
Valkey, Qdrant ja objektihoidla kokku 0,25 tuuma 640 MiB
Võtmehoidla kaks OpenBao serverit 0,15 tuuma 384 MiB

Vaikimisi andmeköited teevad kokku 142 GiB:

Hoidla Väärtuste võti Vaikesuurus
PostgreSQL 16 koos PostGIS 3 ja pgvector 0.8-ga dataTier.postgres.size 50Gi
Objektihoidla (SeaweedFS) dataTier.objectStore.size 50Gi
Neo4j 5.26 Community Edition dataTier.neo4j.size 20Gi
Qdrant dataTier.qdrant.size 10Gi
Valkey dataTier.valkey.size 5Gi
Võtmehoidla ja selle lahtipitseerija (unsealer) keys.openbao.storage.keystore, keys.openbao.storage.unsealer 5Gi ja 1Gi
Võtmeteenuse kviitungid keys.receiptsStorage 1Gi

Ühe sõlme puhul arvestage 8 vCPU, 32 GiB muutmälu (RAM) ja 250 GB pooljuhtkettaga (SSD). Testimiseks (evaluation) piisab 4 vCPU-st, 16 GiB-st ja 200 GB-st. Paigaldaja kettatõmmis keeldub masinast, millel on vähem kui 16 GiB mälu (vt peatükk 2.9, Paigaldaja kettatõmmis), ja ma käsitleksin seda alampiirina kõikjal.

Graafikasõlmed on valikulised. Ilma graafikaprotsessorit (GPU) pakkuva sõlmeta vastab assistent majutatud mudeli kaudu, kasutades organisatsiooni enda võtit. Eelsüsteemikontroll raporteerib sellest kui hoiatusest, mitte kunagi kui tõrkest. Peatükk 2.14, AI teenusepakkujad ja mudelid, käsitleb mõlemat viisi.

Iga hoidla võib töötada ka väljaspool klastrit: määrake dataTier.<store>.mode väärtuseks external ning nimetage selle host ja Secret. Väline PostgreSQL vajab paigalduse algkäivituseks (bootstrap) superkasutaja kontot ja sertifikaati, mida Nexus saab verifitseerida. Seda käsitleb peatükk 2.11, Variatsioonid: välised hoidlad, TLS ja sissetulev liiklus. Kui hoiate neid klastris, paigutage need salvestusklassile, mille taga on päris kettad. Andmebaas on see osa, millest tunnete kõige rohkem puudust, kui sõlme kohalik ketas üles ütleb.

Installatsiooni nimi on püsiv

keys.installationName on nimi, millega operaatorid seda paigaldust kutsuvad. See peab vastama regulaaravaldisele ^[a-z][a-z0-9-]{0,62}$: üks väiketäht, millele järgneb kuni 62 väiketähte, numbrit või sidekriipsu.

Kui võtmehoidla esimest korda käivitub, vermib see paigalduse identiteedi selle nime alla ja see identiteet on lõplikult fikseeritud. Adveranti litsents väljastatakse sellele identiteedile, mistõttu ühe paigalduse jaoks loodud litsents lükatakse teises tagasi veaga LICENCE_OTHER_INSTALLATION. Ümbernimetamine tähendaks uut paigaldust, uut identiteeti ja uusi litsentse.

Paketil puudub nime jaoks vaikeväärtus. See keeldub paigaldusest ilma nimeta (INSTALLATION_NAME_MISSING) ja keeldub näidisnimest, mis on selle enda näidisväärtuste failides (INSTALLATION_NAME_EXAMPLE). Eelsüsteemikontroll teatab mõlemast, enne kui nii kaugele jõuate.

Harrow's kulutasime sellele rohkem aega, kui tahaksin tunnistada. Jäime pidama nime harrow-port-authority juurde: see nimetab organisatsiooni, ei ütle midagi selle kohta, millises klastris see töötab, ja kehtib endiselt ka siis, kui riistvara välja vahetatakse. Vältige nimesid nagu prod-k3s-2, mis kirjeldavad tänaseid masinaid.

Võtmehoid

Nexus hoiab iga organisatsiooni võtmeid oma võtmehoidlas, klastri sees. Te ei halda seda igapäevaselt, kuid otsustate enne paigaldamist, kes saab selle pärast taaskäivitust uuesti töökorda seada. See on otsus, mis läheb kõige kallimaks maksma, kui teete vea.

Võtmehoidla koosneb kahest OpenBao serverist. Peamine, openbao, hoiab võtmeid ja pitseerib end lahti (unseals) teise, väiksema serveri openbao-unsealer kaudu. Lahtipitseerija on pitseeritud Shamiri skeemiga: viis osakuosa (shares), millest mis tahes kolm avavad selle. Paigaldamisel lähtestab hooldustöö (custody Job) mõlemad serverid klastri sees. Selle töö mälus krüpteerib see lahtipitseerija osakuosad ja võtmehoidla taastevõtmed igale teie nimetatud võtmehoidjale (custodian), salvestab ainult šifriteksti (Secretitesse openbao-unseal-shares-encrypted ja openbao-recovery-keys-encrypted) ning tühistab mõlemad juurload (root tokens) enne lõpetamist. Ükski avatekstis osakuosa ei jõua kunagi kettale ega logisse.

Pärast lahtipitseerija sõlme mis tahes taaskäivitust käivitub lahtipitseerija pitseerituna. Võtmehoidla ootab selle järel ja miski, mis vajab võtit, ei tööta enne, kui võtmehoidja selle lahti pitseerib. Selleks on vaja ühte dekrüpteerimist võtmehoidja enda privaatvõtmega. Protseduur on kirjeldatud peatükis 2.15, Teine päev: Nexuse käitamine.

Võtmehoidja võtme loomine

Võtmehoidjat tähistab age võtme avalik pool, mida nimetatakse selle adressaadiks (recipient). Iga võtmehoidja loob oma võtme oma masinas ja annab teile ainult adressaadi:

age-keygen -o custodian.key

Faili rida # public key: on adressaat, mis algab stringiga age1. Maciga võtmehoidja saab hoida võtit hoopis Maci turvaenklaavis (Secure Enclave), nii et privaatne pool ei lahku kunagi kiibist ja iga kasutuskord küsib sõrmejälge:

age-plugin-se keygen --access-control=any-biometry -o custodian.key

See adressaat algab stringiga age1se1. Hooldustöö krüpteerib viut tüüpi adressaatidele: age1 (X25519), age1tag1 ja age1tagpq1 (tag), age1pq1 (hübriidne postkvant) ning age1se1 (Secure Enclave). See keeldub mis tahes muust pistikprogrammi vormist, nagu age1yubikey1; nimetage see võti selle asemel mõnes aktsepteeritud vormis.

Pakett kontrollib iga adressaati genereerimise ajal. Valesti sisestatud adressaat ei läbi bech32 kontrollsummat ja lükatakse tagasi, nii et midagi ei pitseerita kunagi võtmele, mida kellelgi pole. Kui keegi kleebib loendisse kogemata privaatvõtme, lükkab pakett selle tagasi ilma seda ekraanil kuvamata. Ka paketi enda väärtuste failides olev näidisadressaat lükatakse tagasi (KEYS_CUSTODIAN_EXAMPLE); selle privaatset poolt pole kellegi käes.

Mitu võtmehoidjat valida

Iga osakuosa krüpteeritakse igale võtmehoidjale, seega saab iga võtmehoidja üksi lahtipitseerimise teostada. Rohkem võtmehoidjaid tähendab rohkem taastamisviise ja rohkem inimesi, kes saavad igaüks üksi tegutseda. Meie valisime Harrow's kolm: Aoife, mina ja Secure Enclave'i võti varusülearvutis, mis asub sadama seifis. Kaks on miinimum, millega ma lepiksin. Üks on üksik tõrkepunkt, mis on varem või hiljem puhkusel just siis, kui sõlm taaskäivitub.

Väljaande valimine

edition on community või enterprise ning enterprise.enabled peab sellega ühtima. Pakett keeldub mittevastavusest ja keeldub mis tahes väljaandest, mis ei ole üks neist kahest.

Väljaanne otsustab ka selle, millised tõmmised te paigaldate. Iga paketifail sisaldab tõmmiste lukustusfaili (images lock) – loendit igast tõmmisest räsiväärtuse (digest) järgi ühe väljaande jaoks. Community paigaldus võtab ainult Community tõmmised. Enterprise'i paigaldus võtab Enterprise'i lukustusfaili, mis sisaldab Community tõmmiseid pluss Enterprise'i järke, ning tõmbab need tõmbeloaga (pull token) teie Adveranti kontolt. Peatükk 2.4, Väljalaske hankimine ja kontrollimine, selgitab lukustusfaili ja peatükk 2.2, Väljaanded kapoti all, selgitab, mida kumbki väljaanne sisaldab.

Te ei pea tegema lõplikku otsust. Community paigaldus liigub Enterprise'ile kohapeal, säilitades oma kasutajad, failid ja ajaloo; peatükk 2.7, Enterprise'i paigaldamine ja litsentsi rakendamine, näitab, kuidas. Meie kasutasime Harrow' pilootprojekti jaoks Communityt ja kolisime kuus nädalat hiljem üle.

Litsents ei ole kunagi osa sellest plaanist. See ei ole paketi väärtus ega haagitud fail: impordite selle pärast paigaldamist konsooli, nexusctl või API kaudu.

Tarnevormi valimine

Vorm Millal see sobib Peatükk
Helmi pakett registrist registry.adverant.ai Teie enda Kubernetese klaster, millel on ühendus registriga 2.6 ja 2.7
nexusctl install Sama klaster, kus eelsüsteemikontroll ja allkirjakontroll tehakse teie eest 2.6
nexusctl install --single-node Üks masin, kus nexusctl seadistab ka klastri 2.8
Paigaldaja kettatõmmis Tühi füüsiline server või virtuaalmasin (VM), mida te pigem käsitsi ette ei valmistaks 2.9
Võrguühenduseta komplekt (offline bundle) Välisühendus puudub täielikult; tõmmised ja pakett tulevad kettal 2.10

Pakett on igas vormis sama. Muutub see, kes loob klastri ja kust tõmmised tulevad.

Hangi väljalase
Hangi väljalase
See on väljalaske leht Adveranti kontol. Pange tähele selget avaldust selle kohta, mida alfaväljalase lubab, suurust ja allkirja iga faili kõrval ning võrguühenduseta käske allalaadimise kontrollimiseks.

Planeerimistööleht

See on Harrow' oma, nagu Aoife selle kinnitas. Kopeerige kaks vasakpoolset veergu ja täitke parempoolne oma paigalduse andmetega.

Otsus Väärtuste võti või käsk Harrow Port Authority
Kubernetes ja versioon (eelsüsteemikontroll loeb seda) k3s v1.33.6+k3s1, kolm sõlme
Kube-kontekst paigaldamiseks --context harrow-prod
Nimeruum --namespace nexus
Väljaanne edition, enterprise.enabled community pilootprojekti jaoks, seejärel enterprise
Tõmmiste register global.imageRegistry registry.adverant.ai
Domeen global.domain harrow.example
Konsooli aadress hosts.console console.harrow.example
API aadress hosts.api api.harrow.example
Sisselogimise aadress hosts.auth auth.harrow.example
TLS serval tls.mode, tls.existingSecret existing, Secret harrow-public-tls Harrow' sisemisest CA-st
Sissetuleva liikluse klass (IngressClass) ingress.className traefik
Sissetuleva liikluse nimeruum networkPolicy.ingressNamespace kube-system
Salvestusklass (StorageClass) storage.className local-path
Andmehoidlad dataTier.<store>.mode Kõik in-cluster, vaikesuurused
Väljuvad vahemikud networkPolicy.externalEgressCIDRs Ainult meilirelee vahemik
Paigalduse nimi (püsiv) keys.installationName harrow-port-authority
Võtmehoidjad (sisuliselt püsivad) keys.custody.recipients Kolm: Aoife Brennan, Tomás Reilly, seifis olev sülearvuti (age1se1)
Graafikasõlmed (eelsüsteemikontroll loeb seda) Võrku ühendatud pilootprojekti jaoks puuduvad; majutatud mudel Harrow' enda võtmega
Esimene administraator nexusctl claim-code --administrator aoife.brennan@harrow.example

Kahte rida sellel lehel ei saa tagasi võtta: paigalduse nime ja võtmehoidjaid selles mõttes, et nende kõigi kaotamine tähendab võtmehoidla kaotamist. Laske need kaks kinnitada kellelgi, kellel on volitus öelda jah. Kõik muu on väärtuste muudatus.

Kui tööleht on valmis, minge peatükki 2.4, Väljalaske hankimine ja kontrollimine, ning laadige väljalase alla.