Kirjaudu sisäänVaraa esittely

Luku 2.3

Asennuksen suunnittelu

Mitä Nexuksen Kubernetes-asennus vaatii ennen kuin kirjoitatte yhtäkään komentoa, kuinka suuri se on ja kaksi päätöstä, joita ei voi perua: asennuksen nimi ja avainten haltijat. Lopuksi Harrow Port Authorityn täytetty suunnittelulomake.

Tämä sivu on käännetty tekoälyllä englanninkielisestä alkuperäistekstistä. Jos jokin kohta on epäselvä, englanninkielinen sivu on ensisijainen lähde. Lue tämä sivu englanniksi

16 minuutin lukuaika

Kun asensimme Nexuksen Harrow Port Authoritylle, komentojen suorittamiseen kului yksi iltapäivä. Suunnitteluun kului viikko, ja suurin osa siitä viikosta kului kahteen kysymykseen, joilla ei ole mitään tekemistä Kubernetesin kanssa: miksi kutsuisimme asennusta ja ketkä henkilöt pitäisivät hallussaan sen palautusavaimia. Molemmat vastaukset ovat pysyviä. Kaikkea muuta tässä luvussa voi muuttaa myöhemmin arvotiedostolla (values file) ja komennolla helm upgrade.

Olen Tomás Reilly, Harrow'n alustainsinööri. Harrow'lla on käytössä kaksi asennusta. Tässä luvussa suunnitellaan yritysverkossamme oleva verkkoon yhdistetty asennus, jossa pilotoimme ensin Community-versiota. Sataman operatiivinen verkko, josta ei ole reittiä internetiin, sai oman asennuksensa myöhemmin; luku 2.10, Ilmarakoasennus (Air-gapped installation), käsittelee sitä. Tämä luku on se, mitä olisin toivonut minulla olleen ensimmäisenä aamuna: klusteri, jota Nexus odottaa, nimet, joihin se vastaa, kuinka paljon se vaatii solmuiltanne, sekä päätökset, jotka on sovittava IT-johtajanne kanssa ennen asennusta. Luku päättyy tarkistuslistaan, jonka IT-johtajamme Aoife Brennan hyväksyi ennen kuin aloitimme. Luku 2.4, Julkaisun noutaminen ja vahvistaminen, käsittelee julkaisun hakemista ja tarkistamista, ja luku 2.5, Esitarkistus nexusctl-työkalulla, tarkistaa klusterinne kaikkea tässä esitettyä vasten.

Mitä klusterissa on oltava

Nexus asennetaan yhtenä Helm-kaaviona (chart), nexus, versio 1.0.0-alpha.1. Kaavio sisältää alustapalvelut ja niiden tietokerroksen, ja se kieltäytyy asentumasta klusteriin, josta puuttuvat alla olevat osat.

Vaatimus Mitä Nexus odottaa Miksi
Kubernetes 1.33 tai uudempi. Testattu k3s-versiolla v1.33.6+k3s1 Kaavion kubeVersion on >=1.33.0-0, ja helm install valvoo sitä
cert-manager v1.21.3, asennettuna ennen Nexusta Kaavio luo oman paikallisen varmentajansa (CA) ja varmenteet, joita sen palvelut käyttävät keskinäiseen viestintään
Helm v4 (käytimme versiota v4.3.1) Helm 4 odottaa oletusarvoisesti kaavion hook Job -töitä, mistä asennus on riippuvainen
Tallennusluokka (storage class) Oletukseksi merkitty luokka tai luokka, jonka nimeätte kohdassa storage.className Jokainen tietovarasto varaa pysyvän taltion (persistent volume)
Sisääntuloluokka (ingress class) Oletukseksi merkitty luokka tai luokka, jonka nimeätte kohdassa ingress.className Kolme julkista osoitetta ovat tavallisia networking.k8s.io/v1-tyypin Ingress-resursseja
Portit 80 ja 443 Avoinna ingress-ohjaimessa LoadBalancer- tai NodePort Service -palveluna Käyttäjät tavoittavat Nexuksen ingress-ohjaimen kautta
Arkkitehtuuri linux/amd64- tai linux/arm64-solmut Jokainen levykuva on rakennettu molemmille

Kaksi asiaa puuttuu kyseisestä taulukosta tarkoituksella. Nexus ei tarvitse palveluverkkoa (service mesh): palveluiden välinen molemminpuolinen TLS (mTLS, Transport Layer Security molempiin suuntiin) tulee kaavion paikalliselta varmentajalta (CA) cert-managerin kautta. Kaaviossa on istio.enabled-avain, jonka oletusarvo on false, ja teidän tulisi jättää se siihen. Nexus ei myöskään tarvitse omaa pääsynhallintakäytäntöjen moottoria (admission policy engine).

Työasemallanne tarvitsette työkalut kubectl, Helm v4, cosign v3 allekirjoitusten tarkistamiseen, age säilyttäjäavainten (custodian keys) luomiseen sekä nexusctl, joka on Nexus-ylläpitäjän komentorivikäyttöliittymä (CLI). Luku 2.4, Julkaisun noutaminen ja vahvistaminen, kertoo, missä kukin Nexus-lataus sijaitsee.

Kolme osoitetta

Jokainen asennus vastaa kolmella isäntänimellä (host name). Kaavio kutsuu niitä asennusidentiteetiksi, ja jokainen palvelu kieltäytyy käynnistymästä ilman niitä.

Values-avain Harrow'n nimi Mikä siellä vastaa
hosts.console console.harrow.example Konsoli, verkkosovellus, johon käyttäjät kirjautuvat sisään
hosts.api api.harrow.example Yhdyskäytävä (gateway), joka palvelee ohjelmointirajapintaa (API) ja reitittää jokaisen tekoälypyynnön (AI)
hosts.auth auth.harrow.example Sisäänkirjautumispalvelu, nexus-auth

global.domain sisältää toimialueen (domain), jonka alla nämä kolme sijaitsevat, meidän tapauksessamme harrow.example. Jokainen isäntä on itsessään täydellinen nimi ja voi sijaita minkä tahansa hallitsemanne toimialueen alla. Pidimme kaikki kolme yhden toimialueen alla, koska silloin yksi varmenne pystyi kattamaan ne kaikki.

Luokaa nimipalvelujärjestelmän (DNS) tietue jokaiselle kolmesta nimestä niin, että ne osoittavat ingress-ohjaimenne osoitteeseen. Tehkää se ennen esitarkistusta (preflight). nexusctl preflight hakee jokaisen nimen työasemaltanne ja keskeyttää asennuksen virheeseen, jos jollakin niistä ei ole tietuetta, sillä käyttäjä ei voi tavoittaa nimeä, joka ei ratkea.

Vasemmalla kolme DNS-nimeä: console.harrow.example, api.harrow.example ja auth.harrow.example, joista jokaisesta lähtee nuoli yhteen laatikkoon, jonka otsikko on "ingress controller, ports 80 and 443". Kyseisestä laatikosta lähtee kolme nuolta suurempaan laatikkoon, jonka otsikko on "namespace nexus": console-nuoli kohteeseen "nexus-alpha :3000", api-nuoli kohteeseen "nexus-gateway :9092" ja auth-nuoli kohteeseen "nexus-auth :9101". Nimiavaruutta ympäröivän katkoviivareunuksen otsikko on "default deny; only the ingress namespace may reach these three".
Kuinka kolme julkista nimeä tavoittavat niiden takana olevat palvelut.

TLS-päätepisteen valinta

Kaavion tls.mode päättää, kuka pitää hallussaan kolmen julkisen osoitteen varmenteita. Vaihtoehtoja on kolme, ja voitte vaihtaa niiden välillä myöhemmin päivityksen yhteydessä.

tls.mode Mitä te toimitatte Mitä kaavio tekee
existing (oletus) Kubernetesin TLS Secret -salaisuuden nexus-nimiavaruudessa, nimettynä kohdassa tls.existingSecret Kaikki kolme Ingress-resurssia käyttävät kyseistä yhtä Secret-salaisuutta
cert-manager Ajamanne ClusterIssuer-resurssin, nimettynä kohdassa tls.clusterIssuer Lisää annotaatiot jokaiseen Ingress-resurssiin, jotta cert-manager myöntää varmenteet nexus-console-tls, nexus-api-tls ja nexus-auth-tls
none Jotakin klusterin edessä, joka päättää TLS-yhteyden, kuten oman kuormantasaimenne Muodostaa Ingress-resurssit ilman TLS-osiota

Käytettäessä asetusta existing yksi varmenne palvelee kaikkia kolmea isäntää, joten sen on nimettävä kaikki kolme, joko kolmena vaihtoehtoisena nimenä (SAN) tai toimialueenne jokerimerkkinä (wildcard). Me käytimme varmennetta Harrow'n sisäiseltä varmentajalta (CA). Esitarkistus lukee Secret-salaisuuden ennen asennusta ja varoittaa, jos sen varmenne vanhenee 30 päivän kuluessa.

Käytettäessä asetusta cert-manager ja Automatic Certificate Management Environment (ACME) -myöntäjää kaavio ei lisää omaa uudelleenohjaustaan, joten porttiin 80 tuleva /.well-known/acme-challenge/-pyyntö tavoittaa ratkaisijan (solver) koskemattomana. Älkää lisätkö ingress-ohjaimeenne HTTP:stä HTTPS:ään -uudelleenohjausta, joka suoritetaan ennen haestepolkua (challenge path); varmenne, jota ei voida uusia, epäonnistuu hiljaisesti viikkoja myöhemmin.

Mitä tahansa valitsettekin julkiselle reunalle, nimiavaruuden sisäiset palvelut keskustelevat aina kaavion paikallisen varmentajan (CA) TLS-yhteyden yli. Se osa ei ole valinnainen, ja siksi cert-manager on esivaatimus silloinkin, kun tls.mode on existing tai none.

Mikä poistuu klusterista ja mikä ei

Kaavio muodostaa oletuksena kaiken kieltävän (default-deny) verkkokäytännön nexus-nimiavaruudelle. Sen jälkeen vain seuraavat liikennevirrat ovat sallittuja:

  • liikenne Nexus-podien välillä nimiavaruuden sisällä;
  • DNS-haut klusterin DNS-palveluun;
  • Kubernetesin API-palvelin niille harvoille palveluille, jotka tarkistavat työkuormien valtuustietoja (workload tokens);
  • ingress-ohjaimen nimiavaruus kolmeen julkiseen Service-palveluun;
  • mitkä tahansa Classless Inter-Domain Routing (CIDR) -osoitealueet, jotka luettelette kohdassa networkPolicy.externalEgressCIDRs.

Viimeksi mainittu lista on oletusarvoisesti tyhjä. Jos käytätte klusterin ulkopuolista sähköpostivälittäjää (mail relay) tai mallipalvelinta, sen osoitealue laitetaan sinne. Telemetria on pois päältä ja pysyy pois päältä: skeema hyväksyy vain arvon telemetry.enabled: false, ja myös tietovarastojen oma käyttöraportointi on kytketty pois päältä.

Kaavio lukee API-palvelimen osoitteet klusterista asennuksen yhteydessä. Jos tilinne ei voi lukea kubernetes Endpoints -resursseja default-nimiavaruudessa, antakaa ne itse kohdassa networkPolicy.apiServerCIDRs /32-alueina. proxy.trustedCIDRs nimeää pod-verkon, jossa ingress-ohjaimenne sijaitsee, jotta nexus-auth tietää, kenen X-Forwarded-For-otsikkoon (header) voi luottaa. Oletusarvo, 10.42.0.0/16, on k3s:n pod-verkko.

Mitoitus

Kaavion oletuspyynnöt (requests) ovat yhteensä noin 2.05 prosessoriydintä (CPU) ja 6.7 GiB muistia. Tämän verran ajastin (scheduler) varaa; rajat (limits) ovat korkeammat, ja tietovarastot kasvavat niihin, kun lisäätte käyttäjiä ja tiedostoja.

Osa Pyydetty CPU Pyydetty muisti
Yhdeksän alustapalvelua (console, backend for frontend (BFF), auth, orchestrator, workflows, gateway, graphrag, probitas, skills engine) 1.1 ydintä 2.6 GiB
Avainpalvelu, nexus-keys 0.05 ydintä 64 MiB
PostgreSQL 0.25 ydintä 1 GiB
Neo4j 0.25 ydintä 2 GiB
Valkey, Qdrant ja objektivarasto yhteensä 0.25 ydintä 640 MiB
Avainvaraston kaksi OpenBao-palvelinta 0.15 ydintä 384 MiB

Oletustaltiot ovat yhteensä 142 GiB:

Tietovarasto Values-avain Oletuskoko
PostgreSQL 16 sekä PostGIS 3 ja pgvector 0.8 dataTier.postgres.size 50Gi
Objektivarasto (SeaweedFS) dataTier.objectStore.size 50Gi
Neo4j 5.26 Community Edition dataTier.neo4j.size 20Gi
Qdrant dataTier.qdrant.size 10Gi
Valkey dataTier.valkey.size 5Gi
Avainvarasto ja sen sinetinavaaja (unsealer) keys.openbao.storage.keystore, keys.openbao.storage.unsealer 5Gi ja 1Gi
Avainpalvelun kuitit keys.receiptsStorage 1Gi

Yhdellä solmulla varautukaa 8 vCPU:hun, 32 GiB:hen käyttömuistia (RAM) ja 250 GB:n SSD-levyyn (solid-state drive). Arviointikäyttöön riittää 4 vCPU, 16 GiB ja 200 GB. Asennusohjelman levykuva kieltäytyy koneesta, jossa on alle 16 GiB muistia (katso luku 2.9, Asennusohjelman levykuva), ja pitäisin sitä vähimmäisvaatimuksena kaikkialla.

Grafiikkasolmut ovat valinnaisia. Ilman solmua, joka tarjoaa grafiikkasuorittimen (GPU), avustaja vastaa ylläpidetyn mallin kautta käyttäen organisaation omaa avainta. Esitarkistus raportoi tämän varoituksena, ei koskaan virheenä. Luku 2.14, Tekoälypalveluntarjoajat ja -mallit, käsittelee molemmat tavat.

Jokaista tietovarastoa voidaan ajaa myös klusterin ulkopuolella: asettakaa dataTier.<store>.mode arvoon external ja nimetkää sen isäntä ja Secret-salaisuus. Ulkoinen PostgreSQL tarvitsee pääkäyttäjätilin (superuser) asennuksen alustusta varten sekä varmenteen, jonka Nexus voi vahvistaa. Luku 2.11, Muunnelmat: ulkoiset tietovarastot, TLS ja ingress, käsittelee sitä. Jos pidätte ne klusterissa, laittakaa ne tallennusluokkaan, jonka takana on oikeita levyjä. Tietokanta on se osa, jota kaipaatte eniten, jos solmun paikallinen levy hajoaa.

Asennuksen nimi on pysyvä

keys.installationName on nimi, jolla ylläpitäjät kutsuvat tätä asennusta. Sen on vastattava lauseketta ^[a-z][a-z0-9-]{0,62}$: pieni kirjain, jonka jälkeen enintään 62 pientä kirjainta, numeroa tai yhdysmerkkiä.

Kun avainvarasto käynnistyy ensimmäisen kerran, se luo asennuksen identiteetin tällä nimellä, ja kyseinen identiteetti on pysyvä. Adverantin lisenssi myönnetään kyseiselle identiteetille, joten yhdelle asennukselle tehty lisenssi hylätään toisessa asennuksessa virheellä LICENCE_OTHER_INSTALLATION. Uudelleennimeäminen tarkoittaisi uutta asennusta, uutta identiteettiä ja uusia lisenssejä.

Kaaviossa ei ole oletusarvoa nimelle. Se kieltäytyy asennuksesta ilman nimeä (INSTALLATION_NAME_MISSING) ja kieltäytyy omien esimerkkiarvotiedostojensa esimerkkinimestä (INSTALLATION_NAME_EXAMPLE). Esitarkistus raportoi molemmista ennen kuin pääsette niin pitkälle.

Harrow'lla käytimme tähän enemmän aikaa kuin haluaisin myöntää. Päädyimme nimeen harrow-port-authority: se nimeää organisaation, ei sano mitään siitä, missä klusterissa sitä ajetaan, ja pitää paikkansa vielä silloinkin, kun laitteisto vaihdetaan. Välttäkää prod-k3s-2-tyyppisiä nimiä, jotka kuvaavat tämän päivän koneita.

Avainten hallussapito

Nexus säilyttää jokaisen organisaation avaimet omassa avainvarastossaan klusterin sisällä. Teidän ei tarvitse hallinnoida sitä päivittäin, mutta teidän on päätettävä ennen asennusta, kuka voi palauttaa sen toimintaan uudelleenkäynnistyksen jälkeen. Tämä on päätös, joka tulee kalleimmaksi, jos teette sen väärin.

Avainvarasto koostuu kahdesta OpenBao-palvelimesta. Pääpalvelin, openbao, pitää hallussaan avaimia ja avaa oman sinettinsä (unseals) toisen, pienemmän palvelimen, openbao-unsealer, kautta. Sinetinavaaja (unsealer) on sinetöity Shamirin menetelmällä: viisi osuutta, joista mitkä tahansa kolme avaavat sen. Kun asennatte, säilytystyö (custody Job) alustaa molemmat palvelimet klusterin sisällä. Kyseisen työn muistissa se salaa sinetinavaajan osuudet ja avainvaraston palautusavaimet jokaiselle nimeämällenne säilyttäjälle (custodian), tallentaa vain salatekstin (Secret-salaisuuksiin openbao-unseal-shares-encrypted ja openbao-recovery-keys-encrypted) ja peruuttaa molemmat pääkäyttäjän valtuustiedot (root tokens) ennen kuin se päättyy. Yksikään salaamaton osuus ei koskaan päädy levylle tai lokiin.

Aina kun sinetinavaajan solmu käynnistyy uudelleen, sinetinavaaja käynnistyy sinetöitynä. Avainvarasto odottaa sitä, eikä mikään avainta tarvitseva toimi, ennen kuin säilyttäjä avaa sen sinetin. Se vaatii yhden salauksen purkamisen säilyttäjän omalla yksityisellä avaimella. Toimenpide on kuvattu luvussa 2.15, Toinen päivä: Nexuksen ylläpito.

Säilyttäjäavaimen luominen

Säilyttäjä nimetään age-avaimen julkisella puoliskolla, jota kutsutaan sen vastaanottajaksi (recipient). Jokainen säilyttäjä luo oman avaimensa omalla koneellaan ja antaa teille vain vastaanottajan:

age-keygen -o custodian.key

Tiedoston # public key:-rivi on vastaanottaja, joka alkaa merkeillä age1. Säilyttäjä, jolla on Mac, voi sen sijaan säilyttää avaimen Macin Secure Enclavessa, jolloin yksityinen puolisko ei koskaan poistu sirulta ja jokainen käyttökerta pyytää sormenjälkeä:

age-plugin-se keygen --access-control=any-biometry -o custodian.key

Kyseinen vastaanottaja alkaa merkeillä age1se1. Säilytystyö salaa viiteen vastaanottajamuotoon: age1 (X25519), age1tag1 ja age1tagpq1 (tunniste), age1pq1 (hybridi kvanttiturvallinen) sekä age1se1 (Secure Enclave). Se kieltäytyy kaikista muista liitännäismuodoista, kuten age1yubikey1; nimetkää kyseinen avain sen sijaan jossakin hyväksytyistä muodoista.

Kaavio tarkistaa jokaisen vastaanottajan, kun se muodostetaan. Väärin kirjoitettu vastaanottaja ei läpäise bech32-tarkistussummaa ja se hylätään, joten mitään ei koskaan sinetöidä avaimeen, jota kukaan ei pidä hallussaan. Jos joku liittää listaan vahingossa yksityisen avaimen, kaavio hylkää sen tulostamatta sitä takaisin. Myös kaavion omissa arvotiedostoissa oleva esimerkkivastaanottaja hylätään (KEYS_CUSTODIAN_EXAMPLE); kukaan ei pidä hallussaan sen yksityistä puoliskoa.

Kuinka monta säilyttäjää

Jokainen osuus salataan jokaiselle säilyttäjälle, joten kuka tahansa yksittäinen säilyttäjä voi avata sinetin yksin. Useampi säilyttäjä tarkoittaa useampia tapoja palautua ja useampia henkilöitä, joista jokainen voi toimia yksin. Me valitsimme Harrow'lla kolme: Aoifen, minut ja Secure Enclave -avaimen varakannettavassa, jota säilytetään sataman kassakaapissa. Kaksi on vähimmäismäärä, jonka hyväksyisin. Yksi on yksittäinen vikaantumispiste, joka on ennemmin tai myöhemmin lomalla, kun solmu käynnistyy uudelleen.

Version valinta

edition on community tai enterprise, ja arvon enterprise.enabled on täsmättävä sen kanssa. Kaavio kieltäytyy ristiriidasta, ja se kieltäytyy kaikista versioista (edition), jotka eivät ole jompikumpi näistä kahdesta.

Versio päättää myös, mitkä levykuvat asennatte. Jokainen kaaviopaketti sisältää levykuvalukon (images lock), eli tiivisteen (digest) mukaisen luettelon jokaisesta levykuvasta yhdelle versiolle. Community-asennus ottaa vain Community-levykuvat. Enterprise-asennus ottaa Enterprise-lukon, joka sisältää Community-levykuvat sekä Enterprise-käännökset, ja noutaa ne Adverant-tililtänne saatavalla noutovaltuustiedolla (pull token). Luku 2.4, Julkaisun noutaminen ja vahvistaminen, selittää lukon, ja luku 2.2, Versiot konepellin alla, selittää, mitä kukin versio sisältää.

Teidän ei tarvitse päättää lopullisesti. Community-asennus siirtyy Enterprise-versioon paikan päällä säilyttäen käyttäjänsä, tiedostonsa ja historiansa; luku 2.7, Enterprise-version asentaminen ja lisenssin käyttöönotto, näyttää kuinka. Ajoimme Community-versiota pilottia varten Harrow'lla ja siirryimme kuusi viikkoa myöhemmin.

Lisenssi ei ole koskaan osa tätä suunnitelmaa. Se ei ole kaavion arvo tai liitetty tiedosto: tuotte sen asennuksen jälkeen konsolin, nexusctl-työkalun tai API:n kautta.

Toimitusmuodon valinta

Muoto Milloin se sopii Luku
Helm-kaavio lähteestä registry.adverant.ai Oma Kubernetes-klusterinne, josta on reitti rekisteriin 2.6 ja 2.7
nexusctl install Sama klusteri, jossa esitarkistus ja allekirjoituksen tarkistus suoritetaan puolestanne 2.6
nexusctl install --single-node Yksi kone, johon nexusctl pystyttää myös klusterin 2.8
Asennuslevykuva Paljas palvelin tai virtuaalikone (VM), jota ette halua valmistella käsin 2.9
Offline-paketti Ei lainkaan reittiä ulos; levykuvat ja kaavio tulevat levyllä 2.10

Kaavio on sama jokaisessa muodossa. Se mikä muuttuu on se, kuka tekee klusterin ja mistä levykuvat tulevat.

Hanki julkaisu
Hanki julkaisu
Tämä on Adverant-tilin julkaisusivu. Huomatkaa selkeä ilmoitus siitä, mitä alpha-julkaisu lupaa, koko ja allekirjoitus jokaisen tiedoston vieressä sekä offline-komennot latauksen tarkistamiseen.

Suunnittelulomake

Tämä on Harrow'n lista sellaisena kuin Aoife sen hyväksyi. Kopioikaa kaksi vasemmanpuoleista saraketta ja täyttäkää oikeanpuoleinen omaa asennustanne varten.

Päätös Values-avain tai komento Harrow Port Authority
Kubernetes ja versio (esitarkistus lukee sen) k3s v1.33.6+k3s1, kolme solmua
Kube-konteksti asennusta varten --context harrow-prod
Nimiavaruus (Namespace) --namespace nexus
Versio edition, enterprise.enabled community pilottia varten, sitten enterprise
Levykuvarekisteri global.imageRegistry registry.adverant.ai
Toimialue (Domain) global.domain harrow.example
Konsolin osoite hosts.console console.harrow.example
API-osoite hosts.api api.harrow.example
Sisäänkirjautumisosoite hosts.auth auth.harrow.example
TLS reunalla tls.mode, tls.existingSecret existing, Secret harrow-public-tls Harrow'n sisäiseltä varmentajalta (CA)
Sisääntuloluokka (Ingress class) ingress.className traefik
Ingress-nimiavaruus networkPolicy.ingressNamespace kube-system
Tallennusluokka (Storage class) storage.className local-path
Tietovarastot dataTier.<store>.mode Kaikki in-cluster, oletuskoot
Ulosmenevät osoitealueet networkPolicy.externalEgressCIDRs Vain sähköpostivälittäjän osoitealue
Asennuksen nimi (pysyvä) keys.installationName harrow-port-authority
Säilyttäjät (käytännössä pysyvä) keys.custody.recipients Kolme: Aoife Brennan, Tomás Reilly, kassakaapin kannettava (age1se1)
Grafiikkasolmut (esitarkistus lukee sen) Ei yhtään verkkoon yhdistetyssä pilotissa; ylläpidetty malli Harrow'n omalla avaimella
Ensimmäinen pääkäyttäjä nexusctl claim-code --administrator aoife.brennan@harrow.example

Kahta kyseisen lomakkeen riviä ei voida perua: asennuksen nimeä sekä säilyttäjiä siinä mielessä, että heidän kaikkien menettäminen tarkoittaa avainvaraston menettämistä. Hankkikaa näille kahdelle hyväksyntä henkilöltä, jolla on valtuudet sanoa kyllä. Kaikki muu on arvojen muuttamista.

Kun tarkistuslista on valmis, siirtykää lukuun 2.4, Julkaisun noutaminen ja vahvistaminen, ja noutakaa julkaisu.