Logi sisseBroneerige tutvustus

Peatükk 2.16

Turvalisus ja võrguühendused

Mida paigaldus sisse ja välja laseb, kuidas selle teenused üksteisele oma identiteeti tõestavad ning kontrollimehhanismid, mida operaator sisselogimise ja andmebaasi jaoks määrab või pärib.

Selle lehe tõlkis AI ingliskeelsest originaalist. Kui miski jääb ebaselgeks, võtke aluseks ingliskeelne leht. Lugege seda lehte inglise keeles

17 minutit lugemist

Harrow Port Authority turvaülevaatus esitas Tomás Reillyle esmalt ühe küsimuse: mis lahkub klastrist? Tema vastus mahtus ühele lehele. Mitte miski nimeruumis nexus ei ulatu millenigi väljaspool seda, välja arvatud domeeninimede süsteemi (DNS) päringud, mõne töökoormuse jaoks mõeldud Kubernetese rakendusliides (API) ning aadressivahemikud, mille Harrow on oma väärtuste failis loetlenud. Puudub telemeetria ja puudub kojuhelistamine. Ülevaatus liikus seejärel edasi sisselogimise ja andmebaasi juurde, mis on laias laastus ka käesoleva peatüki järjekord.

Võrgupoliitikad

Võrgupoliitikad on vaikimisi sisse lülitatud (networkPolicy.enabled: true) ning Helm-pakett alustab kõike keelavast poliitikast ja lisab tagasi ainult selle, mida Nexus vajab:

Poliitika Mida see võimaldab
nexus-default-deny Mitte midagi. See valib iga pod'i nimeruumis, mõlemas suunas.
nexus-in-namespace Nexuse pod'id suhtlevad omavahel ja teevad DNS-päringuid aadressile kube-dns nimeruumis kube-system pordil 53.
nexus-token-review Lubade kontrollijad (nexus-probitas ja nexus-orchestrator) ning võtmehoidla töö (key-custody Job), mis pöörduvad Kubernetese API-serveri poole pordil 6443 või 443. Ühelgi teisel pod'il pole API-luba ühendatud.
nexus-ingress-controller Sisendkontrolleri (ingress controller) nimeruum, mis ulatub kolme avaliku teenuseni ja mitte kuhugi mujale.
nexus-operator-egress Pod'id, mis ulatuvad loendis networkPolicy.externalEgressCIDRs toodud aadressivahemikeni. See luuakse ainult siis, kui nimekiri pole tühi.

Kaks OpenBao serverit asuvad omaenda poliitika taga. Need on märgistatud võtmehoidla osana, mitte Nexuse osana, seega nimeruumisisene reegel nendeni ei ulatu. Ainult nexus-keys ja selle tööd (nende hulgas võtmehoidla töö) saavad nendega suhelda ning ainult võtmehoidla saab suhelda lahtipitseeriijaga (unsealer).

Poliitikaid kujundavad kolm väärtust:

# harrow-values.yaml (Helm values): network policy
networkPolicy:
  enabled: true
  ingressNamespace: ingress-nginx
  apiServerCIDRs:
    - 10.40.0.10/32
  externalEgressCIDRs:
    - 10.40.30.25/32
    - 10.40.20.0/24

ingressNamespace on kolme avaliku hosti ees oleva sisendkontrolleri nimeruum. Vaikeväärtus kube-system sobib k3s-ile, mis paigaldab sinna Traefiku. Harrow käitab oma kontrollerit nimeruumis ingress-nginx.

apiServerCIDRs on Kubernetese API-serveri aadressid /32 klassideta domeenidevahelise marsruutimise (CIDR) vahemikena. Kui see jäetakse tühjaks, loeb pakett need paigaldamise ajal kubernetes lõpp-punktidest (Endpoints). helm template-l pole klastrit, kust lugeda, seega tuleb need talle ette anda, vastasel juhul peatub see veateatega "networkPolicy.apiServerCIDRs is empty and the kubernetes Endpoints could not be read".

externalEgressCIDRs loetleb kõik väljaspool nimeruumi asuva, mille poole Nexus peab pöörduma. Tühi tähendab mitte midagi. Harrow loetleb seal oma meilirelee ja mudeliserverite alamvõrgu. Kui ühendate majutatud mudolipakkuja, klastri välise ettevõtte sisselogimisteenuse või andmeallika, kuuluvad ka nende vahemikud siia. Ühe unustamine on tavaline põhjus, miks sülearvutis töötav võti paigaldusel tõrgub: päring ei lahku kunagi klastrist.

Suur ümarate nurkadega kast sildiga "namespace nexus (default deny)". Selle sees on rühm väikeseid kaste "console", "nexus-auth", "gateway", "other Nexus services", mis on ühendatud kahesuunaliste nooltega sildiga "in-namespace". Ühes sisemises nurgas on eraldi piirjoonega kast "key store: openbao, openbao-unsealer", kuhu suunduvad nooled ainult kastidest "nexus-keys" ja "custody Job". Väljaspool suurt kasti: vasakul "ingress controller namespace", kust suunduvad nooled ainult kolme avalikku teenusesse; üleval "kube-dns (port 53)"; üleval paremal "Kubernetes API server (apiServerCIDRs)", kuhu ulatuvad nooled ainult lubade kontrollijatest; paremal "externalEgressCIDRs: mail relay, model servers", kuhu ulatuvad nooled Nexuse pod'idest. Kõik muud väljuvad nooled on läbi kriipsutatud ja sildiga "refused".
Mida võrgupoliitikad lubavad nexus-nimeruumi sisse ja sealt välja.

Toote sees loetleb leht „Kuhu päringud võivad liikuda” (Where calls can leave) iga välise koha, kuhu Nexus võib pöörduda, miks see seal on ja kes selle lisas. Kõik muu lükatakse tagasi koodiga, mis nimetab vastava reegli. Lehel kuvatakse keeldumine kujul EGRESS_DENIED. Andmete asukohapiirang (Residency) töötab samamoodi ühe taseme võrra kõrgemal: Enterprise-paketis määrab leht „Kus andmed asuvad” (Where data lives) iga andmeliigi piirkonna ning organisatsioon saab lukustada oma tehisintellekti (AI) liikluse EL-i pakkujatele, nii et ruuter keeldub kõigest muust (vt peatükk 2.14, AI-pakkujad ja mudelid). Rakendus, mis proovib pöörduda aadressile, mida tema manifestis pole deklareeritud, peatatakse piiril koodiga EGRESS_NOT_DECLARED.

Kuhu päringud võivad liikuda
Kuhu päringud võivad liikuda
Kuhu päringud võivad liikuda. Iga lubatud sihtkoha juures on kirjas, kes selle lisas ja miks; kõik muu lükatakse tagasi ning tänased keeldumised on loetletud koos reegliga, mis need peatas.

Teenuse identiteet kohalikult sertifitseerimiskeskuselt

Nexus töötab ilma teenusevõrguta (service mesh). Paketil on väärtus istio.enabled, selle vaikeväärtus on false ja pole mingit põhjust seda sisse lülitada. Teenused tõestavad üksteisele oma identiteeti hoopis vastastikuse TLS-iga (mTLS): transpordikihi turbeprotokolliga (TLS), kus mõlemad osapooled esitavad sertifikaadi. Sertifikaadid pärinevad kohalikust sertifitseerimiskeskusest (CA), mille pakett loob läbi cert-manager v1.21.3, ning midagi muud pole vaja paigaldada.

Ahel on lühike. Iseallkirjastatud väljaandja nexus-selfsigned allkirjastab CA-sertifikaadi nexus-local-ca, mis on kümme aastat kehtiv ECDSA (Elliptic Curve Digital Signature Algorithm) P-256 võti. cert-manager uuendab seda 30 päeva enne kehtivuse lõppu. Teine samanimeline väljaandja allkirjastab selle alusel kõik muu.

Iga teenus, mis pöördub vastastikust TLS-i nõudva teenuse poole, saab oma kliendisertifikaadi oma teenusekonto järgi nimetatud Secretis (<service-account>-client-tls). Sertifikaat kannab oma URI-nimena teenuse SPIFFE-identiteeti:

spiffe://cluster.local/ns/<namespace>/sa/<service-account>

Teenus, mille poole pöördutakse, kontrollib seda sertifikaati kohaliku CA vastu ja loeb sealt välja, kes on pöörduja. Iga töökoormus usaldab CA-d läbi ca.crt omaenda sertifikaadi Secretis. Ükski pod ei ühenda CA privaatvõtit ja ükski ConfigMap ei kanna CA-d. nexus-probitas teenindab TLS-i ise asukohast nexus-probitas-tls, mis on 90-päevane sertifikaat ja mida uuendatakse 15 päeva enne kehtivuse lõppu.

Avalik piir on eraldiseisev ja selle määrab tls.mode:

  • existing: teie loodud TLS Secret, mis on nimetatud väljal tls.existingSecret.
  • cert-manager: sertifikaadid teie käitatavast ClusterIssuerist, mis on nimetatud väljal tls.clusterIssuer.
  • none: TLS lõpeb enne sisendit (ingress) teie enda koormusejaoturis. Brauser peab siiski jõudma konsoolini üle HTTPS-i (vt peatükk 2.17, Tõrkeotsing).

Sisselogimisseanss ise sõltub HTTPS-ist. Konsool aktsepteerib sisselogimist ainult omaenda päritolukohast (https://<hosts.console>), hoiab seanssi turvaliseks (Secure) märgitud __Host- küpsises ning esimese administraatori pääsuvõti (passkey) vajab kehtiva sertifikaadiga lehte. Tavalist HTTP-d kasutav või sertifikaadihoiatuse taga olev brauser ei saa üldse sisse logida.

Klastrisisene andmekiht suhtleb teenustega vaikimisi ilma TLS-ita (dataTier.postgres.sslmode: disable), kuna see liiklus jääb ülalmainitud poliitikate kohaselt nimeruumi sisse. Väline Postgres kasutab väärtust verify-full või verify-ca koos serveri CA-ga hoidla Secretis, nagu kirjeldab peatükk 2.11, Variatsioonid: välised hoidlad, TLS ja sisend.

Telemeetria on välja lülitatud

Paigaldusest ei lahku mingit telemeetriat. telemetry.enabled saab olla ainult false: paketi skeem keeldub mis tahes muust väärtusest. Ka andmekihi enda aruandlus on välja lülitatud, seega ei saada Neo4j kasutusaruandeid ja Qdrant ei saada telemeetriat.

Registreerumise kontroll

Teenusel nexus-auth on kaks kontrollmehhanismi registreeruvate inimeste sõelumiseks ja mõlemad on igal paigaldusel välja lülitatud.

CAPTCHA-kontroll kontrollib iga registreerumist internetis majutatud teenuse abil. Paigaldus ei sõltu registreerumisel kunagi internetist, seega lülitab pakett selle välja. Võrgusõel vajab kahte GeoLite2 andmebaasi, et hinnata, kust registreerumine pärineb. Need on litsentsitud allalaadimised, mida pole ei nexus-auth tõmmises ega paketi poolt ühendatud, ning puudub väärtus sõela sisselülitamiseks. See, millest te loobute, on andmekeskuste ja majutusvõrkude kaudu tehtavate registreerumiste sõelumine.

Selle asemel saate kinnitamise. Võõra inimese registreerumine pannakse ootele, kuni administraator selle kinnitab, ja seni saab inimene vastuseks 403 SIGNUP_REQUIRES_APPROVAL. Kumbki lüliti seda ei muuda.

Päringupiirangud ja lubade kehtivusajad

# harrow-values.yaml (Helm values): sign-in service
auth:
  rateLimitPerMinute: 5000
  accessTokenTTL: 15m
  refreshTokenTTL: 12h
proxy:
  trustedCIDRs: "10.244.0.0/16"

auth.rateLimitPerMinute on suurim päringute arv, mida üks sisseloginud inimene võib teenusele nexus-auth minutis teha, enne kui see vastab 429. Iga inimene saab sama piirangu ja platvormi enda teenusekontot (service principal) selle alla ei arvestata. Vaikeväärtus 5000 on umbes 83 päringut sekundis ühelt kontolt, mis on inimeste ja skriptide jaoks piisav. Vähendage seda piirangu karmistamiseks või suurendage mahuka automatiseerimise jaoks. See on täisarv väärtusega 1 või rohkem. Jõuründe (brute-force) kaitse sisselogimisel (konto lukustamine ja teise astme katsete piirangud) on eraldiseisev ja seda siin ei määrata.

Piirangu ületanud pöörduja saab vastuseks RATE_LIMITED koos päisega Retry-After ning sõnumi keha sisaldab piirangut ja ooteaega. Enterprise-paketis määravad administraatorid täpsemad piirangud lehel Seaded, Mahupiirangud (Settings, Rate limits): päringuid minutis ja korraga töötavaid töid iga skriptivõtme või rakenduse ning iga üksuse kohta. Piirangu ületanud pöördujal palutakse oodata ja teda ei lõigata kunagi ära. Eemaldatud piirang taandub üksuse piirangule ja seejärel vaikeväärtusele.

Mahupiirangud
Mahupiirangud
Mahupiirangud võtme ja üksuse kohta. Üks skript proovib uuesti liiga kiiresti ja seda aeglustatakse; leht näitab vastust 429, mida skript näeb, ning võimaldab administraatoril selle piirangut koos põhjendusega tõsta.

auth.accessTokenTTL ja auth.refreshTokenTTL määravad, kui kaua juurdepääsuluba (access token) ja värskendusluba (refresh token) kehtivad. Hoidke juurdepääsuloa kehtivusaeg üks tund või vähem. Nexuse laienduste tarkvaraarenduskomplektiga (Plugin SDK) loodud pluginad keelduvad seansiloast, mis kehtib kauem kui tund, koodiga JWT_LIFETIME_EXCEEDED.

proxy.trustedCIDRs nimetab puhverserveri hüpped (proxy hops), mille X-Forwarded-For päist nexus-auth usaldab. Vaikeväärtus 10.42.0.0/16 on k3s pod'ide võrk, kus töötab selle Traefik. Mõnel muul distributsioonil määrake selleks oma sisendkontrolleri pod'ide võrk. Kui see on vale, näeb nexus-auth iga päringut sisendkontrollerist tulevana, nii et allolevad aadressireeglid näeksid ainult seda aadressi. Erinev X-Forwarded-For ebausaldusväärselt hüppelt ei ava kunagi uut mahupiirangu akent.

Ettevõtte sisselogimine

Inimesed logivad sisse pääsuvõtmega (passkey) või läbi Google'i või GitHubi ning ettevõtte sisselogimine on neljas viis. Administraator ei logi kunagi sisse ainult parooliga: teine kontroll on pääsuvõti.

Community-pakett sisaldab ühte ettevõtte sisselogimist läbi OpenID Connecti (OIDC) koos oma seadistusekraani ja testitulemusega. Enterprise-pakett lisab SAML-i (Security Assertion Markup Language), jõustamise kõigile ja kataloogide sünkroonimise läbi SCIM-i (System for Cross-domain Identity Management).

Ettevõtte sisselogimist saab nõuda alles siis, kui administraator on teinud järjekorras neli asja: ühendanud sisselogimisteenuse, tõestanud domeeni, loginud selle kaudu sisse omaenda kontoga ja nimetanud ühe hädaabikonto. Seni jääb nupp „Nõua seda” (Require it) suletuks ja leht ütleb koodiga COMPANY_SIGNIN_STEPS_MISSING, millised sammud on puudu. Sisselogimisteenuse muutmine tühistab testi, nii et uut teenust tuleb uuesti testida.

Ettevõtte sisselogimine
Ettevõtte sisselogimine
Ettevõtte sisselogimist saab nõuda alles pärast seda, kui administraator on seda oma kontoga testinud ja nimetanud hädaabikonto. Iga samm peab olema tehtud, enne kui viimane avaneb.

Kui ettevõtte sisselogimisteenus lakkab vastamast, kuvab sisselogimisleht teate IDP_UNREACHABLE (503). Juba sisse loginud inimesed jäävad sisselogituks. Administraatorid saavad kasutada administraatori hädaabi-sisselogimist, mis vajab seifis hoitavat pitseeritud koodi ja administraatori pääsuvõtit. Iga kasutuskord kirjutatakse auditilogisse koos sellega, kes ja kust seda kasutas, sellest teavitatakse kohe kõiki administraatoreid ning see lõpeb 4 tunni pärast või siis, kui ettevõtte sisselogimine taastub.

Kõik organisatsiooni liikmed logivad sisse samasse konsooli ja teevad seal oma igapäevatööd; omanikud ja administraatorid näevad lisaks halduslehti. Liige, kes avab mõne sellise lehe, näeb lehte „Pole administraator” (Not an administrator), kus read on hallid ja juures on nende inimeste nimed, kes saavad neid muuta (NOT_AN_ADMINISTRATOR).

Kahtlased sisselogimised ja aadressireeglid

Enterprise-paketis loetleb leht „Kahtlased sisselogimised” (Suspicious sign-ins) parooliga sisselogimisi, mis tundusid uued või ebatavalised: uus asukoht või seade või varem samal päeval sisestatud valed paroolid. Iga juhtumi juures on kirjas, mida Nexus tegi – kas küsis teist kontrolli või blokeeris sisselogimise. Keegi vastab igale reale kas „Polnud tema” (Not them), mis lõpetab selle inimese sisselogimised, või „See oli tema” (It was them).

Leht „Lubatud ja blokeeritud aadressid” (Addresses allowed and blocked) sisaldab kahte nimekirja. Lubatud vahemikud on ainsad kohad, kust omanikud ja administraatorid võivad sisse logida; kui neid pole, saavad nad sisse logida kõikjalt. Liikmeid see ei mõjuta. Blokeeritud aadressid on kohad, kust mitte keegi sisse ei logi. Iga kirje salvestab, kes selle lisas ja millal piirang lõpeb. Iga muudatust testitakse esmalt teie enda praeguse aadressi vastu ning muudatus, mis teid ennast välja lukustaks, lükatakse tagasi ja midagi ei salvestata. Vahemiku karmistamine lõpetab kohe nende administraatorite sisselogimised, keda see enam sisse ei luba.

Lubatud ja blokeeritud aadressid
Lubatud ja blokeeritud aadressid
Aadressireeglid. Ülemine paneel näitab, mida reeglid arvavad administraatori enda aadressist, nii et muudatus, mis ta välja lukustaks, lükatakse tagasi enne salvestamist.

Võtmed ja sertifikaadid

Iga organisatsiooni andmed on lukustatud tema enda võtmega, mida hoiab teie valitud hoidja: riistvaraline turvamoodul (HSM) või tarkvara. Leht „Võtmed” (Keys) näitab organisatsiooni võtme versioone ja seda, millal on järgmise võtmevahetuse tähtaeg. Versioon jääb loetavaks ka pärast seda, kui see pole enam aktiivne, kuni selle alla pole enam midagi pakitud. Võtmeid endid ei näidata kunagi, näidatakse ainult nende sõrmejälgi.

Võtme hävitamine on viis, kuidas Nexus andmeid kustutab. Lehel „Võtmed ja kustutamine” (Keys and erasure) hävitab nupp „Kustuta” (Erase) ühe inimese või terve organisatsiooni võtme, mis muudab kõik sellega lukustatu kõikjal loetamatuks, sealhulgas varukoopiates. Seda ei saa tagasi võtta, seega küsib see kirjalikku põhjendust ja teist inimest. See jätab kviitungi, mis salvestab, mis ja kelle poolt kustutati, kuid mitte kunagi sisu ennast.

Leht „Peagi aeguvad võtmed” (Keys about to run out) loetleb peagi lõppevad teenusepakkujate load ja sertifikaadid, keda ja millal hoiatatakse ning mis peatub, kui mõni neist aegub. Käimasolev töö ei peatu ja AI-ruuter lülitub ümber teisele võtmele.

Nelja silma kinnitused

Enterprise-paketis saavad poliitikad tundlikke muudatusi teise inimese ootel hoida. Leht „Nelja silma kinnitused” (Four-eyes approvals) loetleb iga ootel taotluse koos sellega, kes küsis, miks, mitut kinnitust see vajab ja millal see aegub. Mitte keegi ei saa kinnitada omaenda taotlust (TRUST_APPROVAL_SELF_APPROVAL) ja juba otsustatud taotlus annab vastuseks APPROVAL_ALREADY_DECIDED. Taotluse tagasilükkamine vajab põhjendust. Taotlus, mida keegi õigel ajal ei otsusta, aegub ja midagi ei muutu. See, millised muudatused siin ootavad, määratakse poliitikatega, mis nõuavad teist inimest: varukoopia taastamine ja töökohtade (seats) lisamine on kaks näidet mujalt sellest juhendist.

Nelja silma kinnitused
Nelja silma kinnitused
Teist inimest ootavad muudatused. Iga taotlus näitab, kes küsis ja millal see aegub, ning küsijal endal pole oma taotluse juures nuppu „Kinnita” (Approve).

Teise kasutaja vaate nägemine

Tugi organisatsiooni sees tähendab mõnikord lehe nägemist nii, nagu kolleeg seda näeb. Enterprise-paketis annab funktsioon „Vaata nende pilgu läbi” (See it as they do) administraatorile pärast teist kontrolli ja kirjalikku põhjendust 30 minutiks kirjutuskaitstud vaate konsoolist täpselt nii, nagu üks liige seda näeb. Liiget teavitatakse. Tema privaatseid üksusi (kirjad, märkmikud, otsesõnumid ja see, mida assistent tema jaoks mäletab) ei näidata kunagi, kogu aja on ülaosas teavitusriba ja kõik salvestatakse auditilogisse.

Suured muudatused saavad omaette mõttepausi. Enne laiaulatusliku mõjuga muudatuse salvestamist loetleb ülekate „Enne kui see muudatus toimub” (Before this change happens), mis läheb katki, mis vajab tähelepanu ja mida see ei mõjuta. Muudatust ei blokeerita. See muudetakse piisavalt kaalukaks, et selle üle järele mõelda, ning Enterprise-paketis ootab tundlik muudatus ka teist inimest.

Auditilogide säilitamine ja voogedastus

Auditilogi salvestab, kes mida tegi, uuemad eespool, ning seda saab filtreerida ja eksportida. Community-pakett säilitab 30 päeva ja ekspordib arvutustabeli faili. Enterprise-pakett säilitab seda nii kaua, kui teie säilituspoliitika ette näeb (lehel „Säilitamine ja kustutamine” (Keeping and letting go) Seadete all), ning voogedastab selle teie turvaseiresüsteemi. Ka keeldumised salvestatakse, nii et inimene, kellele öeldi „ei”, jätab samamoodi rea nagu inimene, kelle toiming õnnestus. Selle taga olevad halduskirjed on aheldatud organisatsioonide kaupa, nii et iga organisatsioon saab kontrollida oma lõiku ilma kellegi teise oma nägemata.

Andmebaasi rollid

Nexus ei käita oma teenuseid kunagi andmebaasi superkasutajana. Alglaadimiskonks (bootstrap hook), mis on ainus osa, millel on klastri superkasutaja õigused (peale konsooli BFF-i (backend for frontend) ühekordse ettevalmistussammu), loob järgmised rollid:

Roll Mis see on
nexus_migrator LOGIN NOSUPERUSER NOBYPASSRLS CREATEROLE. Omab andmebaasi nexus ja iga objekti, mille migratsioonid loovad, ning loob rollid, mida migratsioonid nimetavad.
nexus_runtime Grupp, mis ei saa sisse logida. See annab ühenduse ja skeemi kasutamise õiguse, kuid mitte tabeliõigusi.
nexus_auth, nexus_gateway, nexus_graphrag, nexus_skills Iga teenuse enda sisselogimine: NOSUPERUSER NOBYPASSRLS, grupi nexus_runtime liige, millele on tema enda migratsioonide poolt antud õigused ainult oma tabelitele ja mitte millelegi muule.
nexus_ledger_reader Loeb ühte tabelit, väljalaskeraamatut (release ledger), wait-for-schema alglaadimiskonteinerite (init containers) jaoks. Muid õigusi pole.

Kuna ükski teenuseroll ei oma oma tabeleid ja ükski ei saa minna mööda reataseme turbest (RLS), kehtib iga RLS-poliitika igale teenuseühendusele. Reataseme turve on teenuse nexus-auth tabelitel peale sunnitud, nii et isegi nende omanik peab sellest kinni pidama. Kui teie serveris on juba olemas roll nimega nexus atribuudiga SUPERUSER või BYPASSRLS, keeldub alglaadimine jätkamast: "role nexus exists with SUPERUSER or BYPASSRLS on this server; nexus_migrator will not be made a member of it. Nothing more was done." Eemaldage see atribuut või kasutage teist serverit.