PrijavaRezervirajte prezentaciju

Poglavlje 2.16

Sigurnost i umrežavanje

Što instalacija propušta unutra i van, kako njezini servisi međusobno dokazuju svoj identitet te kontrole koje operater postavlja ili nasljeđuje za prijavu i bazu podataka.

Ovu je stranicu s engleskog izvornika preveo AI. Ako je išta nejasno, mjerodavna je stranica na engleskom jeziku. Pročitajte ovu stranicu na engleskom jeziku

17 min čitanja

Sigurnosna provjera lučke uprave Harrow Port Authority prvo je postavila Tomásu Reillyju jedno pitanje: što napušta klaster? Njegov je odgovor stao na jednu stranicu. Ništa u imenskom prostoru nexus ne pristupa ničemu izvan njega osim upita sustava domenskih imena (DNS), aplikacijskog programskog sučelja (API) sustava Kubernetes za nekoliko radnih opterećenja te raspona adresa koje Harrow navodi u svojoj datoteci vrijednosti. Nema telemetrije ni povratnih poziva (call home). Provjera je zatim prešla na prijavu i bazu podataka, što je otprilike redoslijed koji prati ovo poglavlje.

Mrežna pravila

Mrežna su pravila prema zadanim postavkama uključena (networkPolicy.enabled: true), a chart kreće od pravila koje zabranjuje sve (deny-all) i ponovno dodaje samo ono što sustavu Nexus treba:

Pravilo Što omogućuje
nexus-default-deny Ništa. Odabire svaki pod u imenskom prostoru, u oba smjera.
nexus-in-namespace Podovi sustava Nexus koji međusobno komuniciraju te DNS upiti prema kube-dns u kube-system na priključku 53.
nexus-token-review Provjeravatelji tokena (nexus-probitas i nexus-orchestrator) i Job za skrbništvo nad ključevima (key-custody Job) koji pristupaju API poslužitelju sustava Kubernetes na priključku 6443 ili 443. Nijedan drugi pod nema montiran API token.
nexus-ingress-controller Imenski prostor ulaznog kontrolera (ingress controller) koji pristupa trima javnim servisima i ničemu drugom.
nexus-operator-egress Podovi koji pristupaju rasponima adresa u networkPolicy.externalEgressCIDRs. Iscrtava se samo kada taj popis nije prazan.

Dva poslužitelja OpenBao nalaze se iza vlastitog pravila. Označeni su kao dio spremišta ključeva, a ne kao dio sustava Nexus, pa pravilo unutar imenskog prostora ne dopire do njih. Samo nexus-keys i njegovi poslovi (među njima i Job za skrbništvo) mogu komunicirati s njima, a samo spremište ključeva može komunicirati sa servisom za otključavanje (unsealer).

Tri vrijednosti oblikuju pravila:

# harrow-values.yaml (Helm values): network policy
networkPolicy:
  enabled: true
  ingressNamespace: ingress-nginx
  apiServerCIDRs:
    - 10.40.0.10/32
  externalEgressCIDRs:
    - 10.40.30.25/32
    - 10.40.20.0/24

ingressNamespace je imenski prostor ulaznog kontrolera ispred triju javnih poslužitelja (hostova). Zadana vrijednost, kube-system, odgovara distribuciji k3s, koja ondje isporučuje Traefik. Harrow pokreće vlastiti kontroler u ingress-nginx.

apiServerCIDRs su adrese API poslužitelja sustava Kubernetes u obliku /32 CIDR (Classless Inter-Domain Routing) raspona. Ako se ostavi prazno, chart ih čita iz objekta Endpoints kubernetes prilikom instalacije. helm template nema klaster iz kojeg bi čitao, pa mu se ti rasponi moraju zadati, a u suprotnom se zaustavlja uz poruku "networkPolicy.apiServerCIDRs is empty and the kubernetes Endpoints could not be read".

externalEgressCIDRs navodi sve izvan imenskog prostora što Nexus mora pozivati. Prazno znači ništa. Harrow navodi svoj poslužitelj za prosljeđivanje e-pošte (mail relay) i podmrežu svojih poslužitelja modela. Ako povežete pružatelja hostiranih modela, korporativni servis za prijavu izvan klastera ili izvor podataka, njihovi rasponi također pripadaju ovdje. Zaboravljanje jednog od njih uobičajen je razlog zašto ključ koji radi na prijenosnom računalu ne uspijeva na instalaciji: poziv nikada ne napusti klaster.

Veliki zaobljeni okvir s oznakom "namespace nexus (default deny)". Unutar njega, skupina malih okvira "console", "nexus-auth", "gateway", "other Nexus services" povezanih dvosmjernim strelicama s oznakom "in-namespace". U jednom kutu unutra, zasebno uokviren okvir "key store: openbao, openbao-unsealer" sa strelicama samo iz "nexus-keys" i "custody Job". Izvan velikog okvira: lijevo "ingress controller namespace" sa strelicama samo u tri javna servisa; na vrhu "kube-dns (port 53)"; gore desno "Kubernetes API server (apiServerCIDRs)" do kojeg se dolazi samo iz provjeravatelja tokena; desno "externalEgressCIDRs: mail relay, model servers" do kojih se dolazi iz podova sustava Nexus. Svaka druga strelica prema van nacrtana je prekrižena, s oznakom "refused".
Što mrežna pravila dopuštaju pri ulasku u imenski prostor nexus i izlasku iz njega.

Unutar proizvoda, stranica Kamo pozivi mogu ići (Where calls can leave) navodi svako vanjsko odredište kojem Nexus smije pristupiti, zašto je ondje i tko ga je dodao. Sve ostalo odbija se uz kod koji imenuje pravilo. Na stranici odbijanje glasi EGRESS_DENIED. Rezidentnost podataka funkcionira na isti način razinu više: u izdanju Enterprise, stranica Gdje se podaci nalaze (Where data lives) postavlja regiju za svaku vrstu podataka, a organizacija može zaključati svoj promet umjetne inteligencije (AI) na pružatelje iz EU-a tako da usmjerivač odbija sve ostalo (pogledajte poglavlje 2.14, Pružatelji i modeli AI-ja). Aplikacija koja pokuša pristupiti adresi koju njezin manifest nikada nije deklarirao zaustavlja se na rubu mreže uz EGRESS_NOT_DECLARED.

Kamo pozivi mogu ići
Kamo pozivi mogu ići
Kamo pozivi mogu ići. Svako dopušteno odredište navodi tko ga je dodao i zašto; sve ostalo se odbija, a današnja odbijanja navedena su uz pravilo koje ih je zaustavilo.

Identitet servisa od lokalnog certifikacijskog tijela

Nexus radi bez servisne mreže (service mesh). Chart ima vrijednost istio.enabled, ona je prema zadanim postavkama postavljena na false i nema razloga za njezino uključivanje. Servisi umjesto toga dokazuju svoj identitet jedni drugima obostranim TLS-om (mTLS): protokolom Transport Layer Security (TLS) pri kojem obje strane pokazuju certifikat. Certifikati dolaze od lokalnog certifikacijskog tijela (CA) koje chart stvara putem alata cert-manager v1.21.3 i ništa drugo nije potrebno instalirati.

Lanac je kratak. Samopotpisani izdavatelj, nexus-selfsigned, potpisuje CA certifikat nexus-local-ca, ključ ECDSA (Elliptic Curve Digital Signature Algorithm) P-256 koji vrijedi deset godina. cert-manager ga obnavlja 30 dana prije isteka. Drugi izdavatelj istog imena potpisuje sve ostalo iz njega.

Svaki servis koji poziva servis koji zahtijeva obostrani TLS dobiva vlastiti klijentski certifikat, u objektu Secret nazvanom prema njegovom servisnom računu (<service-account>-client-tls). Certifikat nosi SPIFFE identitet servisa kao svoje URI ime:

spiffe://cluster.local/ns/<namespace>/sa/<service-account>

Pozvani servis provjerava taj certifikat u odnosu na lokalni CA i iz njega čita tko je pozivatelj. Svako radno opterećenje vjeruje CA-u putem stavke ca.crt u objektu Secret vlastitog certifikata. Nijedan pod ne montira privatni ključ CA-a i nijedan ConfigMap ne nosi CA. nexus-probitas samostalno poslužuje TLS iz nexus-probitas-tls, 90-dnevnog certifikata koji se obnavlja 15 dana prije isteka.

Javni rub mreže je odvojen, a o njemu odlučuje tls.mode:

  • existing: TLS Secret koji ste sami izradili, imenovan u tls.existingSecret.
  • cert-manager: certifikati iz objekta ClusterIssuer koji sami pokrećete, imenovanog u tls.clusterIssuer.
  • none: TLS završava prije ulaza (ingress), na vašem vlastitom uravnoteživaču opterećenja (load balancer). Preglednik i dalje mora pristupati konzoli putem protokola HTTPS (pogledajte poglavlje 2.17, Rješavanje problema).

Sama sesija prijave ovisi o protokolu HTTPS. Konzola prihvaća prijavu samo sa svog vlastitog izvorišta, https://<hosts.console>, čuva sesiju u kolačiću __Host- označenom kao Secure, a pristupni ključ (passkey) prvog administratora zahtijeva stranicu s valjanim certifikatom. Preglednik na običnom HTTP-u ili iza upozorenja o certifikatu uopće se ne može prijaviti.

Podatkovni sloj unutar klastera prema zadanim postavkama komunicira sa servisima bez TLS-a (dataTier.postgres.sslmode: disable), jer taj promet ostaje unutar imenskog prostora pod gore navedenim pravilima. Vanjski Postgres koristi verify-full ili verify-ca, s CA-om poslužitelja u objektu Secret spremišta, kako opisuje poglavlje 2.11, Varijacije: vanjska spremišta, TLS i ulaz.

Telemetrija je isključena

Nikakva telemetrija ne napušta instalaciju. telemetry.enabled može biti samo false: shema charta odbija bilo koju drugu vrijednost. Vlastito izvješćivanje podatkovnog sloja također je isključeno, pa Neo4j ne šalje izvješća o upotrebi, a Qdrant ne šalje telemetriju.

Kontrole registracije

nexus-auth ima dvije kontrole za provjeru osoba koje se registriraju, a obje su isključene na svakoj instalaciji.

CAPTCHAkontrola provjerava svaku registraciju pomoću hostiranog servisa na internetu. Instalacija pri registraciji nikada ne ovisi o internetu, pa je chart isključuje. Mrežna provjera treba dvije baze podataka GeoLite2 kako bi procijenila odakle dolazi registracija. Riječ je o licenciranim preuzimanjima koja se ne nalaze u slici (image) servisa nexus-auth niti ih chart montira, te ne postoji vrijednost kojom bi se ta provjera uključila. Ono čega se odričete jest provjera registracija iz mreža podatkovnih centara i pružatelja usluga smještaja (hosting).

Ono što dobivate umjesto toga jest odobrenje. Registracija nepoznate osobe zadržava se dok je administrator ne odobri, a do tada osoba dobiva odgovor 403 SIGNUP_REQUIRES_APPROVAL. Nijedan prekidač to ne mijenja.

Ograničenja brzine i trajanje tokena

# harrow-values.yaml (Helm values): sign-in service
auth:
  rateLimitPerMinute: 5000
  accessTokenTTL: 15m
  refreshTokenTTL: 12h
proxy:
  trustedCIDRs: "10.244.0.0/16"

auth.rateLimitPerMinute je najveći broj zahtjeva koje jedna prijavljena osoba može uputiti servisu nexus-auth u minuti prije nego što on odgovori s 429. Svaka osoba dobiva isto ograničenje, a vlastiti servisni subjekt (service principal) platforme ne ubraja se u njega. Zadana vrijednost od 5000 iznosi oko 83 u sekundi s jednog računa, što je sasvim dovoljno za ljude i skripte. Smanjite je za strože ograničenje ili je povećajte za intenzivnu automatizaciju. To je cijeli broj od 1 ili više. Zaštita od napada grubom silom (brute-force) pri prijavi (zaključavanje računa i ograničenja pokušaja drugog faktora) odvojena je i ne postavlja se ovdje.

Pozivatelj koji prekorači ograničenje dobiva RATE_LIMITED sa zaglavljem Retry-After, a tijelo poruke nosi ograničenje i vrijeme čekanja. U izdanju Enterprise administratori postavljaju preciznija ograničenja na stranici Postavke, Ograničenja brzine (Settings, Rate limits): broj zahtjeva u minuti i istodobnih poslova, za svaki ključ skripte ili aplikaciju te za svaku jedinicu. Od pozivatelja koji prekorači svoje ograničenje traži se da pričeka i nikada ga se ne prekida. Ukinuto ograničenje vraća se na ograničenje jedinice, a zatim na zadanu vrijednost.

Ograničenja brzine
Ograničenja brzine
Ograničenja brzine po ključu i jedinici. Jedna skripta prebrzo ponavlja pokušaje i usporava se; stranica prikazuje odgovor 429 koji skripta vidi i omogućuje administratoru da poveća njezino ograničenje uz navođenje razloga.

auth.accessTokenTTL i auth.refreshTokenTTL postavljaju koliko dugo traju pristupni token (access token) i token za osvježavanje (refresh token). Držite pristupni token na jednom satu ili manje. Dodaci izgrađeni pomoću alata Plugin SDK, kompleta za razvoj softvera za proširenja sustava Nexus, odbijaju token sesije koji traje dulje od jednog sata, uz JWT_LIFETIME_EXCEEDED.

proxy.trustedCIDRs imenuje proxy skokove (hops) čijem zaglavlju X-Forwarded-For servis nexus-auth vjeruje. Zadana vrijednost, 10.42.0.0/16, jest mreža podova distribucije k3s u kojoj radi njezin Traefik. Na drugoj distribuciji postavite je na mrežu podova svojeg ulaznog kontrolera. Ako je pogrešna, nexus-auth vidi svaki zahtjev kao da dolazi od ulaznog kontrolera, pa bi pravila o adresama u nastavku vidjela samo tu adresu. Drugačiji X-Forwarded-For s nepouzdanog skoka nikada ne otvara novi prozor ograničenja brzine.

Prijava tvrtke

Ljudi se prijavljuju pristupnim ključem (passkey) ili putem servisa Google ili GitHub, a korporativna prijava je četvrti način. Administrator se nikada ne prijavljuje samo lozinkom: druga provjera je pristupni ključ.

Izdanje Community uključuje jednu korporativnu prijavu putem protokola OpenID Connect (OIDC), s vlastitim zaslonom za postavljanje i rezultatom testiranja. Izdanje Enterprise dodaje Security Assertion Markup Language (SAML), obveznu primjenu za sve i sinkronizaciju imenika putem standarda System for Cross-domain Identity Management (SCIM).

Korporativna prijava može se postaviti kao obvezna tek nakon što administrator napravi četiri stvari, ovim redoslijedom: poveže servis za prijavu, dokaže vlasništvo nad domenom, prijavi se putem njega vlastitim računom i imenuje jedan račun za hitne slučajeve. Do tada gumb Zahtijevaj (Require it) ostaje zaključan, a stranica navodi koji koraci nedostaju uz kod COMPANY_SIGNIN_STEPS_MISSING. Promjena servisa za prijavu briše test, pa se novi servis mora ponovno testirati.

Korporativna prijava
Prijava tvrtke
Korporativna prijava može se postaviti kao obvezna tek nakon što ju je administrator testirao vlastitim računom i imenovao račun za hitne slučajeve. Svaki korak mora biti dovršen prije nego što se otvori posljednji.

Kada korporativni servis za prijavu prestane odgovarati, stranica za prijavu prikazuje IDP_UNREACHABLE (503). Osobe koje su već prijavljene ostaju prijavljene. Administratori mogu koristiti prijavu administratora za hitne slučajeve, koja zahtijeva zapečaćeni kod koji se čuva u sefu i administratorov pristupni ključ. Svaka upotreba zapisuje se u dnevnik revizije s podacima o tome tko ju je koristio i odakle, odmah se objavljuje svakom administratoru te završava nakon 4 sata ili kada se korporativna prijava vrati.

Svi u organizaciji prijavljuju se u istu konzolu i ondje obavljaju svoj svakodnevni posao; vlasnici i administratori također vide administracijske stranice. Član koji otvori jednu od tih stranica dobiva stranicu Niste administrator (Not an administrator), sa zasivljenim redovima i imenima osoba koje ih mogu mijenjati (NOT_AN_ADMINISTRATOR).

Sumnjive prijave i pravila adresa

U izdanju Enterprise, stranica Sumnjive prijave (Suspicious sign-ins) navodi prijave lozinkom koje su izgledale novo ili neobično: novo mjesto ili uređaj ili pogrešne lozinke ranije tog dana. Za svaku se navodi što je Nexus učinio, bilo da je zatražio drugu provjeru ili blokirao prijavu. Netko odgovara na svaki redak s Nisu bili oni (Not them), čime se prekidaju prijave te osobe, ili Bili su oni (It was them).

Stranica Dopuštene i blokirane adrese (Addresses allowed and blocked) sadrži dva popisa. Dopušteni rasponi jedina su mjesta s kojih se vlasnici i administratori smiju prijaviti; ako nema nijednog, prijavljuju se odasvud. Na članove to ne utječe. Blokirane adrese su mjesta s kojih se nitko ne može prijaviti. Svaki unos bilježi tko ga je dodao i kada istječe. Svaka se promjena prvo testira u odnosu na vašu vlastitu trenutačnu adresu, a promjena koja bi vas zaključala odbija se i ništa se ne sprema. Sužavanje raspona odmah prekida prijave administratora koje više ne propušta.

Dopuštene i blokirane adrese
Dopuštene i blokirane adrese
Pravila o adresama. Okvir na vrhu kaže kako se pravila odnose na vlastitu adresu administratorice, pa se promjena koja bi je zaključala odbija prije spremanja.

Ključevi i certifikati

Podaci svake organizacije zaključani su njezinim vlastitim ključem, koji čuva skrbnik kojeg odaberete: hardverski sigurnosni modul ili softver. Stranica Ključevi (Keys) prikazuje verzije ključa organizacije i kada je na redu sljedeća rotacija. Verzija ostaje čitljiva nakon što prestane biti trenutačna, sve dok više ništa nije omotano pod njom. Sami ključevi nikada se ne prikazuju, već samo njihovi otisci (fingerprints).

Uništavanje ključa način je na koji Nexus briše podatke. Na stranici Ključevi i brisanje (Keys and erasure), opcija Izbriši (Erase) uništava ključ jedne osobe ili cijele organizacije, što sve što je taj ključ zaključao čini nečitljivim posvuda, uključujući sigurnosne kopije. To se ne može poništiti, pa zahtijeva pisani razlog i drugu osobu. Ostavlja potvrdu koja bilježi što je izbrisano i tko je to učinio, a nikada sam sadržaj.

Stranica Ključevi koji uskoro istječu (Keys about to run out) navodi tokene pružatelja i certifikate koji uskoro završavaju, tko dobiva upozorenje i kada, te što se zaustavlja ako neki od njih istekne. Posao koji je u tijeku ne staje, a AI usmjerivač prebacuje se na drugi ključ.

Odobrenja po načelu četiri oka

U izdanju Enterprise pravila mogu zadržati osjetljive promjene dok ih ne odobri druga osoba. Stranica Odobrenja četiri oka (Four-eyes approvals) navodi svaki zahtjev na čekanju s podacima o tome tko je zatražio, zašto, koliko mu je odobrenja potrebno i kada istječe. Nitko ne odobrava vlastiti zahtjev (TRUST_APPROVAL_SELF_APPROVAL), a zahtjev o kojem je već odlučeno odgovara s APPROVAL_ALREADY_DECIDED. Odbijanje zahtjeva traži razlog. Zahtjev o kojem nitko ne odluči na vrijeme istječe i ništa se ne mijenja. Koje promjene čekaju ovdje postavlja se pravilima koja traže drugu osobu: vraćanje sigurnosne kopije i dodavanje mjesta (seats) dva su primjera navedena drugdje u ovom vodiču.

Odobrenja četiri oka
Odobrenja po načelu četiri oka
Promjene koje čekaju drugu osobu. Svaki zahtjev prikazuje tko ga je podnio i kada istječe, a osoba koja ga je podnijela nema gumb Odobri (Approve) na vlastitom zahtjevu.

Pregled onoga što vidi netko drugi

Podrška unutar organizacije ponekad znači vidjeti stranicu onako kako je vidi kolega. U izdanju Enterprise, opcija Vidi kako oni vide (See it as they do) daje administratoru prikaz konzole samo za čitanje onako kako je vidi jedan član, u trajanju od 30 minuta, nakon druge provjere i pisanog razloga. Član biva obaviješten. Njegove privatne stavke (e-pošta, bilježnice, izravne poruke i ono što asistent pamti za njega) nikada se ne prikazuju, preko vrha cijelo vrijeme stoji natpis (banner), a sve se bilježi u dnevnik revizije.

Velike promjene dobivaju vlastitu stanku. Prije nego što se spremi promjena sa širokim učincima, skočni prikaz Prije nego što se ova promjena dogodi (Before this change happens) navodi što će prestati raditi, što zahtijeva pozornost, a na što promjena ne utječe. Promjena nije blokirana. Učinjena je dovoljno zahtjevnom da o njoj razmislite, a u izdanju Enterprise osjetljiva promjena također čeka drugu osobu.

Zadržavanje i strujanje revizijskih zapisa

Dnevnik revizije bilježi tko je što učinio, od najnovijeg prema starijem, te se može filtrirati i izvesti. Izdanje Community čuva 30 dana i izvozi datoteku proračunske tablice. Izdanje Enterprise čuva ga onoliko dugo koliko kaže vaše pravilo o zadržavanju, na stranici Zadržavanje i puštanje (Keeping and letting go) pod Postavkama (Settings), te ga usmjerava (stream) u vaš sustav za sigurnosni nadzor. Odbijanja se također bilježe, pa osoba čiji je zahtjev odbijen ostavlja redak u dnevniku jednako kao i osoba koja je uspjela. Zapisi o upravljanju u pozadini ulančani su po organizaciji, tako da svaka organizacija može provjeriti vlastiti dio bez uvida u tuđe.

Uloge u bazi podataka

Nexus nikada ne pokreće svoje servise kao superkorisnik (superuser) baze podataka. Bootstrap hook, koji je jedini dio koji drži superkorisnika klastera osim jednokratnog koraka dodjele resursa pozadinskog sustava za korisničko sučelje (BFF) konzole, stvara ove uloge:

Uloga Što je to
nexus_migrator LOGIN NOSUPERUSER NOBYPASSRLS CREATEROLE. Vlasnik je baze podataka nexus i svakog objekta koji migracije stvore te stvara uloge koje migracije imenuju.
nexus_runtime Grupa koja se ne može prijaviti. Daje pravo povezivanja i korištenja sheme, ali nikakva prava nad tablicama.
nexus_auth, nexus_gateway, nexus_graphrag, nexus_skills Vlastita prijava svakog servisa: NOSUPERUSER NOBYPASSRLS, član grupe nexus_runtime, kojem su vlastitim migracijama dodijeljene njegove vlastite tablice i ništa drugo.
nexus_ledger_reader Čita jednu tablicu, glavnu knjigu izdanja (release ledger), za init kontejnere wait-for-schema. Nema drugih dodijeljenih prava.

Budući da nijedna uloga servisa nije vlasnik svojih tablica i nijedna ne može zaobići sigurnost na razini retka (RLS), svako RLS pravilo primjenjuje se na svaku vezu servisa. Sigurnost na razini retka prisilno je uključena na tablicama servisa nexus-auth, pa je se čak i njihov vlasnik mora pridržavati. Ako uloga pod nazivom nexus već postoji na vašem poslužitelju s atributom SUPERUSER ili BYPASSRLS, bootstrap odbija nastaviti: "role nexus exists with SUPERUSER or BYPASSRLS on this server; nexus_migrator will not be made a member of it. Nothing more was done." Uklonite taj atribut ili upotrijebite drugi poslužitelj.