УвійтиЗамовити брифінг

Розділ 2.16

Безпека та мережа

Який вхідний і вихідний трафік пропускає інсталяція, як її сервіси підтверджують свою автентичність один одному, а також засоби контролю, які оператор налаштовує або успадковує для входу в систему та бази даних.

Цю сторінку перекладено за допомогою ШІ з англійського оригіналу. Якщо щось незрозуміло, орієнтуйтеся на англійську версію сторінки. Читати цю сторінку англійською

17 хв читання

Під час перевірки безпеки в Harrow Port Authority Томасу Рейлі насамперед поставили одне запитання: що залишає межі кластера? Його відповідь умістилася на одній сторінці. Ніщо в просторі імен nexus не звертається ні до чого за його межами, окрім запитів до системи доменних імен (DNS), прикладного програмного інтерфейсу (API) Kubernetes для кількох робочих навантажень та діапазонів адрес, які Harrow вказує у своєму файлі значень. Немає ні телеметрії, ні фонових звернень до серверів розробника. Після цього перевірка перейшла до входу в систему та бази даних — і саме в такому порядку побудовано цей розділ.

Мережеві політики

Мережеві політики увімкнено за замовчуванням (networkPolicy.enabled: true), і чарт починає з політики повної заборони (deny-all), додаючи лише те, що потрібно для Nexus:

Політика Що воно дозволяє
nexus-default-deny Нічого. Вона вибирає кожен под у просторі імен в обох напрямках.
nexus-in-namespace Взаємодія подів Nexus між собою та запити DNS до kube-dns у kube-system через порт 53.
nexus-token-review Перевіряльники токенів (nexus-probitas і nexus-orchestrator) та завдання керування ключами (key-custody Job), які звертаються до сервера API Kubernetes через порти 6443 або 443. У жодному іншому поді токен API не змонтовано.
nexus-ingress-controller Простір імен ingress-контролера, який звертається лише до трьох публічних сервісів і ні до чого іншого.
nexus-operator-egress Поди, які звертаються до діапазонів адрес у networkPolicy.externalEgressCIDRs. Формується лише тоді, коли цей список не порожній.

Два сервери OpenBao захищені власною політикою. Вони позначені як частина сховища ключів, а не як частина Nexus, тому правило внутрішньої взаємодії в просторі імен на них не поширюється. Звертатися до них можуть лише nexus-keys та його завдання (зокрема завдання керування ключами), а до сервісу розблокування (unsealer) може звертатися лише сховище ключів.

Політики визначаються трьома значеннями:

# harrow-values.yaml (Helm values): network policy
networkPolicy:
  enabled: true
  ingressNamespace: ingress-nginx
  apiServerCIDRs:
    - 10.40.0.10/32
  externalEgressCIDRs:
    - 10.40.30.25/32
    - 10.40.20.0/24

ingressNamespace — це простір імен ingress-контролера перед трьома публічними хостами. Значення за замовчуванням, kube-system, підходить для k3s, який розміщує там Traefik. Harrow запускає власний контролер у ingress-nginx.

apiServerCIDRs — це адреси сервера API Kubernetes у вигляді діапазонів безкласової міждоменної маршрутизації (CIDR) /32. Якщо залишити це поле порожнім, під час встановлення чарт зчитує їх з об'єкта Endpoints kubernetes. Команда helm template не має кластера для зчитування, тому їй потрібно передати ці значення явно, інакше вона зупиниться з помилкою "networkPolicy.apiServerCIDRs is empty and the kubernetes Endpoints could not be read".

externalEgressCIDRs перелічує все за межами простору імен, до чого має звертатися Nexus. Порожнє значення означає «нічого». Harrow вказує тут свій поштовий ретранслятор і підмережу своїх серверів моделей. Якщо ви підключаєте хмарного постачальника моделей, корпоративну службу входу за межами кластера або джерело даних, їхні діапазони також слід додати сюди. Якщо забути вказати один із них, це зазвичай стає причиною того, чому ключ, який працює на ноутбуці, не працює у встановленій системі: виклик просто ніколи не виходить за межі кластера.

Великий прямокутник із заокругленими кутами з підписом "namespace nexus (default deny)". Усередині нього — група менших блоків "console", "nexus-auth", "gateway", "other Nexus services", з'єднаних двосторонніми стрілками з підписом "in-namespace". В одному з внутрішніх кутів розташовано окремо обведений блок "key store: openbao, openbao-unsealer", до якого ведуть стрілки лише від "nexus-keys" та "custody Job". За межами великого прямокутника: ліворуч — "ingress controller namespace" зі стрілками лише до трьох публічних сервісів; угорі — "kube-dns (port 53)"; угорі праворуч — "Kubernetes API server (apiServerCIDRs)", до якого ведуть стрілки лише від перевіряльників токенів; праворуч — "externalEgressCIDRs: mail relay, model servers", до якого ведуть стрілки від подів Nexus. Усі інші вихідні стрілки перекреслені й підписані "refused".
Що мережеві політики дозволяють для вхідного та вихідного трафіку простору імен nexus.

Усередині продукту на сторінці «Куди можуть виходити виклики» перелічено кожне зовнішнє місце, до якого може звертатися Nexus, причину його наявності та особу, яка його додала. Усе інше відхиляється з кодом, що вказує на відповідне правило. На сторінці відмова відображається як EGRESS_DENIED. Резидентність даних працює так само на рівень вище: у версії Enterprise сторінка «Де зберігаються дані» визначає регіон для кожного типу даних, і організація може обмежити свій трафік штучного інтелекту (ШІ) лише постачальниками з ЄС, щоб маршрутизатор відхиляв усі інші запити (див. розділ 2.14, Постачальники та моделі ШІ). Застосунок, який намагається звернутися за адресою, не оголошеною в його маніфесті, зупиняється на межі з кодом EGRESS_NOT_DECLARED.

Куди можуть надсилатися виклики
Куди можуть спрямовуватися виклики
Куди можуть надсилатися виклики. Для кожного дозволеного призначення вказано, хто і навіщо його додав; усе інше відхиляється, а сьогоднішні відмови наведено разом із правилом, яке їх зупинило.

Ідентифікація сервісів через локальний центр сертифікації

Nexus працює без сервісної сітки (service mesh). У чарті є значення istio.enabled, яке за замовчуванням дорівнює false, і немає жодної причини його вмикати. Натомість сервіси підтверджують свою автентичність один одному за допомогою взаємного TLS (mTLS) — протоколу захисту транспортного рівня (TLS), де обидві сторони пред'являють сертифікат. Сертифікати видаються локальним центром сертифікації (CA), який чарт створює через cert-manager v1.21.3, і встановлювати щось додатково не потрібно.

Ланцюжок короткий. Самопідписаний видавець, nexus-selfsigned, підписує сертифікат CA nexus-local-ca — ключ ECDSA (алгоритм цифрового підпису на основі еліптичних кривих) P-256, дійсний протягом десяти років. cert-manager оновлює його за 30 днів до закінчення терміну дії. Другий видавець із такою самою назвою підписує на його основі все інше.

Кожен сервіс, який викликає інший сервіс, що вимагає взаємного TLS, отримує власний клієнтський сертифікат в об'єкті Secret, названому на честь його сервісного облікового запису (<service-account>-client-tls). Сертифікат містить ідентифікатор SPIFFE цього сервісу як своє ім'я URI:

spiffe://cluster.local/ns/<namespace>/sa/<service-account>

Викликаний сервіс перевіряє цей сертифікат через локальний CA і зчитує з нього, хто саме здійснює виклик. Кожне робоче навантаження довіряє CA через файл ca.crt в об'єкті Secret власного сертифіката. Жоден под не монтує приватний ключ CA, і жоден ConfigMap не містить сертифікат CA. Сервіс nexus-probitas сам обслуговує TLS за допомогою nexus-probitas-tls — 90-денного сертифіката, який оновлюється за 15 днів до закінчення терміну дії.

Публічний периметр налаштовується окремо і визначається параметром tls.mode:

  • existing: створений вами об'єкт TLS Secret, назва якого вказана в tls.existingSecret.
  • cert-manager: сертифікати від запущеного вами ClusterIssuer, назва якого вказана в tls.clusterIssuer.
  • none: дія TLS завершується перед ingress-контролером, на вашому власному балансувальнику навантаження. Браузер усе одно має звертатися до консолі через HTTPS (див. розділ 2.17, Усунення несправностей).

Сам сеанс входу залежить від HTTPS. Консоль приймає вхід лише з власного джерела (origin), https://<hosts.console>, зберігає сеанс у файлі cookie __Host- з позначкою Secure, а ключ доступу (passkey) першого адміністратора потребує сторінки з дійсним сертифікатом. Браузер, що працює через звичайний HTTP або за попередженням про недійсний сертифікат, узагалі не зможе виконати вхід.

Рівень даних усередині кластера за замовчуванням взаємодіє із сервісами без TLS (dataTier.postgres.sslmode: disable), оскільки цей трафік залишається в межах простору імен під дією наведених вище політик. Зовнішня база даних Postgres використовує verify-full або verify-ca із сертифікатом CA сервера в об'єкті Secret сховища, як описано в розділі 2.11, Варіації: зовнішні сховища, TLS та ingress.

Телеметрію вимкнено

Жодна телеметрія не залишає межі встановленої системи. Параметр telemetry.enabled може мати лише значення false: схема чарту відхиляє будь-яке інше значення. Власну звітність рівня даних також вимкнено, тому Neo4j не надсилає звітів про використання, а Qdrant не передає телеметрію.

Контроль реєстрації

У nexus-auth є два засоби контролю для перевірки людей, які реєструються, і обидва вимкнено в кожній встановленій системі.

Перевірка CAPTCHA звіряє кожну реєстрацію через хмарний сервіс в інтернеті. Встановлена система ніколи не залежить від інтернету під час реєстрації, тому чарт вимикає цю функцію. Мережевий фільтр потребує двох баз даних GeoLite2, щоб визначати, звідки надходить запит на реєстрацію. Це ліцензовані завантаження, яких немає в образі nexus-auth і які не монтуються чартом, а параметра для увімкнення цього фільтра не передбачено. Таким чином, ви відмовляєтеся від фільтрації реєстрацій із мереж дата-центрів і хостинг-провайдерів.

Натомість ви отримуєте механізм затвердження. Реєстрація сторонньої особи утримується до затвердження адміністратором, а до того часу такій особі повертається відповідь 403 SIGNUP_REQUIRES_APPROVAL. Жоден із перемикачів цього не змінює.

Обмеження частоти запитів і час життя токенів

# harrow-values.yaml (Helm values): sign-in service
auth:
  rateLimitPerMinute: 5000
  accessTokenTTL: 15m
  refreshTokenTTL: 12h
proxy:
  trustedCIDRs: "10.244.0.0/16"

auth.rateLimitPerMinute — це максимальна кількість запитів, яку один авторизований користувач може зробити до nexus-auth за хвилину, перш ніж сервіс відповість 429. Кожен користувач отримує однаковий ліміт, а власний сервісний обліковий запис платформи в ньому не враховується. Значення за замовчуванням 5000 становить близько 83 запитів на секунду з одного облікового запису, чого цілком достатньо для людей і скриптів. Зменште його для посилення обмежень або збільште для інтенсивної автоматизації. Це ціле число від 1 або більше. Захист від підбору пароля під час входу (блокування облікового запису та обмеження спроб проходження другого фактора) налаштовується окремо і тут не задається.

Ініціатор виклику, який перевищив ліміт, отримує відповідь RATE_LIMITED із заголовком Retry-After, а в тілі відповіді вказується сам ліміт і час очікування. У версії Enterprise адміністратори встановлюють точніші обмеження в розділі «Налаштування», «Ліміти частоти запитів»: кількість запитів на хвилину та одночасних завдань для кожного ключа скрипту чи застосунку та для кожного підрозділу. Ініціатора виклику, який перевищив свій ліміт, просять зачекати, але ніколи не відключають повністю. Після скасування індивідуального ліміту система повертається до ліміту підрозділу, а потім — до значення за замовчуванням.

Ліміти частоти запитів
Ліміти частоти запитів
Ліміти частоти запитів для кожного ключа та підрозділу. Один скрипт повторює спроби занадто швидко і тому сповільнюється; на сторінці показано відповідь 429, яку бачить скрипт, а адміністратор може підвищити його ліміт, указавши причину.

auth.accessTokenTTL і auth.refreshTokenTTL визначають термін дії токена доступу та токена оновлення. Залишайте термін дії токена доступу в межах однієї години або менше. Плагіни, створені за допомогою Plugin SDK (набору засобів розробки програмного забезпечення для розширень Nexus), відхиляють токен сеансу, термін дії якого перевищує одну годину, з кодом JWT_LIFETIME_EXCEEDED.

proxy.trustedCIDRs вказує проміжні проксі-вузли, заголовку X-Forwarded-For яких довіряє nexus-auth. Значення за замовчуванням, 10.42.0.0/16, — це мережа подів k3s, де працює його Traefik. В іншому дистрибутиві вкажіть тут мережу подів вашого ingress-контролера. Якщо значення неправильне, nexus-auth сприйматиме кожен запит як такий, що надходить від ingress-контролера, тому наведені нижче правила для адрес бачитимуть лише цю адресу. Інший заголовок X-Forwarded-For від ненадійного вузла ніколи не відкриває нове вікно ліміту частоти запитів.

Корпоративний вхід

Користувачі входять за допомогою ключа доступу (passkey) або через Google чи GitHub, а корпоративний вхід є четвертим способом. Адміністратор ніколи не входить лише за паролем: другою перевіркою є ключ доступу.

Версія Community включає один корпоративний вхід через OpenID Connect (OIDC) із власним екраном налаштування та результатом тестування. Версія Enterprise додає протокол Security Assertion Markup Language (SAML), примусове застосування для всіх користувачів і синхронізацію каталогів через систему міждоменного керування ідентифікаційними даними (SCIM).

Корпоративний вхід можна зробити обов'язковим лише після того, як адміністратор послідовно виконає чотири дії: підключить службу входу, підтвердить домен, увійде через неї за допомогою власного облікового запису та призначить один екстрений обліковий запис. До цього кнопка «Зробити обов'язковим» залишається неактивною, а на сторінці вказується, які саме кроки пропущено, з кодом COMPANY_SIGNIN_STEPS_MISSING. Зміна служби входу скидає результати тестування, тому нову службу потрібно буде протестувати знову.

Корпоративний вхід
Корпоративний вхід
Корпоративний вхід можна зробити обов'язковим лише після того, як адміністратор протестує його за допомогою власного облікового запису та призначить екстрений обліковий запис. Кожен попередній крок має бути виконаний, перш ніж відкриється останній.

Коли корпоративна служба входу перестає відповідати, на сторінці входу відображається IDP_UNREACHABLE (503). Користувачі, які вже увійшли в систему, залишаються авторизованими. Адміністратори можуть скористатися екстреним входом адміністратора, для якого потрібен запечатаний код, що зберігається в сейфі, і ключ доступу адміністратора. Кожне таке використання записується до журналу аудиту із зазначенням того, хто і звідки ним скористався, про це негайно повідомляється всім адміністраторам, а сеанс завершується через 4 години або після відновлення роботи корпоративного входу.

Усі співробітники організації входять до однієї консолі та виконують там свою щоденну роботу; власники й адміністратори також бачать сторінки адміністрування. Учасник, який відкриває одну з таких сторінок, бачить сторінку «Не є адміністратором» із неактивними сірими рядками та іменами людей, які можуть вносити там зміни (NOT_AN_ADMINISTRATOR).

Підозрілі входи та правила для адрес

У версії Enterprise на сторінці «Підозрілі входи» перелічуються входи за паролем, які виглядали новими або незвичними: нове місце чи пристрій або введення неправильних паролів раніше того самого дня. Для кожного випадку вказується, що саме зробив Nexus: запросив другу перевірку чи заблокував вхід. Відповідальна особа позначає кожен рядок як «Це не вони», що завершує сеанси цієї людини, або «Це були вони».

Сторінка «Дозволені та заблоковані адреси» містить два списки. Дозволені діапазони — це єдині місця, звідки можуть входити власники й адміністратори; якщо список порожній, вони можуть входити звідки завгодно. На звичайних учасників це не впливає. Заблоковані адреси — це місця, звідки не може входити ніхто. У кожному записі фіксується, хто його додав і коли обмеження знімається. Кожна зміна спершу перевіряється на вашій власній поточній адресі, і зміна, яка заблокувала б доступ вам самим, відхиляється без збереження. Звуження діапазону негайно завершує сеанси тих адміністраторів, чиї адреси більше не підпадають під дозвіл.

Дозволені та заблоковані адреси
Дозволені та заблоковані адреси
Правила для адрес. На панелі вгорі показано, як правила впливають на власну адресу адміністраторки, тому зміна, яка заблокувала б їй доступ, відхиляється ще до збереження.

Ключі та сертифікати

Дані кожної організації шифруються її власним ключем, який зберігається у вибраного вами зберігача: в апаратному модулі безпеки (HSM) або в програмному сховищі. На сторінці «Ключі» показано версії ключа організації та дату наступної планової ротації. Версія залишається доступною для читання після того, як перестає бути поточною, доки не залишиться жодних даних, зашифрованих за її допомогою. Самі ключі ніколи не відображаються — лише їхні цифрові відбитки.

Знищення ключа — це спосіб, у який Nexus видаляє дані. На сторінці «Ключі та видалення» дія «Видалити» знищує ключ однієї особи або цілої організації, що робить усе зашифроване ним нечитабельним усюди, включно з резервними копіями. Цю дію неможливо скасувати, тому система вимагає письмового обґрунтування та підтвердження другою особою. Після цього залишається квитанція, у якій зафіксовано, що саме і ким було видалено, але ніколи не фіксується сам вміст.

На сторінці «Ключі, термін дії яких минає» наведено токени постачальників і сертифікати, термін дії яких незабаром закінчується, вказано, кого і коли про це попереджають, а також що зупиниться після закінчення терміну дії одного з них. Поточна робота не зупиняється, а маршрутизатор ШІ переходить на резервний ключ.

Підтвердження за принципом чотирьох очей

У версії Enterprise політики можуть затримувати чутливі зміни до підтвердження другою особою. На сторінці «Затвердження за принципом чотирьох очей» перелічено кожен запит, що очікує на розгляд, із зазначенням того, хто подав запит, чому, скільки затверджень йому потрібно і коли минає термін його дії. Ніхто не може затвердити власний запит (TRUST_APPROVAL_SELF_APPROVAL), а на запит, щодо якого вже прийнято рішення, повертається відповідь APPROVAL_ALREADY_DECIDED. Для відхилення запиту потрібно вказати причину. Запит, щодо якого ніхто вчасно не прийняв рішення, втрачає чинність, і нічого не змінюється. Те, які саме зміни очікують тут на розгляд, визначається політиками, що вимагають залучення другої особи: відновлення з резервної копії та додавання робочих місць є двома прикладами, описаними в інших розділах цього посібника.

Затвердження за принципом чотирьох очей
Підтвердження за принципом чотирьох очей
Зміни, що очікують на другу особу. У кожному запиті показано, хто його подав і коли минає термін його дії, а в особи, яка подала запит, немає кнопки «Затвердити» біля власного запиту.

Перегляд очима іншого користувача

Підтримка всередині організації іноді означає необхідність побачити сторінку так, як її бачить колега. У версії Enterprise функція «Бачити так, як вони» надає адміністратору доступ лише для читання до консолі у такому вигляді, як її бачить конкретний учасник, на 30 хвилин після другої перевірки та зазначення письмової причини. Учасник отримує про це сповіщення. Його приватні елементи (пошта, записники, особисті повідомлення та те, що асистент запам'ятовує для нього) ніколи не показуються, угорі протягом усього часу відображається банер, а всі дії записуються до журналу аудиту.

Для масштабних змін передбачено окрему паузу. Перш ніж зміну із широким впливом буде збережено, у спливаючому вікні «Перш ніж ця зміна відбудеться» перелічується, що перестане працювати, що потребуватиме уваги, а на що це не вплине. Сама зміна не блокується. Проте процедура стає достатньо серйозною, щоб над нею замислитися, а у версії Enterprise чутлива зміна також очікує на підтвердження другою особою.

Зберігання та потокова передача журналів аудиту

Журнал аудиту фіксує, хто і що зробив (спочатку найновіші записи), і підтримує фільтрацію та експорт. Версія Community зберігає дані за 30 днів і експортує їх у файл електронної таблиці. Версія Enterprise зберігає їх стільки, скільки визначено вашою політикою зберігання на сторінці «Зберігання та видалення» в розділі «Налаштування», і передає їх потоком до вашої системи моніторингу безпеки. Відмови також реєструються, тому користувач, який отримав відмову, залишає запис у журналі так само, як і користувач, чия дія була успішною. Базові записи керування об'єднуються в ланцюжок окремо для кожної організації, тож кожна організація може перевірити власний сегмент даних, не бачачи даних інших.

Ролі бази даних

Nexus ніколи не запускає свої сервіси з правами суперкористувача бази даних. Хук початкового завантаження (bootstrap hook), який є єдиним компонентом, що має права суперкористувача кластера (окрім одноразового кроку розгортання серверної частини для фронтенду (BFF) консолі), створює такі ролі:

Роль Що це таке
nexus_migrator LOGIN NOSUPERUSER NOBYPASSRLS CREATEROLE. Володіє базою даних nexus і кожним об'єктом, який створюють міграції, а також створює ролі, зазначені в міграціях.
nexus_runtime Група без права входу. Вона надає дозвіл на підключення та використання схеми, але не надає жодних прав на таблиці.
nexus_auth, nexus_gateway, nexus_graphrag, nexus_skills Власний обліковий запис для входу кожного сервісу: NOSUPERUSER NOBYPASSRLS, член групи nexus_runtime, якому його власні міграції надають права лише на його власні таблиці й ні на що інше.
nexus_ledger_reader Читає одну таблицю — реєстр релізів — для init-контейнерів wait-for-schema. Інших прав немає.

Оскільки жодна роль сервісу не володіє своїми таблицями і жодна не може обходити захист на рівні рядків (RLS), кожна політика RLS застосовується до кожного підключення сервісу. Для таблиць nexus-auth захист на рівні рядків застосовується примусово, тому навіть їхній власник зобов'язаний йому підпорядковуватися. Якщо роль із назвою nexus вже існує на вашому сервері з атрибутом SUPERUSER або BYPASSRLS, процес початкового завантаження відмовляється продовжувати роботу: "role nexus exists with SUPERUSER or BYPASSRLS on this server; nexus_migrator will not be made a member of it. Nothing more was done." Видаліть цей атрибут або скористайтеся іншим сервером.