ВходЗапазете среща

Глава 2.15

Ден втори: експлоатация на Nexus

Рутинната работа по поддържането на инсталацията след първата седмица. Тя започва с разпечатването на хранилището за ключове след рестартиране и завършва с деинсталирането.

Тази страница е преведена от ИИ от английския оригинал. Ако нещо е неясно, английската страница е референтна. Прочетете тази страница на английски

18 минути за четене

Първия път, когато захранването прекъсна в сървърното помещение на Harrow Port Authority, всичко се възстанови, освен частите, които се нуждаеха от ключове. Подовете бяха със статус Running и конзолата се зареди. Никой не можеше да отвори файл. Tomás Reilly беше чел за това и въпреки това му отне двадесет минути да си спомни защо. Деблокиращият сървър (unsealer) на хранилището за ключове стартира запечатан след всяко рестартиране на неговия възел и само пазител на ключовете (custodian) може да го отвори.

Тази глава проследява рутината на оператора след първата седмица – от хранилището за ключове и неговите пазители до деинсталирането. Всеки глагол на nexusctl тук приема --explain, което отпечатва операциите kubectl и helm, които би изпълнил, без да ги изпълнява. Използвайте го първия път, когато стартирате каквото и да било на производствен клъстер.

Управление на хранилището за ключове

Една инсталация има два OpenBao сървъра в своето пространство от имена. Хранилището за ключове, openbao, съхранява всеки ключ, който Nexus използва. Деблокиращият сървър, openbao-unsealer, е втори, малък OpenBao, чиято единствена задача е да разпечата хранилището за ключове. Хранилището за ключове се разпечатва само чрез транзитния ключ на деблокиращия сървър; деблокиращият сървър е запечатан със схемата на Shamir под формата на 5 дяла, от които всеки 3 го разпечатват.

При първото инсталиране задание (Job) за попечителство инициализира и двата сървъра вътре в клъстера. То криптира дяловете на деблокиращия сървър и ключовете за възстановяване на хранилището за ключове в собствената си памет за всеки пазител, посочен в keys.custody.recipients, и съхранява само шифротекста (обектите Secret openbao-unseal-shares-encrypted и openbao-recovery-keys-encrypted). То отменя и двата root токена в същото задание. Пакетът на всеки пазител съдържа достатъчно дялове за самостоятелно разпечатване, така че един пазител е всичко, от което се нуждаете след рестартиране.

След рестартиране на възел

След всяко рестартиране на възела, на който работи деблокиращият сървър (спиране на тока, рестартиране на машината, рестартиране на средата за изпълнение на контейнери), деблокиращият сървър стартира запечатан. Докато пазител не го разпечата, хранилището за ключове също остава запечатано и нищо, което се нуждае от ключ, не работи. Конзолата все още отговаря и хората все още могат да влизат, но всяко действие, което се нуждае от ключ от хранилището за ключове, изчаква: отваряне на криптирано съдържание, заявяване на инсталация (claim), проверка на компилирана част.

Попитайте самия OpenBao, вътре във всеки под. Това е деблокиращият сървър:

kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
  bao status -format=json -address=https://127.0.0.1:8200 \
  -ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"

Изпълнете същата команда срещу openbao-0 с -tls-server-name=openbao за хранилището за ключове. bao status завършва с код 0, когато сървърът е разпечатан, 2, когато е запечатан, и 1, когато не може да отговори. Изход с код 1 не води до никакво заключение, тъй като подът може все още да не е стартирал. Изчакайте една минута и попитайте отново. Ако деблокиращият сървър е разпечатан, а хранилището за ключове е все още запечатано, хранилището за ключове се разпечатва само и не е нужно да правите нищо.

Отляво: икона на човек с етикет „Пазител, със собствена age самоличност“. Стрелка отива надясно в кутия „unseal.sh на машината на пазителя (едно декриптиране)“. Оттам стрелка с етикет „kubectl port-forward, Transport Layer Security (TLS), проверен спрямо сертифициращия орган (CA) на деблокиращия сървър“ отива в кутия „openbao-unsealer (Shamir 5 дяла, всеки 3)“. От деблокиращия сървър втора стрелка с етикет „транзитен ключ, автоматично“ отива в кутия „openbao, хранилището за ключове“. От хранилището за ключове ветрило от стрелки отива към малки кутии „nexus-keys“, „nexus-auth“, „останалите услуги“. Бележка под пазителя: „самоличността никога не напуска тази машина“.
Какво прави пазителят след рестартиране на възел.

Разпечатване

Чартът доставя unseal.sh в своята папка files/custody/, идентичен байт по байт във всяка версия. Пазителят го стартира на собствената си машина. Скриптът прочита криптирания Secret, декриптира го еднократно със самоличността на пазителя (самоличност от тип Secure Enclave изисква Touch ID еднократно), изпраща дяловете към деблокиращия сървър и потвърждава, че той е разпечатан. Нито един дял никога не се записва във файл и не се подава в командния ред.

Harrow го стартира в директен режим, чрез пренасочване на портове (port-forward):

kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &

AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh

<path-to-your-custodian-identity> е файлът за age самоличност на пазителя – частната половина на един от получателите в keys.custody.recipients. UNSEAL_RESOLVE е името, което носи сертификатът на деблокиращия сървър (<namespace> е пространството от имена, в което е инсталиран Nexus, nexus по подразбиране), така че TLS се проверява спрямо собствения CA на деблокиращия сървър, въпреки че връзката отива към 127.0.0.1. Скриптът никога не изключва проверката на сертификата.

Код на изход Последен ред Значение
0 UNSEALED nexus/openbao-unsealer-0 Разпечатан. Ако вече е бил разпечатан, нищо не е изпратено
1 STILL-SEALED … Все още запечатан или извикването за разпечатване е неуспешно
2 UNSEAL-REFUSED … Липсва предварително изискване, посочено в съобщението
3 UNSEAL-REFUSED … Тази самоличност не може да декриптира дяловете, следователно не е пазител на тази инсталация. Нищо не е изпратено

В рамките на една минута хранилището за ключове го последва само. Проверете с kubectl -n nexus get deploy,statefulset дали всичко отново е готово.

Пазителите се избират преди инсталирането и всеки създава свой собствен ключ на собствената си машина. Чартът вижда единствено публичната половина:

age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.key

Първата команда създава обикновена age самоличност; нейният получател е редът # public key: age1... във файла. Втората създава самоличност, съхранявана в Secure Enclave на Mac, с получател, започващ с age1se1. Всеки от двата получателя влиза в keys.custody.recipients. Файлът със самоличността остава при своя пазител, офлайн.

Резервно копиране и възстановяване

Страницата „Архивиране и възстановяване“ (Back up and restore) показва всяко хранилище с неговия последен архив и последния път, когато възстановяването му е било реално тествано. Един архив е доказан едва след като бъде възстановен, затова страницата проследява и двете. Архибират се шест хранилища. Основната база данни съхранява хората и настройките, заданията и одитния дневник. До нея стоят графът на знанията и индексът за търсене, след това файловото хранилище и хранилището за памет. Ключовете са шестото хранилище – запечатани и съхранявани отделно от данните. Архивите отиват във вашето собствено пространство за съхранение, криптирани с вашите собствени ключове, и Adverant не може да ги прочете. Когато дадено хранилище не е било тестово възстановявано в рамките на вашето правило, страницата показва табелата RESTORE_TEST_OVERDUE с бутон „Тествай сега“ (Test it now). Тестовото възстановяване се изпълнява в отделно пространство и никой не го забелязва.

Същите две действия са достъпни от командния ред:

nexusctl backup now
nexusctl backup verify

backup now прави архив на всяко хранилище наведнъж. backup verify проверява последния архив. Изпълнете и двете преди всяка промяна, която ви притеснява.

Архивиране и възстановяване
Архивиране и възстановяване
Всяко хранилище с неговия последен архив и неговото последно тествано възстановяване. Индексът за търсене е с просрочен тест и табелата предлага такъв да бъде стартиран сега.

За да възстановите, посочвате името на архива:

nexusctl restore --from <backup-id>

<backup-id> се взема от списъка на страницата „Архивиране и възстановяване“. Възстановяването се нуждае от втори човек, който да го одобри, и докато се изпълнява, лентата за напредък го показва с часа на стартиране и кой го е одобрил. Всички са в режим само за четене по време на възстановяването, което е различно от това да са блокирани: хората могат да влизат и да четат. Заданията не стартират (графиците изчакват и наваксват), а търсенето се връща, когато индексът за търсене е възстановен. Всичко, записано след създаването на архива, се губи, така че отчетът за възстановяване го изброява по собственик, за да могат да го направят отново.

Възстановяване
Възстановяване
Възстановяване в ход. Хранилищата се връщат по ред, хората са в режим само за четене, докато не влезе и последното, а известие на всяка страница казва кога се очаква да приключи.

Пазете още едно нещо заедно с вашите архиви: обекта Secret nexus-generated в пространството от имена nexus. Чартът създава генерираните пароли и ключове за криптиране на инсталацията при първото инсталиране и ги прочита обратно от този Secret при всяко надграждане. Данните, запечатани под EXTERNAL_KEY_ENCRYPTION_KEY, се отварят само с този ключ. Съхранявайте копие на този Secret там, където пазите най-чувствителните си материали, защото всеки, който го притежава, притежава тези ключове.

Надграждания

Tomás надгражда в две стъпки. Първо пита какво ще се промени:

nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

Планът изброява какво се променя във версията, всяка промяна в структурата на базата данни и дали тя може да бъде отменена. След това той го прилага:

nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

Прилагането първо прави архив и изпълнява предварителна проверка (preflight). След това премества ядрата на вълни, като всяка вълна изчаква, докато предходната е била в изправно състояние в продължение на 10 минути. Страницата „Надграждане“ (Upgrade) показва всяка вълна в хода ѝ и състоянието на инсталацията през това време. Тя също така посочва до кога остава отворен пътят за връщане назад; след тази дата връщането назад изисква възстановяване от архив. Ако дадена стъпка е неуспешна, Nexus връща всяко ядро към предишната версия и ги проверява. Тогава известието UPGRADE_ROLLED_BACK посочва стъпката, която се е провалила, и казва, че данните не са променени. Корекцията е посочена преди бутона „Опитай отново“ (Try again), а пакетът за поддръжка е на един бутон разстояние.

За инсталация без външна връзка пакетът пристига на носител. Импортирането от носител проверява подписа на версията спрямо ключа за версии на Adverant, инсталиран на инсталацията, и проверява дали версиите се движат само напред. Файлове, подписани от който и да е друг, се отхвърлят с MEDIA_SIGNATURE_INVALID: нищо не се зарежда и работещата версия продължава да работи.

Надграждане
Надграждане
Надграждане в ход. Първо е направен архив, втората от трите вълни се движи, а пътят за връщане назад остава отворен до посочена дата.
Надграждането е неуспешно и беше върнато назад
Надграждането е неуспешно и беше върнато назад
Вълна се провали поради недостиг на място в том. Всяко ядро е върнато на предишната версия с непокътнати данни, а корекцията е посочена преди „Опитай отново“.

Какво се случва отдолу

nexusctl upgrade apply изпълнява helm upgrade срещу чарта. Ако надграждате сами с Helm, важат същите правила:

helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900s

Схемата се променя преди да се разгърнат новите подове. Миграциите на чарта са куки преди надграждане (pre-upgrade hooks), които се изпълняват последователно: първо първоначалното подготвяне (bootstrap) на базата данни, след това миграциите на всяка услуга, след това тези на бекенда за фронтенд (BFF) на конзолата. Заданието за попечителство също се изпълнява и на инсталация, която вече е инициализирана, то потвърждава това и не променя нищо. Всяко задание-кука има лимит на повторни опити (backoff limit) 0, така че миграция, която се провали, спира надграждането и никога не се опитва отново тихо: прочетете нейния дневник с kubectl -n nexus logs job/<hook-job>, преди да опитате отново.

Подът на всяка услуга изчаква в инициализиращ контейнер, wait-for-schema, докато регистърът на версиите покаже, че нейните миграции са приложени за изображението на новата версия. След връщане към предишна версия или надграждане, което е променило само стойности, рестартираният под намира своя ред и стартира веднага.

Преди да надградите

Три точки от бележките към изданието си струва да бъдат планирани:

  1. Надграждайте в спокоен период. При първото надграждане на инсталация, направена от по-ранен чарт, заданието за първоначално подготвяне отнема старите права по подразбиране върху таблиците и всяка услуга получава своите обратно от собствената си миграция. Докато тази миграция не се изпълни, услугата не може да използва своите таблици. Прекъсването трае секунди. Ако секундите са от значение, първо мащабирайте услугите до нула и ги върнете обратно, след като заданията за миграция приключат.
  2. Дайте организация на всеки ключ за приложен програмен интерфейс (API). Ключ без организация се отхвърля с 403 TOKEN_ORG_MISSING от всяка услуга, която проверява ключове чрез nexus-auth, включително nexus-graphrag. Преди да надградите, дайте на всеки такъв ключ организация или издайте нов ключ. Старите bcrypt ключове продължават да работят до датата си на принудително отменяне.
  3. Изчистете кешираните API ключове след това. Записи за кеширани ключове за период до един час носят грешното име на приложение, докато не го направите. Изпълнете това срещу кеша на nexus-auth – инстанцията на Valkey на инсталацията (nexus-valkey, парола в обекта Secret nexus-generated под VALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
  'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"

Това е за вътрешното за клъстера хранилище по подразбиране. При dataTier.valkey.mode: external няма такъв под: изпълнете същото сканиране и изтриване срещу вашия собствен Valkey хост, с паролата от обекта Secret, посочен в dataTier.valkey.external.existingSecret.

Връщане към предишна версия

В рамките на прозореца, който показва страницата „Надграждане“, бутонът „Върни се назад“ (Go back) връща всяко ядро към предишната версия. След изтичането на прозореца връщането назад означава възстановяване на архива, който надграждането е направило първо.

Две стойности никога не трябва да се променят при надграждане или връщане назад.

keys.installationName е постоянна. Първото първоначално подготвяне на хранилището за ключове създава самоличността на инсталацията под нея и тази самоличност е това, което е посочено във вашия лиценз. Използвайте точно същата стойност във всеки файл със стойности, който някога прилагате към тази инсталация.

Обектът Secret nexus-generated трябва да остане такъв, какъвто е. При всяко надграждане чартът чете EXTERNAL_KEY_ENCRYPTION_KEY от него и проверява формата му. Стойност, която не е нито base64 от 32 байта, нито необработеният 32-байтов ключ от по-стара инсталация, спира генерирането с EXTERNAL_KEY_ENCRYPTION_KEY_INVALID, като чартът никога не отпечатва стойността. Това означава, че някой е редактирал или заменил обекта Secret. Върнете обратно ключа, под който са запечатани данните на тази инсталация, като base64 от неговите 32 байта (printf %s "$OLD" | base64), и надградете отново. Нов произволен ключ би оставил всичко, запечатано със стария, нечетимо.

Мащабиране

Всеки компонент има превключвател и размер във файла със стойности. Задължителните компоненти не могат да бъдат изключени: чартът ги стартира независимо какво казва техният превключвател. На останалите могат да бъдат дадени повече реплики и повече ресурси.

# harrow-values.yaml (Helm values): scaling
components:
  gateway:
    replicas: 2
    resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
  graphrag:
    replicas: 2
  workflows:
    replicas: 2
workflows:
  concurrency: "8"
dataTier:
  qdrant:
    resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }

Приложете го с helm upgrade, както е посочено по-горе. Томовете се оразмеряват под dataTier.<store>.size; проверете дали вашият клас за съхранение може да разширява том, преди да увеличите такъв. Страницата „Как се справя инсталацията“ (How the installation is doing) показва на графики колко натоварени са били процесорите и паметта на клъстера, както и оставащото място във всеки от тях. Увеличете това, което се изчерпва първо.

Пакети за поддръжка

Когато Harrow се нуждае от помощта на Adverant, Tomás прави пакет за поддръжка:

nexusctl support-bundle --out harrow-support-4471.tar.gz

Страницата „Пакет за поддръжка“ (Support bundle) на конзолата прави същия файл. Тя събира дневниците на ядрата от последните 24 часа с подробности за състоянието и версията. Настройките влизат без техните тайни, заедно с отчетите от предварителната проверка и инсталирането. Преди да бъде записано каквото и да било, заличаването (redaction) заменя имената и тайните със заместители и вие преглеждате предварителен преглед на точно това, което ще напусне системата. Собственото съдържание на хората никога не се събира. Пакетът отива в Adverant или като качване на страницата „Поддръжка и пакети за поддръжка“ (Support and support bundles) на вашия акаунт, или като файл, изнесен на носител. Само инженерите по поддръжката, посочени в заявката, могат да го отворят и той се изтрива след 30 дни.

Пакет за поддръжка
Пакет за поддръжка
Създаване на пакет за поддръжка. Предварителният преглед на заличаването показва какво е скрито, преди каквото и да било да напусне системата, и само посочените инженери могат да го отворят.

Експортиране на доказателства

Одиторите и вашият собствен екип по съответствието често искат доказателство, че платформата се държи така, както е описано. nexusctl evidence export го записва:

nexusctl evidence export --out harrow-evidence-2027-01

Наред със записите, които експортира, командата стартира сондите за приемане на платформата: маршрутизаторът за изкуствен интелект (ИИ) е достъпен и отговаря, задание на UNO се изпраща и завършва, а четене между организации се отхвърля. Техните резултати са в probes.json в изходната папка.

Състояние с един поглед

nexusctl status --json отговаря дали инсталацията е в изправно състояние и в какво състояние се намира всеки компонент. Тя също така отчита състоянието на лиценза с неговата дата на изтичане, изданието и работещата версия. Всяка компилирана част е изброена със своя хеш (digest) и подпис. Това е командата, която да поставите зад вашия собствен мониторинг.

Деинсталиране

nexusctl uninstall --profile <profile-file>

<profile-file> е профилът за внедряване за клъстера – същият файл, който сте подали на nexusctl handoff --profile <profile-file> --out <dir>, ако вашият платформен екип управлява клъстера. Handoff записва за този екип списък на ясен език с това, от което Nexus се нуждае от клъстера, и манифестите за постигането му. Деинсталирането премахва пространствата от имена на Nexus и нищо друго, като запазва вашите архиви. Самоличността на инсталацията си отива с нея. По-късно инсталиране на същия клъстер е нова инсталация с нова самоличност, така че нейното заявяване е ново заявяване и нейният лиценз е нов лиценз.

Страниците „Тази инсталация“

Операторите на инсталацията имат своя собствена група в менюто – „Тази инсталация“ (This installation), и нейните страници са мястото, където се случва по-голямата част от тази глава в конзолата. Член, който отвори някоя от тях, вижда страницата „Не сте администратор“ (Not an administrator), която посочва кой може да действа.

Страница За какво служи
Лицензът и какво отключва той Лицензът и неговите групи функции (глава 2.13, Лицензи)
Ако лицензът изтече Скалата на изтичане с думи, с датите на този лиценз
Компилирани части Всеки лицензиран модул с неговата нощна проверка на подписа
Отчет за потреблението за Adverant Годишните броячи, четими преди да напуснат системата
Версии и надграждания Всяка инсталирана версия, с информация кой я е инсталирал и кога
Надграждане Поетапното надграждане и пътят за връщане назад
Архивиране и възстановяване Всяко хранилище, неговият последен архив и неговото последно тествано възстановяване
Състояние на инсталацията Възли, капацитет и текущи разходи, с предупреждения
Ключове и изтриване Ключът на всяка организация и бутон „Изтрий“ (Erase) с причина и втори човек
Инциденти Отворени и затворени проблеми, с това какво е било направено
Скорошно оттегляне Функции, които се изключват, с дати, експортиране и замяна
Състояние Всяка част от Nexus сега и за период от 30 дни, с думи, които всеки може да прочете
Пакет за поддръжка Какво заминава за Adverant и как

Две от тези страници заслужават няколко думи. „Компилирани части“ (Compiled parts) проверява всеки лицензиран модул спрямо подписа на Adverant всяка нощ. Променено копие на модул се отхвърля и никога не се зарежда, докато подписаното копие продължава да работи, а страницата брои отхвърлянията по месеци, така че манипулирано копие не може да мине незабелязано. „Състояние“ (Status) е написана така, че всеки в организацията да може да я прочете. Тя показва всяка част от Nexus сега и през последните 30 дни като лента от дни, с планирана поддръжка и скорошни инциденти, а операторът добавя инцидент или прозорец за поддръжка от същата страница.

Инсталацията Community има една страница – „Тази инсталация (Community)“ (This installation (Community)), с нейната версия, състояние и актуализации. Страниците за Enterprise се появяват на нея като демонстрационни прегледи (teasers), които посочват кой може да ги включи.