เข้าสู่ระบบนัดหมายรับฟังข้อมูลสรุป (or นัดหมายพูดคุยกับทีมงาน)

บทที่ 2.15

วันที่สอง: การดูแลระบบ Nexus

งานประจำในการดูแลระบบที่ติดตั้งหลังจากสัปดาห์แรก เริ่มตั้งแต่การปลดผนึกที่เก็บคีย์หลังจากการรีสตาร์ท ไปจนถึงการถอนการติดตั้ง

หน้านี้แปลโดย AI จากต้นฉบับภาษาอังกฤษ หากมีส่วนใดไม่ชัดเจน โปรดอ้างอิงจากหน้าภาษาอังกฤษ อ่านหน้านี้เป็นภาษาอังกฤษ

ใช้เวลาอ่าน 18 นาที

ครั้งแรกที่ไฟฟ้าดับในห้องเซิร์ฟเวอร์ของ Harrow Port Authority ทุกอย่างกลับคืนมา ยกเว้นส่วนที่ต้องใช้คีย์ Pod ต่างๆ อยู่ในสถานะ Running และคอนโซลก็โหลดขึ้นมาได้ แต่ไม่มีใครเปิดไฟล์ได้เลย Tomás Reilly เคยอ่านเจอเรื่องนี้แล้ว แต่เขาก็ยังต้องใช้เวลาถึงยี่สิบนาทีกว่าจะนึกออกว่าทำไม ตัวปลดซีลของที่เก็บคีย์จะเริ่มต้นในสถานะถูกซีลหลังจากการรีสตาร์ทโหนดทุกครั้ง และมีเพียงผู้ดูแลคีย์เท่านั้นที่สามารถเปิดได้

บทนี้จะติดตามกิจวัตรของผู้ปฏิบัติงานหลังจากสัปดาห์แรก ตั้งแต่ที่เก็บคีย์และผู้ดูแลคีย์ไปจนถึงการถอนการติดตั้ง คำสั่ง nexusctl ทุกตัวในที่นี้รองรับ --explain ซึ่งจะพิมพ์การทำงานของ kubectl และ helm ที่จะรันออกมาให้ดูโดยไม่รันจริง ให้ใช้ตัวเลือกนี้ในครั้งแรกที่คุณรันคำสั่งใดๆ บนคลัสเตอร์ใช้งานจริง

การดูแลรักษาที่เก็บคีย์

การติดตั้งหนึ่งระบบจะมีเซิร์ฟเวอร์ OpenBao สองตัวอยู่ในเนมสเปซ ที่เก็บคีย์ openbao จะเก็บคีย์ทุกตัวที่ Nexus ใช้ ส่วนตัวปลดซีล openbao-unsealer คือ OpenBao ขนาดเล็กตัวที่สองซึ่งมีหน้าที่เดียวคือการปลดซีลที่เก็บคีย์ ที่เก็บคีย์จะปลดซีลตัวเองผ่านคีย์ทรานซิตของตัวปลดซีล ส่วนตัวปลดซีลจะถูกซีลด้วยรูปแบบของ Shamir โดยแบ่งเป็น 5 ส่วน ซึ่งใช้เพียง 3 ส่วนใดก็ได้ในการปลดซีล

ในการติดตั้งครั้งแรก Job สำหรับการดูแลคีย์จะตั้งค่าเริ่มต้นให้กับเซิร์ฟเวอร์ทั้งสองภายในคลัสเตอร์ โดยจะเข้ารหัสส่วนแบ่งคีย์ของตัวปลดซีลและคีย์กู้คืนของที่เก็บคีย์ไว้ในหน่วยความจำของตัวเองสำหรับผู้ดูแลคีย์แต่ละคนที่ระบุไว้ใน keys.custody.recipients และจัดเก็บเฉพาะข้อความที่เข้ารหัสแล้วเท่านั้น (Secret openbao-unseal-shares-encrypted และ openbao-recovery-keys-encrypted) จากนั้นจะเพิกถอนโทเค็นรูททั้งสองใน Job เดียวกัน ชุดข้อมูลของผู้ดูแลคีย์แต่ละคนจะมีส่วนแบ่งคีย์เพียงพอที่จะปลดซีลได้ด้วยตนเอง ดังนั้นหลังการรีสตาร์ทจึงใช้ผู้ดูแลคีย์เพียงคนเดียวก็เพียงพอ

หลังจากการรีสตาร์ทโหนด

หลังจากการรีสตาร์ทโหนดที่ตัวปลดซีลทำงานอยู่ไม่ว่ากรณีใด (ไฟดับ การรีบูตเครื่อง หรือการรีสตาร์ทรันไทม์ของคอนเทนเนอร์) ตัวปลดซีลจะเริ่มต้นในสถานะถูกซีล จนกว่าผู้ดูแลคีย์จะปลดซีล ที่เก็บคีย์ก็จะยังคงถูกซีลอยู่เช่นกัน และทุกอย่างที่ต้องใช้คีย์จะไม่ทำงาน คอนโซลยังคงตอบสนองและผู้คนยังสามารถลงชื่อเข้าใช้ได้ แต่การกระทำใดๆ ที่ต้องใช้คีย์จากที่เก็บคีย์จะต้องรอ เช่น การเปิดเนื้อหาที่เข้ารหัส การเคลม หรือการตรวจสอบส่วนที่คอมไพล์แล้ว

สอบถามจาก OpenBao โดยตรงภายในแต่ละ Pod นี่คือตัวปลดซีล:

kubectl -n nexus exec openbao-unsealer-0 -c openbao -- \
  bao status -format=json -address=https://127.0.0.1:8200 \
  -ca-cert=/openbao/tls/ca.crt -tls-server-name=openbao-unsealer
echo "exit $?"

รันคำสั่งเดียวกันนี้กับ openbao-0 โดยใช้ -tls-server-name=openbao สำหรับที่เก็บคีย์ bao status จะคืนค่าสถานะออกเป็น 0 เมื่อเซิร์ฟเวอร์ถูกปลดซีลแล้ว เป็น 2 เมื่อยังถูกซีลอยู่ และเป็น 1 เมื่อไม่สามารถตอบสนองได้ สถานะออกที่เป็น 1 ยังสรุปอะไรไม่ได้ เนื่องจาก Pod อาจจะยังไม่พร้อมทำงาน ให้รอสักหนึ่งนาทีแล้วถามอีกครั้ง หากตัวปลดซีลถูกปลดซีลแล้วแต่ที่เก็บคีย์ยังถูกซีลอยู่ แสดงว่าที่เก็บคีย์กำลังปลดซีลตัวเองและคุณไม่จำเป็นต้องทำอะไร

ด้านซ้าย: ไอคอนรูปคนมีป้ายกำกับว่า "ผู้ดูแลคีย์ พร้อมข้อมูลระบุตัวตน age ของตนเอง" ลูกศรชี้ไปทางขวาเข้าสู่กล่อง "unseal.sh บนเครื่องของผู้ดูแลคีย์ (ถอดรหัสหนึ่งครั้ง)" จากจุดนั้นมีลูกศรที่มีป้ายกำกับว่า "kubectl port-forward, Transport Layer Security (TLS) ถูกตรวจสอบกับ certificate authority (CA) ของตัวปลดซีล" ชี้เข้าสู่กล่อง "openbao-unsealer (Shamir 5 ส่วน, ใช้ 3 ส่วนใดก็ได้)" จากตัวปลดซีลมีลูกศรเส้นที่สองที่มีป้ายกำกับว่า "คีย์ทรานซิต, อัตโนมัติ" ชี้เข้าสู่กล่อง "openbao, ที่เก็บคีย์" จากที่เก็บคีย์ มีลูกศรกระจายออกไปยังกล่องขนาดเล็ก "nexus-keys", "nexus-auth", "บริการอื่นๆ" มีหมายเหตุใต้ผู้ดูแลคีย์ว่า "ข้อมูลระบุตัวตนจะไม่ออกจากเครื่องนี้เด็ดขาด"
สิ่งที่ผู้ดูแลคีย์ต้องทำหลังจากการรีสตาร์ทโหนด

การปลดซีล

ชาร์ตจะมาพร้อมกับ unseal.sh ในโฟลเดอร์ files/custody/ ซึ่งเหมือนกันทุกไบต์ในทุกรีลีส ผู้ดูแลคีย์จะรันสคริปต์นี้บนเครื่องของตนเอง สคริปต์จะอ่าน Secret ที่เข้ารหัสไว้ ถอดรหัสหนึ่งครั้งด้วยข้อมูลระบุตัวตนของผู้ดูแลคีย์ (ข้อมูลระบุตัวตนใน Secure Enclave จะขอ Touch ID หนึ่งครั้ง) ส่งส่วนแบ่งคีย์ไปยังตัวปลดซีล และยืนยันว่าปลดซีลเรียบร้อยแล้ว จะไม่มีการเขียนส่วนแบ่งคีย์ลงในไฟล์หรือใส่ไว้ในบรรทัดคำสั่งเด็ดขาด

Harrow รันสคริปต์นี้ในโหมดตรงผ่านการทำ port-forward:

kubectl -n nexus get secret openbao-unsealer-tls -o jsonpath='{.data.ca\.crt}' | base64 -d > unsealer-ca.crt
kubectl -n nexus port-forward pod/openbao-unsealer-0 28200:8200 &

AGE_IDENTITY=<path-to-your-custodian-identity> \
OPENBAO_NS=nexus \
UNSEAL_ADDR=https://127.0.0.1:28200 \
UNSEAL_CACERT=unsealer-ca.crt \
UNSEAL_RESOLVE=openbao-unsealer.<namespace>.svc \
UNSEAL_SECRET_JSON_CMD='kubectl -n nexus get secret openbao-unseal-shares-encrypted -o json' \
bash unseal.sh

<path-to-your-custodian-identity> คือไฟล์ข้อมูลระบุตัวตน age ของผู้ดูแลคีย์ ซึ่งเป็นส่วนส่วนตัวของหนึ่งในผู้รับที่อยู่ใน keys.custody.recipients UNSEAL_RESOLVE คือชื่อที่ระบุอยู่ในใบรับรองของตัวปลดซีล (<namespace> คือเนมสเปซที่ติดตั้ง Nexus ไว้ ซึ่งค่าเริ่มต้นคือ nexus) ดังนั้น TLS จึงถูกตรวจสอบกับ CA ของตัวปลดซีลเอง แม้ว่าการเชื่อมต่อจะไปยัง 127.0.0.1 ก็ตาม สคริปต์จะไม่ปิดการตรวจสอบใบรับรองเด็ดขาด

สถานะออก บรรทัดสุดท้าย ความหมาย
0 UNSEALED nexus/openbao-unsealer-0 ปลดซีลแล้ว หากปลดซีลอยู่ก่อนแล้ว จะไม่มีการส่งข้อมูลใดๆ
1 STILL-SEALED … ยังถูกซีลอยู่ หรือการเรียกใช้การปลดซีลล้มเหลว
2 UNSEAL-REFUSED … สิ่งที่ต้องมีล่วงหน้าขาดหายไป โดยระบุชื่อไว้ในข้อความแล้ว
3 UNSEAL-REFUSED … ข้อมูลระบุตัวตนนี้ไม่สามารถถอดรหัสส่วนแบ่งคีย์ได้ ดังนั้นจึงไม่ใช่ผู้ดูแลคีย์ของการติดตั้งนี้ ไม่มีการส่งข้อมูลใดๆ

ภายในหนึ่งนาที ที่เก็บคีย์จะปลดซีลตามมาเอง ตรวจสอบด้วย kubectl -n nexus get deploy,statefulset ว่าทุกอย่างพร้อมใช้งานอีกครั้งแล้ว

ผู้ดูแลคีย์จะได้รับเลือกก่อนการติดตั้ง และแต่ละคนจะสร้างคีย์ของตนเองบนเครื่องของตนเอง ชาร์ตจะเห็นเฉพาะส่วนสาธารณะเท่านั้น:

age-keygen -o custodian.key
age-plugin-se keygen --access-control=any-biometry -o custodian.key

คำสั่งแรกจะสร้างข้อมูลระบุตัวตน age แบบปกติ โดยผู้รับคือบรรทัด # public key: age1... ในไฟล์ คำสั่งที่สองจะสร้างข้อมูลระบุตัวตนที่เก็บไว้ใน Secure Enclave ของเครื่อง Mac โดยมีผู้รับที่ขึ้นต้นด้วย age1se1 ผู้รับไม่ว่าแบบใดจะถูกนำไปใส่ใน keys.custody.recipients ส่วนไฟล์ข้อมูลระบุตัวตนจะอยู่กับผู้ดูแลคีย์แบบออฟไลน์

การสำรองและกู้คืนข้อมูล

หน้า การสำรองและกู้คืนข้อมูล จะแสดงที่เก็บข้อมูลแต่ละแห่งพร้อมข้อมูลสำรองล่าสุด และครั้งล่าสุดที่มีการทดสอบกู้คืนข้อมูลนั้นจริงๆ ข้อมูลสำรองจะได้รับการพิสูจน์ว่าใช้ได้ก็ต่อเมื่อถูกกู้คืนแล้วเท่านั้น หน้านี้จึงติดตามทั้งสองอย่าง มีการสำรองที่เก็บข้อมูลหกแห่ง ฐานข้อมูลหลักจะเก็บข้อมูลผู้คนและการตั้งค่า รวมถึงงานและบันทึกการตรวจสอบ ถัดไปคือกราฟความรู้และดัชนีการค้นหา ตามด้วยที่เก็บไฟล์และที่เก็บหน่วยความจำ ส่วนคีย์คือที่เก็บที่หก ซึ่งถูกซีลและแยกเก็บไว้ต่างหากจากข้อมูล ข้อมูลสำรองจะถูกส่งไปยังพื้นที่จัดเก็บของคุณเอง เข้ารหัสด้วยคีย์ของคุณเอง และ Adverant ไม่สามารถอ่านได้ เมื่อที่เก็บข้อมูลใดไม่ได้รับการทดสอบกู้คืนภายในเกณฑ์ที่คุณกำหนด หน้านี้จะแสดงป้าย RESTORE_TEST_OVERDUE พร้อมปุ่ม ทดสอบทันที การทดสอบกู้คืนจะทำงานในพื้นที่แยกต่างหากและไม่มีใครสังเกตเห็น

การกระทำทั้งสองอย่างนี้สามารถเรียกใช้ได้จากบรรทัดคำสั่งเช่นกัน:

nexusctl backup now
nexusctl backup verify

backup now จะสำรองที่เก็บข้อมูลทุกแห่งพร้อมกัน backup verify จะตรวจสอบข้อมูลสำรองล่าสุด ให้รันทั้งสองคำสั่งก่อนทำการเปลี่ยนแปลงใดๆ ที่คุณกังวล

การสำรองและกู้คืนข้อมูล
การสำรองและกู้คืนข้อมูล
ที่เก็บข้อมูลแต่ละแห่งพร้อมข้อมูลสำรองล่าสุดและการทดสอบกู้คืนล่าสุด ดัชนีการค้นหาเลยกำหนดการทดสอบแล้ว และป้ายแจ้งเตือนเสนอให้รันการทดสอบทันที

ในการกู้คืน ให้คุณระบุชื่อข้อมูลสำรอง:

nexusctl restore --from <backup-id>

<backup-id> มาจากรายการในหน้า การสำรองและกู้คืนข้อมูล การกู้คืนต้องมีบุคคลที่สองเป็นผู้อนุมัติ และในขณะที่กำลังทำงาน แถบความคืบหน้าจะแสดงสถานะพร้อมเวลาที่เริ่มต้นและผู้อนุมัติ ทุกคนจะอยู่ในโหมดอ่านอย่างเดียวระหว่างการกู้คืน ซึ่งต่างจากการถูกล็อกไม่ให้เข้าใช้งาน กล่าวคือผู้คนยังสามารถลงชื่อเข้าใช้และอ่านข้อมูลได้ งานต่างๆ จะไม่เริ่มทำงาน (กำหนดการต่างๆ จะรอและทำงานย้อนหลังตามให้ทัน) และการค้นหาจะกลับมาใช้งานได้เมื่อดัชนีการค้นหากลับมา ข้อมูลใดๆ ที่เขียนขึ้นหลังจากการสำรองข้อมูลจะสูญหาย ดังนั้นรายงานการกู้คืนจะแสดงรายการข้อมูลเหล่านั้นแยกตามเจ้าของ เพื่อให้พวกเขาสามารถทำซ้ำได้

กำลังกู้คืน
กำลังกู้คืน
การกู้คืนกำลังดำเนินการ ที่เก็บข้อมูลต่างๆ จะกลับคืนมาตามลำดับ ผู้คนจะอยู่ในโหมดอ่านอย่างเดียวจนกว่าที่เก็บสุดท้ายจะกลับมา และจะมีประกาศแจ้งในทุกหน้าว่าจะพร้อมใช้งานอีกครั้งเมื่อใด

ให้เก็บอีกสิ่งหนึ่งไว้พร้อมกับข้อมูลสำรองของคุณ นั่นคือ Secret nexus-generated ในเนมสเปซ nexus ชาร์ตจะสร้างรหัสผ่านและคีย์การเข้ารหัสของการติดตั้งในการติดตั้งครั้งแรก และจะอ่านค่าเหล่านั้นกลับมาจาก Secret ดังกล่าวในทุกครั้งที่อัปเกรด ข้อมูลที่ถูกซีลไว้ภายใต้ EXTERNAL_KEY_ENCRYPTION_KEY จะเปิดได้ด้วยคีย์นั้นเท่านั้น ให้เก็บสำเนาของ Secret นี้ไว้ในที่เดียวกับที่คุณเก็บข้อมูลที่ละเอียดอ่อนที่สุด เพราะใครก็ตามที่ถือครองมันก็จะถือครองคีย์เหล่านั้นด้วย

การอัปเกรด

Tomás ทำการอัปเกรดในสองขั้นตอน ขั้นแรกเขาถามว่าจะมีอะไรเปลี่ยนแปลงบ้าง:

nexusctl upgrade plan --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

แผนการอัปเกรดจะแสดงรายการสิ่งที่เปลี่ยนแปลงในรีลีส การเปลี่ยนแปลงโครงสร้างของฐานข้อมูล และระบุว่าสามารถย้อนกลับได้หรือไม่ จากนั้นเขาจึงนำไปใช้:

nexusctl upgrade apply --bundle nexus-alpha-1.0.0-alpha.2-enterprise.tar

การนำไปใช้จะทำการสำรองข้อมูลก่อนและรันการตรวจสอบล่วงหน้า จากนั้นจะย้ายเอนจินเป็นระลอก โดยแต่ละระลอกจะรอจนกว่าระลอกก่อนหน้าจะทำงานได้ปกติเป็นเวลา 10 นาที หน้า อัปเกรด จะแสดงแต่ละระลอกในขณะที่ดำเนินการ รวมถึงสถานะความสมบูรณ์ของการติดตั้งในระหว่างนั้น และยังระบุด้วยว่าช่องทางในการย้อนกลับจะเปิดอยู่ถึงเมื่อใด หลังจากวันที่ดังกล่าว การย้อนกลับจะต้องใช้วิธีการกู้คืนข้อมูล หากขั้นตอนใดล้มเหลว Nexus จะโรลแบ็กทุกเอนจินกลับไปยังรีลีสก่อนหน้าและทำการตรวจสอบ จากนั้นประกาศ UPGRADE_ROLLED_BACK จะระบุขั้นตอนที่ล้มเหลวและแจ้งว่าข้อมูลไม่ได้รับการเปลี่ยนแปลง วิธีแก้ไขจะแสดงอยู่ก่อนปุ่ม ลองอีกครั้ง และสามารถสร้างชุดข้อมูลสำหรับการสนับสนุนได้ในปุ่มเดียว

สำหรับการติดตั้งที่ไม่มีการเชื่อมต่อภายนอก ชุดข้อมูลจะมาในสื่อบันทึก การนำเข้าจากสื่อบันทึกจะตรวจสอบลายเซ็นของรีลีสกับคีย์รีลีสของ Adverant ที่ติดตั้งอยู่ในระบบ และตรวจสอบว่าเวอร์ชันมีการขยับไปข้างหน้าเท่านั้น ไฟล์ที่ลงนามโดยผู้อื่นจะถูกปฏิเสธด้วย MEDIA_SIGNATURE_INVALID โดยจะไม่มีการโหลดสิ่งใด และรีลีสที่กำลังทำงานอยู่จะทำงานต่อไป

อัปเกรด
อัปเกรด
การอัปเกรดกำลังดำเนินการ มีการสำรองข้อมูลก่อนแล้ว ระลอกที่สองจากสามระลอกกำลังทำงาน และช่องทางในการย้อนกลับจะเปิดอยู่จนถึงวันที่ที่ระบุ
การอัปเกรดล้มเหลวและถูกโรลแบ็กแล้ว
การอัปเกรดล้มเหลวและถูกโรลแบ็กแล้ว
ระลอกหนึ่งล้มเหลวเนื่องจากพื้นที่ของโวลุ่มไม่เพียงพอ ทุกเอนจินกลับมาอยู่ที่รีลีสก่อนหน้าโดยที่ข้อมูลไม่ถูกแตะต้อง และวิธีแก้ไขแสดงอยู่ก่อนปุ่ม ลองอีกครั้ง

สิ่งที่เกิดขึ้นเบื้องหลัง

nexusctl upgrade apply จะรัน helm upgrade กับชาร์ต หากคุณอัปเกรดด้วย Helm ด้วยตนเอง กฎเดียวกันนี้ก็จะถูกนำมาใช้:

helm upgrade nexus oci://registry.adverant.ai/nexus/charts/nexus --version <version> -n nexus -f harrow-values.yaml
kubectl -n nexus wait --for=condition=Available deploy --all --timeout=900s

สคีมาจะถูกปรับเปลี่ยนก่อนที่ Pod ใหม่จะเริ่มทำงาน การไมเกรตของชาร์ตเป็น pre-upgrade hook ที่รันตามลำดับ เริ่มจากบูตสแตรปของฐานข้อมูลก่อน ตามด้วยการไมเกรตของแต่ละบริการ และจากนั้นจึงเป็นของ backend for frontend (BFF) ของคอนโซล Job สำหรับการดูแลคีย์จะรันด้วยเช่นกัน และในการติดตั้งที่ตั้งค่าเริ่มต้นไปแล้ว มันจะยืนยันตามนั้นและไม่เปลี่ยนแปลงอะไรเลย Job ของแต่ละ hook มีค่า backoff limit เป็น 0 ดังนั้นการไมเกรตที่ล้มเหลวจะหยุดการอัปเกรดและจะไม่พยายามใหม่โดยอัตโนมัติแบบเงียบๆ ให้อ่านบันทึกของมันด้วย kubectl -n nexus logs job/<hook-job> ก่อนลองอีกครั้ง

Pod ของแต่ละบริการจะรออยู่ใน init container ที่ชื่อ wait-for-schema จนกว่าบันทึกของรีลีสจะแสดงว่าการไมเกรตถูกนำไปใช้กับอิมเมจของรีลีสใหม่แล้ว หลังจากการโรลแบ็ก หรือการอัปเกรดที่เปลี่ยนเฉพาะค่าตัวแปร Pod ที่รีสตาร์ทจะพบแถวข้อมูลของตัวเองและเริ่มทำงานทันที

ก่อนที่คุณจะอัปเกรด

สามประเด็นจากบันทึกประจำรุ่นที่ควรวางแผนรองรับ:

  1. อัปเกรดในช่วงเวลาที่มีการใช้งานน้อย ในการอัปเกรดครั้งแรกของการติดตั้งที่สร้างจากชาร์ตรุ่นก่อนหน้า งานบูตสแตรปจะถอนสิทธิ์เข้าถึงตารางตามค่าเริ่มต้นแบบเก่าออก และแต่ละบริการจะได้รับสิทธิ์ของตัวเองคืนจากการไมเกรตของตัวเอง จนกว่าการไมเกรตนั้นจะรัน บริการจะไม่สามารถใช้ตารางของตัวเองได้ ช่วงว่างนี้กินเวลาไม่กี่วินาที หากเวลาไม่กี่วินาทีมีความสำคัญ ให้ปรับลดขนาดบริการเป็นศูนย์ก่อน แล้วปรับขนาดกลับขึ้นมาเมื่องานไมเกรตเสร็จสิ้นแล้ว
  2. กำหนดองค์กรให้กับคีย์ application programming interface (API) ทุกตัว คีย์ที่ไม่มีองค์กรจะถูกปฏิเสธด้วย 403 TOKEN_ORG_MISSING โดยทุกบริการที่ตรวจสอบคีย์ผ่าน nexus-auth ซึ่งรวมถึง nexus-graphrag ด้วย ก่อนที่คุณจะอัปเกรด ให้กำหนดองค์กรให้กับคีย์ดังกล่าวแต่ละตัว หรือออกคีย์ใหม่ คีย์ bcrypt แบบเก่าจะยังคงใช้งานได้จนถึงวันที่ถูกเพิกถอนอย่างถาวร
  3. ล้างคีย์ API ที่แคชไว้หลังจากนั้น รายการคีย์ที่แคชไว้นานสูงสุดหนึ่งชั่วโมงจะมีชื่อแอปพลิเคชันที่ไม่ถูกต้องจนกว่าคุณจะล้างแคช ให้รันคำสั่งนี้กับแคชของ nexus-auth ซึ่งเป็น Valkey ของการติดตั้ง (nexus-valkey โดยรหัสผ่านอยู่ใน Secret nexus-generated ภายใต้ VALKEY_PASSWORD):
pw=$(kubectl -n nexus get secret nexus-generated -o jsonpath='{.data.VALKEY_PASSWORD}' | base64 -d)
kubectl -n nexus exec nexus-valkey-0 -- sh -c \
  'valkey-cli -a "$1" --scan --pattern "apikey:prefix:*" | xargs -r valkey-cli -a "$1" del' _ "$pw"

นั่นสำหรับที่เก็บข้อมูลภายในคลัสเตอร์ตามค่าเริ่มต้น แต่หากใช้ dataTier.valkey.mode: external จะไม่มี Pod ดังกล่าว ให้รันการสแกนและลบแบบเดียวกันนี้กับโฮสต์ Valkey ของคุณเอง โดยใช้รหัสผ่านจาก Secret ที่ระบุชื่อไว้ใน dataTier.valkey.external.existingSecret

การย้อนกลับ (Rollback)

ภายในช่วงเวลาที่หน้า อัปเกรด แสดง การกด ย้อนกลับ จะนำทุกเอนจินกลับไปยังรีลีสก่อนหน้า หลังจากพ้นช่วงเวลานี้ การย้อนกลับจะหมายถึงการกู้คืนข้อมูลสำรองที่การอัปเกรดได้สร้างไว้ในตอนแรก

ค่าสองค่าที่ห้ามเปลี่ยนแปลงเด็ดขาดไม่ว่าจะในการอัปเกรดหรือการโรลแบ็ก

keys.installationName เป็นค่าถาวร การบูตสแตรปที่เก็บคีย์ครั้งแรกจะสร้างข้อมูลระบุตัวตนของการติดตั้งขึ้นภายใต้ค่านี้ และข้อมูลระบุตัวตนนั้นคือสิ่งที่ระบุไว้ในใบอนุญาตของคุณ ให้ใช้ค่าเดียวกันนี้ทุกประการในไฟล์ values ทุกไฟล์ที่คุณนำไปใช้กับการติดตั้งนี้

Secret nexus-generated ต้องคงอยู่ตามเดิม ในการอัปเกรดทุกครั้ง ชาร์ตจะอ่านค่า EXTERNAL_KEY_ENCRYPTION_KEY จาก Secret นี้และตรวจสอบรูปแบบ หากค่าไม่ใช่ทั้ง base64 ขนาด 32 ไบต์ และไม่ใช่คีย์ดิบขนาด 32 ไบต์ของการติดตั้งรุ่นเก่า การเรนเดอร์จะหยุดลงด้วย EXTERNAL_KEY_ENCRYPTION_KEY_INVALID และชาร์ตจะไม่พิมพ์ค่านั้นออกมา นั่นหมายความว่ามีคนแก้ไขหรือแทนที่ Secret ดังกล่าว ให้นำคีย์ที่ใช้ซีลข้อมูลของการติดตั้งนี้กลับเข้าไปในรูปแบบ base64 ขนาด 32 ไบต์ (printf %s "$OLD" | base64) แล้วอัปเกรดอีกครั้ง การใช้คีย์สุ่มตัวใหม่จะทำให้ทุกอย่างที่ถูกซีลไว้ภายใต้คีย์เก่าไม่สามารถอ่านได้เลย

การปรับขนาด (Scaling)

แต่ละคอมโพเนนต์มีสวิตช์เปิดปิดและขนาดระบุไว้ในไฟล์ values คอมโพเนนต์ที่จำเป็นจะไม่สามารถปิดได้ ชาร์ตจะรันคอมโพเนนต์เหล่านี้ไม่ว่าสวิตช์จะระบุไว้อย่างไรก็ตาม ส่วนคอมโพเนนต์อื่นๆ สามารถเพิ่มจำนวนเรพลิกาและทรัพยากรได้

# harrow-values.yaml (Helm values): scaling
components:
  gateway:
    replicas: 2
    resources: { requests: { cpu: 400m, memory: 1Gi }, limits: { memory: 3Gi } }
  graphrag:
    replicas: 2
  workflows:
    replicas: 2
workflows:
  concurrency: "8"
dataTier:
  qdrant:
    resources: { requests: { cpu: 200m, memory: 512Mi }, limits: { memory: 4Gi } }

นำไปใช้ด้วย helm upgrade ดังข้างต้น ขนาดของโวลุ่มจะถูกกำหนดไว้ภายใต้ dataTier.<store>.size ให้ตรวจสอบว่า storage class ของคุณสามารถขยายขนาดโวลุ่มได้ก่อนที่คุณจะเพิ่มค่า หน้า สถานะการทำงานของการติดตั้ง จะแสดงกราฟว่าโปรเซสเซอร์และหน่วยความจำของคลัสเตอร์ทำงานหนักเพียงใด พร้อมพื้นที่ว่างที่เหลือในแต่ละส่วน ให้ขยายส่วนที่ใกล้จะหมดก่อน

บันเดิลข้อมูลสำหรับการสนับสนุน

เมื่อ Harrow ต้องการความช่วยเหลือจาก Adverant, Tomás จะสร้างชุดข้อมูลสำหรับการสนับสนุน:

nexusctl support-bundle --out harrow-support-4471.tar.gz

หน้า ชุดข้อมูลสำหรับการสนับสนุน ในคอนโซลจะสร้างไฟล์เดียวกันนี้ โดยจะรวบรวมบันทึกของเอนจินในช่วง 24 ชั่วโมงที่ผ่านมาพร้อมรายละเอียดความสมบูรณ์และเวอร์ชัน การตั้งค่าต่างๆ จะถูกรวมเข้าไปโดยไม่มีข้อมูลความลับ พร้อมกับรายงานการตรวจสอบล่วงหน้าและรายงานการติดตั้ง ก่อนที่จะเขียนข้อมูลใดๆ การปิดบังข้อมูลจะแทนที่ชื่อและข้อมูลความลับด้วยข้อความตัวอย่าง และคุณจะได้อ่านตัวอย่างของสิ่งที่จะถูกส่งออกไปอย่างชัดเจน เนื้อหาส่วนตัวของผู้คนจะไม่ถูกรวบรวมเด็ดขาด ชุดข้อมูลนี้จะถูกส่งไปยัง Adverant ไม่ว่าจะด้วยการอัปโหลดไปยังหน้า การสนับสนุนและชุดข้อมูลสำหรับการสนับสนุน ของบัญชีของคุณ หรือเป็นไฟล์ที่นำออกไปทางสื่อบันทึก มีเพียงวิศวกรฝ่ายสนับสนุนที่มีชื่อระบุในคำขอเท่านั้นที่สามารถเปิดได้ และข้อมูลจะถูกลบหลังจาก 30 วัน

ชุดข้อมูลสำหรับการสนับสนุน
ชุดข้อมูลสำหรับการสนับสนุน
การสร้างชุดข้อมูลสำหรับการสนับสนุน ตัวอย่างการปิดบังข้อมูลจะแสดงสิ่งที่ถูกซ่อนไว้ก่อนที่ข้อมูลใดๆ จะถูกส่งออก และมีเพียงวิศวกรที่ระบุชื่อไว้เท่านั้นที่สามารถเปิดได้

การส่งออกหลักฐาน

ผู้ตรวจสอบและทีมกำกับดูแลการปฏิบัติตามกฎระเบียบของคุณเองมักต้องการหลักฐานว่าแพลตฟอร์มทำงานตามที่ระบุไว้ nexusctl evidence export จะเขียนหลักฐานนั้นออกมา:

nexusctl evidence export --out harrow-evidence-2027-01

นอกเหนือจากบันทึกที่ส่งออกแล้ว คำสั่งนี้จะรันการทดสอบการยอมรับของแพลตฟอร์ม ได้แก่ เราเตอร์ปัญญาประดิษฐ์ (AI) สามารถเข้าถึงได้และตอบสนอง งาน UNO ถูกส่งออกไปและทำงานเสร็จสมบูรณ์ และการอ่านข้อมูลข้ามองค์กรถูกปฏิเสธ ผลลัพธ์ของการทดสอบเหล่านี้จะอยู่ใน probes.json ในโฟลเดอร์เอาต์พุต

ภาพรวมสถานะ

nexusctl status --json จะตอบว่าการติดตั้งมีความสมบูรณ์หรือไม่ และแต่ละคอมโพเนนต์อยู่ในสถานะใด นอกจากนี้ยังรายงานสถานะใบอนุญาตพร้อมวันหมดอายุ รุ่น และรีลีสที่กำลังทำงานอยู่ ส่วนที่คอมไพล์แล้วแต่ละส่วนจะแสดงรายการพร้อมไดเจสต์และลายเซ็น นี่คือคำสั่งสำหรับนำไปผูกไว้กับระบบมอนิเตอร์ของคุณเอง

การถอนการติดตั้ง

nexusctl uninstall --profile <profile-file>

<profile-file> คือโปรไฟล์การดีพลอยสำหรับคลัสเตอร์ ซึ่งเป็นไฟล์เดียวกับที่คุณส่งให้กับ nexusctl handoff --profile <profile-file> --out <dir> หากทีมแพลตฟอร์มของคุณเป็นผู้ดูแลคลัสเตอร์ การส่งมอบงานจะเขียนรายการสิ่งที่ Nexus ต้องการจากคลัสเตอร์ด้วยภาษาที่เข้าใจง่าย พร้อมทั้งไฟล์ manifest เพื่อตอบสนองความต้องการนั้นสำหรับทีมดังกล่าว การถอนการติดตั้งจะลบเฉพาะเนมสเปซของ Nexus เท่านั้นโดยไม่ลบสิ่งอื่น และจะเก็บข้อมูลสำรองของคุณไว้ ข้อมูลระบุตัวตนของการติดตั้งจะถูกลบไปด้วย การติดตั้งในภายหลังบนคลัสเตอร์เดิมจะถือเป็นการติดตั้งใหม่ที่มีข้อมูลระบุตัวตนใหม่ ดังนั้นการเคลมจึงเป็นการเคลมใหม่ และใบอนุญาตก็เป็นใบอนุญาตใหม่

หน้า This installation

ผู้ปฏิบัติงานของการติดตั้งจะมีกลุ่มเมนูของตนเองที่ชื่อ การติดตั้งนี้ และหน้าต่างๆ ในกลุ่มนี้คือที่ที่เนื้อหาส่วนใหญ่ของบทนี้เกิดขึ้นในคอนโซล สมาชิกทั่วไปที่เปิดหน้าใดหน้าหนึ่งในนี้จะเห็นหน้า ไม่ใช่ผู้ดูแลระบบ ซึ่งจะระบุชื่อผู้ที่สามารถดำเนินการได้

หน้า มีไว้เพื่ออะไร
ใบอนุญาตและสิ่งที่ปลดล็อก ใบอนุญาตและกลุ่มฟีเจอร์ (บทที่ 2.13, ใบอนุญาต)
หากใบอนุญาตหมดอายุ ลำดับขั้นการหมดอายุที่อธิบายเป็นคำพูด พร้อมวันที่ของใบอนุญาตนี้
ส่วนประกอบที่คอมไพล์แล้ว แต่ละโมดูลที่มีใบอนุญาตพร้อมการตรวจสอบลายเซ็นทุกคืน
ใบแจ้งยอดการใช้งานสำหรับ Adverant ตัวนับประจำปีที่สามารถอ่านตรวจสอบได้ก่อนที่จะถูกส่งออกไป
เวอร์ชันและการอัปเกรด ทุกเวอร์ชันที่ติดตั้ง พร้อมข้อมูลว่าใครเป็นคนติดตั้งและเมื่อใด
อัปเกรด การอัปเกรดแบบเป็นระยะและช่องทางในการย้อนกลับ
การสำรองและกู้คืนข้อมูล ที่เก็บข้อมูลแต่ละแห่ง ข้อมูลสำรองล่าสุด และการทดสอบกู้คืนล่าสุด
สถานะของระบบที่ติดตั้ง โหนด ความจุ และต้นทุนการดำเนินงาน พร้อมคำเตือน
คีย์และการลบข้อมูล คีย์ของแต่ละองค์กร และปุ่ม ลบข้อมูล ที่ต้องระบุเหตุผลและใช้บุคคลที่สอง
เหตุการณ์ผิดปกติ ปัญหาที่เปิดอยู่และที่ปิดไปแล้ว พร้อมสิ่งที่ได้ดำเนินการ
กำลังจะยกเลิกเร็วๆ นี้ ฟีเจอร์ที่กำลังจะถูกปิดใช้งาน พร้อมวันที่ การส่งออกข้อมูล และสิ่งที่จะมาแทนที่
สถานะ แต่ละส่วนของ Nexus ในตอนนี้และตลอด 30 วันที่ผ่านมา ด้วยถ้อยคำที่ใครก็อ่านเข้าใจได้
ชุดข้อมูลสำหรับการสนับสนุน สิ่งที่ถูกส่งออกไปยัง Adverant และส่งไปอย่างไร

สองหน้าในกลุ่มนี้ควรกล่าวถึงเป็นพิเศษ หน้า ส่วนที่คอมไพล์แล้ว จะตรวจสอบทุกโมดูลที่มีใบอนุญาตกับลายเซ็นของ Adverant ทุกคืน สำเนาของโมดูลที่ถูกแก้ไขจะถูกปฏิเสธและไม่ถูกโหลด ในขณะที่สำเนาที่ลงนามถูกต้องจะทำงานต่อไป และหน้านี้จะนับจำนวนการปฏิเสธแยกตามเดือน เพื่อไม่ให้สำเนาที่ถูกดัดแปลงรอดพ้นสายตาไปได้ ส่วนหน้า สถานะ เขียนขึ้นเพื่อให้ทุกคนในองค์กรสามารถอ่านเข้าใจได้ โดยจะแสดงแต่ละส่วนของ Nexus ในตอนนี้และย้อนหลังไป 30 วันเป็นแถบรายวัน พร้อมการบำรุงรักษาตามกำหนดการและเหตุการณ์ผิดปกติล่าสุด และผู้ปฏิบัติงานสามารถเพิ่มเหตุการณ์ผิดปกติหรือช่วงเวลาการบำรุงรักษาได้จากหน้าเดียวกันนี้

การติดตั้งรุ่น Community จะมีเพียงหน้าเดียวคือ การติดตั้งนี้ (Community) ซึ่งแสดงเวอร์ชัน ความสมบูรณ์ และอัปเดตต่างๆ ส่วนหน้าของรุ่น Enterprise จะปรากฏบนหน้านี้เป็นตัวอย่างแนะนำซึ่งระบุชื่อผู้ที่สามารถเปิดใช้งานได้