로그인브리핑 예약

챕터 1.4

조직의 기준에 맞춘 AI

Nexus가 조직 자체의 기준에 맞춰 인공지능(AI)을 사용하는 방식을 설명합니다. 조직이 자체 모델 키를 가져와 소유하고, 단일 스위치보드가 모든 모델 호출을 조직이 선택한 제공업체로 라우팅하며, 로컬 모델은 자체 서버에서 실행되고, 조직 모르게 Adverant로 전송되는 데이터는 없습니다.

이 페이지는 AI에 의해 영어 원문에서 번역되었습니다. 불명확한 내용이 있는 경우 영어 페이지를 기준으로 삼으십시오. 이 페이지를 영어로 읽기

읽는 시간 10분

Harrow Port Authority의 운영 설치 환경에는 호스팅된 AI 제공업체가 전혀 없습니다. 인터넷으로 연결되는 경로가 없으므로, 사용하는 모든 모델은 자체 기계실의 그래픽 카드에서 실행됩니다. 대부분의 작업에는 Qwen3-32B가 사용되며, 그 옆에 Llama 3.3 70B와 Gemma 3 27B가 함께 구동됩니다. Harrow의 IT 총괄인 Aoife Brennan이 AI 교환대 페이지를 열면 바로 이 모델들과 각 모델이 수행하는 작업, 그리고 모든 호출이 이동할 수 있는 허용된 장소가 정확히 나열됩니다. 그 장소는 바로 건물 내부입니다.

대부분의 조직은 호스팅 모델과 로컬 모델을 혼합하여 사용할 것입니다. 하지만 원칙은 변하지 않습니다. 조직이 어떤 인공지능(AI)을 사용할지, 데이터가 어디까지 이동할 수 있을지, 그리고 얼마를 지출할지 결정하면 Nexus는 모든 호출에 대해 그 결정을 집행합니다.

조직에 귀속되는 키

조직이 호스팅 모델을 사용할 때는 자체 키를 가져옵니다. Nexus는 조직의 AI 풀에 키를 보관합니다. 이 키들은 조직 내 개인이 아닌 조직 자체에 귀속됩니다. 소유자와 관리자가 키를 추가하고 철회합니다. 이 풀은 Anthropic, Google Gemini, OpenRouter 및 Scaleway의 키를 수용하며, 공통 OpenAI 호환 프로토콜을 사용하는 조직 자체 운영 서버를 가리킬 수도 있습니다.

키는 한 번만 입력합니다. Nexus는 키가 입력되는 즉시 암호화하며, 이후 어디에서도 다시 표시하지 않습니다. 그때부터 키는 짧은 힌트와 "9월 3일에 Aoife가 설정함"과 같은 한 줄의 설명으로만 나타납니다. 키가 철회되면 교환대는 즉시 해당 키로 호출을 보내는 것을 중단하고, 누가 무엇을 사용했는지에 대한 이력이 일관되게 유지되도록 키는 철회된 상태로 목록에 남습니다. 아무것도 삭제되지 않습니다.

각 조직은 자체 제공업체 계정과 자체 청구서를 가집니다. 테넌트의 AI 이면에 공유된 Adverant 키가 존재하지 않으므로, 한 조직의 지출이 다른 조직의 지출과 섞이는 일이 결코 없으며, 제공업체를 변경하는 조직은 단순히 기존 키를 철회하고 다른 키를 추가하기만 하면 됩니다.

외부 데이터 소스용 키는 모델 키와 분리되어 보관됩니다. 예를 들어, Harrow는 읽어 들이는 선박 위치 피드용 키를 외부 데이터 키의 별도 페이지에 보관합니다. 모델 키는 오직 풀에만 속해야 하므로, 해당 페이지는 모델 키를 즉시 거부합니다.

모든 호출을 라우팅하는 스위치보드

Nexus의 앱과 에이전트는 모델을 직접 호출하지 않으며, 워크플로도 마찬가지입니다. 이들은 AI 교환대에 요청합니다. 교환대가 키를 소유하고 제공업체와 모델을 최종 선택합니다. 앱이 짧은 응답을 위해 빠른 모델을 원한다고 요청할 수 있으며, 조직에 해당 제공업체가 설정되어 있다면 교환대는 그 요청을 존중합니다. 설정되어 있지 않다면 교환대는 조직이 허용한 다른 모델을 선택합니다. 앱은 조직이 선택하지 않은 모델을 결코 강제할 수 없습니다.

왼쪽에는 "어시스턴트", "워크플로 단계", "에이전트"라고 적힌 세 개의 작은 상자가 각각 "AI 교환대"라고 적힌 중앙의 큰 상자로 화살표를 보냅니다. 그 안에는 "작업: 어떤 종류의 모델이 적합한가", "데이터: 이 사이트를 떠날 수 있는가", "장소: 허용된 리전 및 제공업체", "폴백: 첫 번째 모델이 사용 중일 때 다음으로 허용된 모델"이라고 적힌 네 개의 단계가 쌓여 있습니다. 화살표는 교환대를 떠나 오른쪽에 있는 두 개의 상자인 "자체 서버의 로컬 모델"과 "조직이 키를 보유한 호스팅 제공업체"로 향합니다. 세 번째 화살표는 점선으로 그려져 있습니다. 이 화살표는 "거부 및 기록됨"이라는 메모와 함께 "그 외 모든 곳"이라고 적힌 상자 옆의 가위표(X)에서 끝납니다.
하나의 모델 호출이 교환대를 통과하는 과정에서 일어나는 일입니다.

호출이 출발하기 전에 앱은 요청하는 부서와 역할, 그리고 데이터의 민감도를 라벨로 붙입니다. 교환대는 호출 자체를 열어보지 않고 해당 라벨을 기준으로 라우팅합니다. 이때 네 가지 결정을 내립니다.

첫 번째는 작업입니다. 스캔된 양식을 읽는 것과 편지 초안을 작성하는 것에는 서로 다른 모델이 적합하므로, 조직은 각 작업 유형(기본, 빠름, 추론, 코드, 긴 컨텍스트)을 선호하는 모델에 매핑합니다. 두 번째는 데이터입니다. 개인정보나 기밀 데이터는 조직 자체 하드웨어에 있는 모델로 제한할 수 있으며, 공개 자료는 더 많은 모델을 사용할 수 있습니다. 세 번째는 장소입니다. 호출은 부서가 허용한 리전과 제공업체로만 이동하며, 그 외의 다른 곳으로 나가려는 호출은 거부되고 그 거부 내역은 기록으로 남습니다. 네 번째는 폴백(대체 작동)입니다. 모델이 느리거나 다운된 경우, 다음으로 허용된 모델이 호출을 처리합니다. 실패한 키는 60초 동안 휴지기를 갖고 건너뛰어지며, 연속으로 다섯 번 실패하면 꺼집니다. 호출은 허용된 모델에 도달하거나 대기하며, 둘 다 작동하지 않으면 명확한 이유와 함께 실패 처리됩니다. 규칙이 금지하는 곳으로는 결코 이동하지 않습니다.

규칙은 조직 단위에서 시작하며, 각 부서와 앱, 그리고 각 데이터 유형에 따라 더 좁혀질 수 있습니다. 한 부서는 자체 하드웨어의 로컬 모델로만 제한되는 반면, 다른 부서는 유럽 연합 내의 호스팅 모델을 사용할 수 있습니다. 부서의 규칙은 결코 조직의 규칙보다 느슨할 수 없습니다.

AI 교환대
AI 교환대
AI 교환대 페이지입니다. 어떤 모델이 어떤 작업을 수행하고 데이터가 어디로 이동할 수 있는지 확인하십시오. 각 키는 누가 언제 설정했는지만 표시됩니다.

내용을 읽지 않고 횟수만 집계되는 호출

교환대는 개인 및 팀별, 그리고 앱 및 일별로 모든 호출 수를 계산합니다. 또한 각 호출의 소요 시간과 비용도 측정합니다. 무엇을 질문했는지 또는 어떤 응답이 돌아왔는지는 결코 저장하거나 읽지 않습니다. 각 예산에는 지정된 소유자와 한도가 있습니다. 예산은 조직부터 부서와 스킬을 거쳐 개인 한 명에 이르기까지 네 가지 수준으로 설정할 수 있습니다. 예산에 도달하면 소유자가 선택한 규칙이 적용됩니다. 작업을 계속 진행하거나 더 저렴한 모델로 이동할 수 있으며, 관리자가 동의할 때까지 중단될 수도 있습니다. 재무팀은 호스팅 모델과 로컬 모델을 모두 아우르는 하나의 명세서를 받습니다.

자체 서버에서 실행되는 모델

조직이 자체 하드웨어에서 실행하는 모든 모델은 OpenAI 호환 프로토콜을 사용하는 한 교환대에 합류할 수 있습니다. 귀사의 IT 팀이 교환대에 서버 주소를 입력하면 발견된 모델들을 확인하고 각 모델이 수행할 작업을 선택합니다. 작업이 완료되면 연결 페이지에 "이 사이트 외부로 아무것도 유출되지 않습니다"라는 확인 메시지가 표시됩니다. 텍스트를 검색 가능한 형태로 변환하는 소형 모델 또한 기본적으로 일반 프로세서 기반의 설치 환경 내부에서 실행되므로 검색 자체에 외부 서비스가 필요하지 않습니다. 이를 위해 호스팅 서비스를 사용하는 것은 조직이 내릴 수 있는 선택 사항입니다.

Harrow와 같은 에어갭(망분리) 사이트에서는 로컬 모델이 유일한 모델입니다. 이는 사람들이 수행하는 대부분의 작업에서 잘 작동하지만, 한 가지 분명한 한계가 있습니다. 특정 기능을 사용하려면 해당 모델이 사이트 내에 설치되어 있어야 한다는 점입니다. Harrow의 노트북 스튜디오는 로컬 모델을 통해 슬라이드와 한 페이지 요약본을 만들 수 있지만, 오디오 요약에는 음성 모델이 필요합니다. 음성 모델이 설치될 때까지 스튜디오는 그 사실을 명확히 알리고 이를 추가할 수 있는 담당자를 표시합니다.

에어갭 사이트의 스튜디오
에어갭 사이트의 스튜디오
에어갭 사이트의 노트북 스튜디오입니다. 오디오 요약은 누락된 음성 모델로 인해 중단되며, 안내판에는 모델을 추가할 수 있는 담당자와 그동안 스튜디오가 만들 수 있는 결과물이 무엇인지 표시됩니다.

로컬 모델들은 서로를 교차 검증할 수도 있습니다. Harrow에서는 한 모델 패밀리가 수행한 작업을 다른 모델 패밀리가 검토하므로(예: Qwen3-32B의 작업을 Llama 3.3 70B가 검토), 한 패밀리의 사각지대를 동일한 패밀리가 검토하는 일을 방지합니다.

한 단계 더 나아가고자 하는 조직의 경우, 모델 팩토리 애드온을 통해 조직이 사용하도록 허용된 데이터만을 사용하여 조직 자체 그래픽 카드에서 모델을 학습시키고 튜닝할 수 있습니다.

키가 없을 때의 AI 비활성화와 Nexus의 안내

연결된 모델이 없는 조직은 AI 응답을 받지 못합니다. 이는 결함이 아니라 의도된 설계상의 제한입니다. Nexus는 그 공백을 메우기 위해 공유 키를 몰래 빌려 쓰지 않습니다. 그렇게 하면 조직의 데이터가 조직이 선택하지 않은 곳으로 이동하게 되기 때문입니다.

대신 사람들에게는 단순한 안내판이 표시됩니다. 어시스턴트는 연결된 모델이 없어 응답할 수 없다고 설명하고, 작은 글씨로 MODEL_NOT_CONNECTED 코드를 표시하며, 권한이 있는 사용자에게 "모델 연결" 옵션을 제공합니다. 모델을 기다리던 작업들은 모델이 다시 연결되는 즉시 실행됩니다.

사용자 모르게 Adverant로 전송되지 않는 데이터

자체 호스팅된 Nexus는 귀사의 인력에 대한 정보를 Adverant에 보고하지 않습니다. 무언가 외부로 전송되어야 할 때는 전송하기 전에 귀하가 먼저 그 내용을 확인합니다.

자체 인프라의 설치 환경은 사용 중인 시트 및 기기 수, 그리고 기능 그룹과 같은 카운터 수치만 포함된 연간 사용량 명세서를 준비합니다. 관리자는 이를 업로드하거나 디스크에 담아 반출하기 전에 한 줄씩 모두 확인합니다. 새로운 기능을 요청하는 에어갭 사이트는 설치 환경의 핑거프린트와 함께 설치 환경 및 기능의 이름만 적힌 요청 파일을 보냅니다. 사용자나 그들의 작업에 관한 내용은 일절 포함되지 않습니다. 지원이 필요한 경우, 지원 번들은 무엇이 수집될지 보여주고 전송 전에 가려진(마스킹된) 내용의 미리보기를 제공합니다.

Adverant 직원은 자발적으로 고객의 설치 환경 내부를 들여다볼 수 없습니다. 지원팀이 확인해야 하는 경우 지원 케이스를 통해 요청이 전달되며, 귀사의 관리자가 승인 또는 거부를 결정합니다. 승인은 최대 8시간의 정해진 시간과 엔진 로그와 같이 지정된 범위로 제한됩니다. 여기에는 누군가의 메시지나 파일, 또는 메일과 메모리가 결코 포함되지 않습니다.

조직과 철저히 분리되는 개인의 구독

일부 사용자는 Claude Max 플랜과 같은 AI 구독료를 개인적으로 지불합니다. Nexus는 이를 절대 조직의 것으로 취급하지 않습니다. 개인 구독은 조직의 풀에 추가할 수 없으며(풀이 이름으로 이를 거부함), 조직의 AI 설정을 보여주는 어떤 페이지에도 나열되지 않습니다.

이유는 현실적입니다. 개인 플랜은 한 사람을 위한 소비자 약관에 따라 구매되므로, 동료의 작업을 해당 플랜으로 라우팅하면 약관을 위반하게 됩니다. 조직은 그 사용량을 확인하거나 예산을 설정할 수 없으며, 해당 직원이 퇴사하면 그 구독도 함께 사라집니다. 조직의 AI는 조직이 소유한 키를 기반으로 해야 하며, Nexus에서는 실제로 그렇게 작동합니다.