職務内容について
Nexus上のAIエージェントは、請求メモの記録、クレジットノートの作成、通関品目の分類を行います。その一つひとつを測定・レビューし、定められた範囲内に収める必要があり、またその測定基準は規制当局が認めるものでなければなりません。
公正なレビューの一部、モデルの誠実さを保つゴールデンセット、そしてお客様への品質報告の方法をご担当いただきます。
業務内容
- エージェント、スキル、モデルの評価を設計し、実行する。
- 異なるファミリーのモデルを組み合わせたレビューパイプラインを構築する。
- 人から報告された不良な結果を、継続的に使えるテストケースに変える。
- お客様や監査人が確認できる形で品質を報告する。
- プラットフォームエンジニアと協力し、頻繁に実行できるようレビューのコストを下げる。
必須スキル・経験
- 言語モデルまたは機械学習システムの評価に関する実務経験。
- 高いPythonスキルと優れた統計的判断力。
- 他のエンジニアが頼りにするツールの構築経験。
- 単一の数値に対する健全な懐疑心。
- 明快な文章力。
歓迎スキル・経験
- 規制対象分野での実務経験、またはモデルリスクに関する業務経験。
- 人手によるレビュープログラムの経験。
- EU AI法への知見。
働く環境・待遇
重要な現場で使われる製品への真のオーナーシップ、ドキュメント化を重視するチーム、そして業務を遂行するための十分な時間を提供します。給与、職位、福利厚生はオファーレター（条件提示書）に明記されます。
選考プロセス
- 初回面談： 採用マネージャーとの約30分の通話。
- 実績の紹介： これまでに構築したものの説明、または短い課題への取り組み。
- チーム面談： とともに、実際の課題を扱うワーキングセッションを行います。
- オファー： 書面にて提示します。
すべての選考ステップにおいて、必ず結果をご連絡します。