1.1 为什么关注”决策模型”#

Agent harness 的循环里充满高频、边界明确的窄判断：输入是否安全、请求属于哪类、该加载哪个 skill、命令能否执行、哪些片段进入上下文。若每个判断都调用前沿大模型，延迟与成本不可接受。Jev 的定位是这些判断的”快思考层”（System One）。

1.2 Jev 的接口形态#

1
POST https://api.typesafe.ai/v1/systemone
2
Authorization: Bearer $TYPESAFE_API_KEY
3

4
{
5
  "state": "...",                // 字符串 / 对象 / 数组，仅文本
6
  "model": "jev-latest",
7
  "questions": { "..." : Question }
8
}

1.3 已知限制（评测中均验证）#

• choice 选项上限 255；超出需分块或两阶段（SkillRouterBench 即使用 5×~101 分块）。
• state + questions 共享约 32k tokens；语料规模大时必须先检索。
• 仅文本输入；主训练语言为英语。
• 参考成本：$42 / billion input tokens；实测单次调用 P50 约 0.3s、约 $0.00004。

2.1 框架#

统一流程（eval/ 目录，全部脚本开源）：

1
数据集加载 → 构造 state/questions → 并发调用（JSONL 缓存，可断点续跑）
2
          → 指标计算（阈值扫描 / 覆盖率曲线 / 校准 / 成本）→ Markdown 报告

2.2 指标定义（重要，避免口径混淆）#

• 阈值扫描：将 noul 概率或 choice 概率作为分数，扫描判定阈值，报告 precision / recall / F1 / FPR。
• 置信度门控曲线：noul 无 confidence 字段，采用 certainty = max(p, 1-p) 代理；低于阈值视为”不确定 → 转人工”，输出覆盖率 vs 覆盖内准确率。
• 条件 Hit@1（SkillRet 实验）：金标候选在短名单内时，模型选中金标的比例；用于隔离”选择器”能力与”召回”能力。
• macro 平均（SkillRetBench）：对 5 个设置分别计算后取算术平均。
• 成本：按 usage.input_tokens × $42/B 估算（不含输出 token 计费项，若官方另行计费则实际略高）。

2.3 数据集清单#

3.1 间接注入检测#

InjecAgent（真实数据：17 个用户工具 × 62 条攻击指令）

• 分类型召回（阈值 0.5）：data_stealing 98.5%、direct_harm 80.6%；良性样本均分 0.03。
• 门控：certainty ≥ 0.90 时自动处置 41.1% 流量，覆盖内准确率 100%。
• 成本 $0.0213 / 1,105 次；P50 0.30s、P95 0.41s。

合成工具输出（把注入文本包进 WebFetch/Read/GitHub/Email 返回模板）

• 漏报集中在编码绕过（西里尔同形字、代码片段伪装）。
• certainty ≥ 0.90：覆盖率 62.0%、覆盖内准确率 100%。

对照：neuralchemy（任务不匹配的教训）

该数据集将”请求有害内容”也标为恶意，而我们的 criteria 只问”是否覆盖/提取系统指令”——召回低的主因是任务定义不匹配，而非能力上限。另注意校准：0~0.1 分桶中仍有 16.6% 恶意样本，低分不等于安全。

3.2 检索重排（BEIR SciFact）#

60 查询 × 15 候选（BM25 top-15 内混入标注相关文档），Jev 对每个 (query, document) 打 0-3 相关性分后重排：

• 相关文档均分 2.38 vs 不相关 0.65。
• 成本 $0.028 / 900 对；P50 0.31s。

3.3 意图与目录路由#

MetaTool（199 工具目录，干扰项用 BM25 选最相似工具）

• 参考：MetaTool 论文 similar 子任务 ChatGPT 69.1%、Baichuan2 59.1%、Vicuna-33b 54.0%（评测口径不完全相同，量级参考）。
• 错例集中在近义工具对（如 VideoSummarizeTool vs video_highlight），少量高置信错误——目录描述需显式写边界（not_for）。

3.4 命令风险门控（自建 130 条）#

设计：4 个正交 noul（破坏性 / 触密 / 外发 / 不可逆）+ 代码组合决策（deny/review/allow）。

• v1 漏掉”可用性破坏”类（fork bomb、reboot、iptables 锁死）；criteria 补上”失去可用性”后全部拦截。
• 阈值网格搜索最优三分类一致率仅 79.2%——余下误差来自 review 语义本身的模糊，非阈值问题。
• 正交拆分的收益体现在误伤率：14.5% → 1.8%。

3.5 工具相关性判定（BFCL，三版迭代）#

任务：给定用户请求 + 函数列表，判断”是否至少有一个函数应被调用”。样本 1,140（不可调用 1,122 / 应调用 18）。

• v2c 门控：certainty ≥ 0.95 → 覆盖率 61.8%、覆盖内准确率 99.1%；≥ 0.98 → 39.5% / 100%。
• 典型失败模式：“技术上能用”被当成”语义上该用”（通用 requests.get 被判相关）。

3.6 Skill Router（SkillRet + SkillRetBench）#

背景：skill 目录持续膨胀，全部注入主模型上下文既昂贵又干扰。目标：请求进入时用一次 Jev 判断”加载哪个 skill”。

SkillRet（6,006 skills，300 查询）——隔离召回与选择

* 条件 Hit@1 = 金标在短名单内时选中比例。结论：选择器强（85~89%），瓶颈在召回；把 body 加入检索索引直接抬高端到端。

SkillRetBench（501 skills、5 设置 × 100 查询，与官方基线同口径）

（部分官方基线为模拟实现，见 SkillRetBench 数据集说明；BM25/Dense/Hybrid 为真实检索器。）

三版架构建模（多技能组合是分水岭）

• v2 失败的诊断：逐问 noul 分数集中在 0.5x（top10 均分 0.56），独立打分缺竞争性，合并排名成为噪声。
• v3 结构：分块 choice 取每块 top-3（15 候选，概率有区分度）→ 一次请求内对 15 个候选逐问 noul”是否入集合” → 合并排序。
• Set completeness（全部金标进入集合）：single 65%、multi 25%、outdated 91%——“选全”仍是弱项，下一步方向。
• 成本：hybrid $0.650 / 500 查询、P50 2.07s；生产同构的 bm25top50 $0.072 / 500 查询、P50 0.33s（R@1 54.8%）。

3.7 负结果#

模型难度路由（RouterBench，825 条）

• 判断准确率 51.3%（无信号）；分数中位数 0.11，系统性偏向”小模型能搞定”。
• 语言拆分：中文任务 14.6%（n=123） vs 英文 57.7%（n=702）。
• 结论：从文本预测”某个具体模型会不会错”依赖模型特性，不是自然语言属性。

长轨迹失败归因（Who&When，184 轨迹 × 8 步 = 1,403 步）

• 子集拆分：Algorithm-Generated 0.532 / Hand-Crafted 0.641，均不可用。
• 失败定义包含”从未被纠正”，需要跨步骤因果推理——超出 System One 的形态。轨迹类任务若要使用 Jev，应改问局部可观察信号（工具报错、重复动作、格式违规）。