RSI Memory 阶段报告

01 / 结论与覆盖

索引包含 47 条运行记录，含训练、重复及失败。最新财务关账与薪酬预测训练均因模型请求空闲超时中断，未生成答案，没有新增目标配对。目录中另有 13 题已尝试但未成对、8 题未运行、1 题状态修改任务延期。不同版本、监督方式和重复题混合，不能把计数当作总体成功率提升。

15 组结果分布：11 组两组失败，1 组两组成功，2 组失败救回，1 组成功退化。两组失败也可能有部分得分变化，不能只按成功与否丢弃这些证据。

可以报告：原生 DSH 机制与完整证据链已经验证；同一道退款题有两次救回；另有明显负迁移。不能报告：全量评测完成、稳定泛化、正向净收益或自动生产 RSI 已上线。

02 / 当前交付形态

插件位于 Harness 的会话归档、后台学习与上下文组装环节，不替代 Harness，也不直接通过 LLM API 跑题。固定题目 → 候选映射隔离经验效果，当前不测召回准确度。

flowchart TD
  A[DSH 原生 Session 与默认 system prompt] --> B[任务完成与原始归档]
  B --> C[任务结果验证]
  C --> D[原生学习 Session 抽取经验]
  D --> E[独立筛选 保留原文和拒绝理由]
  E --> F{是否有保留候选}
  F -->|否| G[停止 保留学习成本 不执行对比]
  F -->|是| H[冻结候选和目标输入 hash]
  H --> I[全新无经验 Session]
  H --> J[全新有经验 Session 注入经验 system section]
  I --> K[结束后独立评分]
  J --> K
  K --> L[完整对话与指标审计]
  L --> M[收益结论 当前不自动生产发布]

03 / RSI-Agent 的借鉴与边界

基于本地固定版本源码审查，不宣称复现上游官方结果。RSI-Agent 固定模型权重，通过探索、执行验证和持久经验改进任务能力。

1. Curriculum：先广泛探索，再围绕薄弱能力深入练习。
2. Actor + Verifier：执行与结果检查分离，成功和失败均能成为学习来源。
3. 经验协调：在可信反馈后提炼、修订与消歧，不只是追加会话总结。
4. 测试冻结：正式执行禁用课程与记忆更新，正式评分不回流学习。

本项目的核心差异：任务正确性、经验来源可信度、经验正向收益是三种不同证据。上游记忆合法性审计不等于每条经验安装前的独立收益 A/B 门禁。

来源：固定源码分析与边界说明。版本 4d7ef43770dda341fccd9a5743db92407687c615。上游结果含不同预算、重试与聚合条件，不作为本项目有效性的证明。

04 / 真实效果证据

简单摘要是否也有效？

退款题三组对照中，无经验、普通摘要、筛选经验均成功：分别消耗 1,441,324 / 781,341 / 511,887 Token，耗时 271.71 / 128.08 / 96.43s。普通摘要本身也有效；尚未证明本方案在多题上稳定优于它。

学习成本与科学性边界

付款放行看板的学习尝试完成训练、抽取与筛选，但唯一草稿引用了未观察到的 hold / escalate 判定规则，被独立筛选拒绝。没有经验注入和测试组，不能算作效果对比。训练业务得分为 11/17，结构校验不可用；训练、抽取、筛选共 452,262 Token，完整保留，不把校验器问题当作模型错误。

首次完整报销训练得分 1，保留 2 条经验，训练 / 抽取 / 筛选共 247,320 Token。设置页启动运行也训练成功，保留 3 条经验，三阶段分别消耗 417,765 / 81,557 / 79,196 Token，共 578,518。候选不同，不能视作同候选重测。训练与目标共享两个业务记录，属于开发迁移，不是严格独立留出验证。

通用 Session 学习入口：工程证据，不计入成功率

设置中可选择已有授权且完成的 Session，自动归档、抽取、筛选，并可选学习后对比。真实运行抽取 3 条保留 1 条；无经验 / 有经验分别为 1,856 / 2,081 Token、1 / 1 次响应、721.58 / 755.63 ms，学习额外消耗 170,807 Token。该流程禁用工具、同来源重放、成功率未知，不能纳入 15 组已判分比较。

14 项注入与原生身份审计 · 完整原始会话证据 · 通用入口验收边界

Token 为原生日志记录用量，不是最终回复长度，也不是完整供应商账单。响应次数不等于用户会话轮数。任务耗时不包含学习、建会话和完整生产请求延迟。不能在质量退化时仅以提速宣称价值。

05 / 完整原始审计

全量运行索引、15 组效果变化与条件分层 · 设置页启动闭环与原始对话 · 案例与最新演示入口 · 文字报告

采购收货：抽取格式失败

完整训练与原始抽取审计：训练评分 0.882353，结构校验通过，唯一未匹配项为来源记录集合。训练 79,625 Token、8 次模型响应、17.401 秒；抽取 28,237 Token、1 次响应、25.269 秒。抽取输出混用双引号与单引号，被严格 JSON 校验拒绝，总用量 107,862 Token。

未执行独立筛选、未存储候选、未注入、未启动双组目标任务，不计算收益。原始文字承认具体遗漏未知，却提出扩大来源枚举，仍是未验证补救。没有修补原始输出或重跑到成功；该记录用于分析学习可靠性，不混入 15 组判分配对。

最新中断记录：不计作完整效果配对

组合关账任务原始审计：训练得分 0.875；训练 / 抽取 / 筛选分别消耗 563,486 / 108,969 / 111,761 Token，共 784,216。候选筛选通过并固定绑定目标。有经验执行被取消：518.025 秒、7 次响应、22 次工具调用、197,764 已知 Token，另有一次响应缺用量，完整 Token 未知。无经验组未执行，无效果结论。取消是展示优先的操作决定，不是预声明停止规则；不用于无偏估计。

新合成场景：注入成功但规则复用未完成

LedgerSnap 完整学习与原文审计：3 条经验保留并注入，学习 38,968 Token，8 项证据检查通过。无经验 / 有经验为 2,890 / 3,364 Token、5.762 / 6.119 秒，两组均输出 null。抽取保留一般方法，却泛化掉项目与字段语义关联，与未完成合计的结果一致；不是未注入，也不证明唯一因果。此合成、信息不对称演示不纳入专业判分配对。

正常安装 profile 本次在模型调用前连接失败，直接恢复启动另遇缺失 RSI 运行时、依赖及服务注入错误。未修改安装依赖；当前独立构建演示不代表日常安装验收。无经验组没有内部约定时拒绝猜测是合理行为，不包装成模型业务错误。

信息保真修正后的原生开发验证

新训练、新数据的完整原文与注入审计：抽取保留 LedgerSnap 作用域、revision 业务版本与 emitted_at 投递时间语义，3 条经验均保留并注入。有经验输出 {"active_count":4,"total_cents":16274}，与预声明计算器一致；无经验输出 null。无经验 / 有经验为 1,987 / 3,079 Token、1.115 / 3.129 秒，抽取 / 筛选为 10,929 / 20,312 Token，共 31,241；11 项证据检查通过。

这是旧失败启发的合成、信息不对称开发验证，全部更换实体和金额但规则结构相同。它显示本例历史规则复用成功，不是总体成功率改善、独立泛化、同候选因果消融或净效率收益；不纳入专业判分配对，旧失败与候选完整保留。

详细报告保留候选原文、训练和抽取 / 筛选对话、system 注入、完整工具请求响应、最终答案、评分明细与成本。最新报告 28 项完整性检查通过：含真实原生身份、记忆组注入、对照组无注入、独立新会话和候选冻结。

完整性 PASS 只证明证据链满足检查，不证明经验有效。筛选全部拒绝的运行不是“有经验组失败”；评分集成失败保留为未判分，不伪造得分。

06 / 必解卡点与下一阶段

早期工具问题混合了不存在路由的误导报错与真实 spill 读取适配缺陷，已修复并保留原始失败。最新闭环已经验证原生调用和实际记忆注入，不能继续把效果不佳统一归因于“没接 Harness”或“没注入经验”。

现在停止扩建基建和新增模型实验，先冻结报告。精准召回、向量库、更多抽象和自动灰度暂不扩展。下一阶段的单一目标是在一个可复现任务域，证明冻结经验相对无经验与普通摘要具有可重复、不退化、含学习摊销的正向收益。

最终形态不变：全自动、人无感知的 RSI。机器完成学习、收益验证、限定应用与退化撤回；用户不逐条审核经验。现阶段尚未达到该形态。

采购月末放款：流程生效，但整体结果未改善

原生 train_003 → test_002 单次固定映射运行完成，模型参数使用默认值，召回不参与评测。训练评分 0.941176，唯一未匹配项为受控原因码集合；抽取与独立筛选保留 1 条带来源的假设，原生 system 确认实际送达。

训练 154,817、抽取 52,388、筛选 52,836 Token，三阶段共 260,041；仅抽取与筛选共 105,224。学习成本不混入目标任务表，计费完整性仍未知。

保留经验聚焦训练题的 APPROVED_THREE_WAY_MATCH、NO_RECEIPT、QTY_VARIANCE 和 SCHEDULED_PAYMENT_FOUND；目标题使用不同异常码与截止规则。它没有提供目标题四项失分所需的完整收货核对、供应商汇总、项目汇总及来源优先级程序。

原始答案并非完全相同：有经验组把 AP-HEXEL-3309 收货量从 360 改为 180，增加 AP-00004 的 INSPECTION_HOLD，并增加汇总 total_amount 字段。然而四项官方评分仍均未匹配。这是局部行为变化，不是整体成功，也不能仅凭一组对照将这些变化因果归于该经验。

结论：不是经验未注入，也没有本批工具拒绝的证据。候选覆盖与训练→目标适用范围存在缺口，筛选通过仅表示允许测试假设，不等于已证明正确或有收益。单次同分且成本上升不证明记忆必然有害，也不能称为正向效果。

完整学习、注入、评分与原始对话 · 审计修订说明 · 保留的原 FAIL 报告。原审计遗漏 Markdown 目标附件，修正重建逻辑后 28 项检查通过；没有重跑模型或改变候选、评分。

寻源提名：候选因缺乏证据被拒绝

冻结目录 train_001 → test_003，单次原生运行。训练评分 0.583333，结构校验通过；失分为两条物料的证据/blocker 集合及委员会动作。训练 185,144 Token、7 次响应、97.730 秒；抽取 64,280 Token、76.249 秒；筛选 54,233 Token、30.537 秒。三阶段共 303,657 Token，其中抽取与筛选 118,513，计费完整性未知。

抽取提出证据范围重建与委员会路由两条假设。筛选指出引用主要是未通过的答案和助手自述，缺少定位原因的操作证据；候选还带有未验证的因果关系与复用条件缺陷。两条均被拒绝，没有候选生效、目标注入或配对，不计算目标成功率。

拒绝机制本次阻止了未经证实的补救生效，但不证明筛选准确率。仅有失分项名称不足以产生可靠修复经验；后续应补充训练侧错误定位与验证轨迹，不应放宽筛选或使用目标题答案改写经验。

完整训练、抽取、独立拒绝对话及成本。完整配对等检查未通过对应实际未执行阶段；来源冻结、拒绝未应用、归档身份与模型会话空闲检查通过。原始候选未修改，也没有重跑到成功。

收货看板：来源集合补救缺乏支持

原生 train_002 → test_004，训练评分 0.882353，唯一失分为来源记录集合。训练 79,605 Token、5 次响应、24.781 秒；抽取 41,347 Token、16.804 秒；筛选 50,399 Token、53.470 秒。三阶段共 171,351 Token，其中抽取与筛选 91,746，计费完整性未知。

唯一假设提出将答案引用的全部记录纳入来源集合，但来源证据没有定义该集合，候选也承认预期集合未知；其关于只收集异常记录的前提与已纳入供应商、合同的原始列表不一致。独立筛选拒绝该假设，没有目标注入、配对或目标成功率。

目标模板是混合字段说明，本次冻结预检将其当成 JSON Schema，结构校验不可靠。由于目标未执行，没有目标成绩受此影响。研究侧已补解析与测试，未替换冻结评分器、重新判分或重跑。

完整训练、抽取、筛选拒绝原文与成本。此次不能证明筛选准确率，但再次暴露失分项名称不足以定位具体修复。

价格变更：训练评估中断，效果未知

原生 train_004 → test_005，训练评分 0.866667，仅身份及最终决策评分项未匹配；结构子集校验通过。训练 53,328 Token、7 次响应、17.454 秒。

存储收据显示 assessment/started → assessment/failed：适配器重新执行训练评分子进程时以 AbortError 中断，尚未进入抽取。没有抽取 trace 或候选，最终原生会话列表仅有已完成训练会话且全部空闲。没有筛选、注入或目标执行，无法评价经验效果；未知用量不按零计算。

这不是抽取会话创建失败的证据。旧收据没有子进程退出码、终止信号或作业中止状态，具体原因仍未知。当前产品新增独立失败诊断字段，取消与非零退出测试通过；未复现旧故障，不声称已修复它。原始收据与阶段定位说明。

执行前修复 named-field-rules 模板格式误识别，校验明确键、对象与枚举，不推断未声明的类型或业务规则。冻结评分器包含该修复，未修改模型输出。

完整训练原始对话、中断状态与已知成本。进程已正常关闭，没有重跑到成功。

财务关账：模型请求超时，尚无学习效果数据

Group 009 train_001 → test_001 的原生训练保留 44,541 Token、4 次模型响应、18 次工具调用。工具错误、缺文件结果和业务接口拒绝均为 0；模型读取了财务记录的完整 spill 数据，随后也查询了补偿与薪资接口。

第 5 步记录 pi-ai stream idle timeout after 300000ms，随后出现重试记录与中止事件。保留执行区间为 1,008.247 秒，不等同于 300 秒空闲阈值。上游未响应的具体原因未知，不能仅凭超时判定工具或模型推理缺陷。

训练未生成最终答案，评分和成功状态未知，未进入抽取、筛选、注入或目标对比。已知 Token 不代表完整账单，也不能把这次中断记为经验无效。未为得到正向结果再次执行模型。

原生进程退出码 0，业务服务已关闭。完整原始训练对话与证据检查 · 超时定位与先前启动失败说明。

薪酬预测：第二次训练中断与部分输出

Group 009 train_002 → test_002 在第 3 步模型请求时超时。完成响应的已知用量为 6,690 Token、2 次响应，11 次工具调用均成功。失败请求另保留 8,217 个 reasoning 字符，没有最终答案或用量回执；这些字符不是 Token，完整计费未知。

执行区间为 945.039 秒。原始事件包含 pi-ai stream idle timeout after 300000ms、重试记录和中止事件。未进入评分、抽取、筛选或目标对比，不能判断记忆效果。连续两次训练中断后暂停启动更多模型实验，先诊断请求和取消链路。实例已停止，业务服务已关闭。

完整原始对话 · 失败请求部分流证据