# RSI Memory 阶段报告

数据截止：2026-10-18。性质：工程验证与探索性效果实验，不是生产验收或独立确认性评测。

## 1. 核心结论

DSH 内置插件已跑通原生任务执行、自动归档、经验抽取、独立筛选、冻结候选、受控注入、无经验/有经验对比与原始对话审计。最新财务报销案例完成整条链路，28 项证据完整性检查通过。

**尚未证明稳定正向收益。** 已有正向个例，也有明显负迁移。来源可信、筛选通过、注入发生，都不能替代任务收益验证。最终目标仍是全自动、人无感知地学习与应用经验证的经验；当前只完成受控实验闭环，自动生产收益准入与发布未验收。

## 2. RSI-Agent 的借鉴与边界

依据本地固定源码审查：`references/RSIAgent-analysis.md`，版本 `4d7ef43770dda341fccd9a5743db92407687c615`。本报告不宣称复现其官方结果。

RSI-Agent 不更新模型权重，改进载体是持久经验、操作程序和练习过程：

1. Curriculum 选择探索任务，先广泛探索，再围绕薄弱能力深入练习。
2. Actor 执行任务；Verifier 独立检查任务要求与执行结果。
3. Actor 在可信反馈后抽取、协调经验，成功和失败均可学习。
4. 正式测试冻结记忆，禁用课程与记忆更新，隔离正式评分。

我们借鉴执行与验证分离、经验来源可追溯、测试时冻结记忆。没有照搬完整探索平台。上游记忆合法性审计不等于每次安装前的独立收益 A/B 门禁；其报告中的重试、预算和聚合差异也不能作为本项目有效性的证明。

## 3. 插件位于 Harness 的哪一环

```mermaid
flowchart TD
  A[DSH 原生 Session 与默认 system prompt] --> B[完成任务并归档原始事件]
  B --> C[任务结果验证]
  C --> D[原生学习 Session 抽取经验]
  D --> E[独立筛选 保留原候选与拒绝理由]
  E --> F{是否有保留候选}
  F -->|否| G[停止 保留学习成本 不执行对比]
  F -->|是| H[冻结候选及目标输入 hash]
  H --> I[全新无经验 Session]
  H --> J[全新有经验 Session 加入经验 system section]
  I --> K[任务结束后独立评分]
  J --> K
  K --> L[得分 成功 Token 响应次数 工具次数 耗时及原始对话]
  L --> M[收益结论 当前不自动发布到生产]
```

插件嵌入 launcher 的 Cordis 服务与原生设置类别，通过 Harness 原生会话调用模型，不是直接 LLM API 脚本。默认关闭；受控实验需要配置授权与适配器。固定题目→候选映射用于隔离“经验是否有效”，当前不验证召回准确度。生产上下文注入与实验直接注入是不同路径。

## 4. 实验覆盖

冻结索引：`overview-v39.json`；完整网页：`overview-v39.html`，含全部 15 组效果变化。最新财务关账训练因模型请求空闲超时中断，未生成答案，未进入评分、抽取或目标配对。此前价格变更的训练评估 AbortError 记录保留。

| 项目 | 当前结果 |
| --- | ---: |
| 索引中的运行记录（含训练、重复、失败） | 47 |
| 完整有/无经验对比 | 15 |
| 完整对比涉及的不同题目 | 8 |
| 完整对比中的无经验成功次数 | 2 |
| 完整对比中的有经验成功次数 | 3 |
| 失败→成功 | 2 次，集中在 1 道退款题 |
| 成功→失败 | 1 次 |
| 30 题目录中的完整配对题 | 8 |
| 已尝试但未成对 | 13 |
| 未运行 | 8 |
| 延期的状态修改题 | 1 |

这些是异质开发运行的计数，不是无偏成功率估计；重复题、监督信息、运行版本和协议不同。不得把 2/15 与 3/15 宣称为总体成功率提升。专业 benchmark 证据也不等于已经完成一周线上历史全量任务的效果证明。

15 组中，11 组两组失败、1 组两组成功、2 组失败救回、1 组成功退化。逐组展示得分差与 Token、响应次数、耗时变化，未知完整用量不按下限计算百分比。

### 财务关账训练中断

Group 009 train_001 → test_001 的原生运行 `8e16e14d-3151-4fbc-af8e-389fd7c0affe` 已归档。训练保留 44,541 Token、4 次模型响应、18 次工具调用，工具错误、缺文件结果和业务接口拒绝均为 0。第 5 步记录 `pi-ai stream idle timeout after 300000ms`，随后出现重试记录与中止事件。记录的执行区间为 1,008.247 秒，不等同于该错误所述的 300 秒空闲阈值；上游未响应的原因未知。

训练未生成最终答案，评分与成功状态未知，没有抽取、筛选、记忆注入或目标组。因此不能判断记忆是否有用；44,541 是已保留响应的用量，不是完整计费证明。独立实验 profile 已关闭，原生进程退出码 0，业务环境服务已停止。原始对话与诊断见 `../native-rsi-web-6p7_ynot/audit-report.html` 和 `../native-rsi-web-6p7_ynot/training-diagnosis.md`。先前无模型调用的评分入口启动失败也单独保留，没有覆盖或重跑模型到成功。

## 5. 代表性证据

| 案例 | 无经验 | 有经验 | 可得出的结论 |
| --- | --- | --- | --- |
| 退款题首次救回 | 得分 0.588235，失败；1,372,640 Token；240.80s | 得分 1，成功；605,978 Token；95.72s | 同题出现救回和单任务成本下降 |
| 同候选退款题反序重测 | 得分 0.588235，失败；1,126,226 Token；190.04s | 得分 1，成功；794,279 Token；122.58s | 同一已知题复现救回，不等于未见任务泛化 |
| 恢复任务负迁移 | 得分 1，成功；1,804,469 Token；206.13s | 得分 0.333333，失败；4,604,717 Token；370.39s | 成功任务经验也可能显著拖累新任务 |
| 首次完整报销闭环 | 得分 0.4375，失败；134,462 Token；6 次响应；18 次工具调用；46.01s | 得分 0.5，失败；203,856 Token；8 次响应；27 次工具调用；36.37s | 得分略升、耗时约减 21%，Token 约增 52%，不构成整体正向收益 |
| 设置页启动报销闭环 | 得分 0.5，失败；375,636 Token；9 次响应；29 次工具调用；82.75s | 得分 0.4375，失败；151,833 Token；7 次响应；20 次工具调用；38.32s | 得分下降 0.0625，Token 与耗时下降；质量下降不能以效率改善代替正向收益 |

普通摘要对照在同一道已知退款题上三组均成功：无经验/普通摘要/筛选经验分别为 1,441,324/781,341/511,887 Token，271.71/128.08/96.43s。摘要本身也能降低单任务成本；尚不能证明本方案在多题上稳定优于简单摘要。

首次完整报销训练成功得分 1，自动抽取并筛选保留 2 条经验。训练 142,378、抽取 50,221、筛选 54,721 Token，合计 247,320。设置页启动的另一运行也训练成功，保留 3 条经验；训练 417,765、抽取 81,557、筛选 79,196 Token，合计 578,518。两次候选分别冻结，并非同候选重复效果测量。训练与测试共享两个业务记录 ID，属于开发迁移，不是严格独立留出验证。此前评分集成失败的原运行保留为未判分记录，未覆盖或伪造评分。

通用会话入口另已验证：设置中选择任意授权且完成的历史 Session，启动归档、抽取、独立筛选，并可选自动文本重放对比。真实记录 `../native-session-learning-s5yjomaw/session-learning-audit.json` 的 14 项检查通过；抽取 3 条保留 1 条。无经验/有经验分别为 1,856/2,081 Token、1/1 次响应、721.58/755.63 ms；抽取和筛选额外消耗 77,816/92,991 Token。该重放禁用工具、成功率未知、来源与目标相同，故不纳入上述 15 组已判分效果比较。它证明通用流程与实际注入，不证明在线财务任务成功或经验收益。

付款放行看板 train005→test004 的新尝试完成训练、抽取和独立筛选，但唯一草稿要求存在明确的 hold/escalate 判定条件，训练输入未观察到这些条件，筛选因此拒绝。没有测试、注入或效果结论。训练官方业务得分 11/17，结构校验不可用（列表模板转换出现 `'items'` 错误），不能视作可靠结构校验或归因给模型。训练 310,344、抽取 71,583、筛选 70,335 Token，共 452,262，全部保留。审计：`../native-rsi-web-r640ge46/audit-report.html`。

## 6. 人工审计入口

- 全量索引、运行条件及逐组效果：`overview-v37.html`。
- 采购月末放款完整配对：`../native-rsi-web-jjatspon/audit-report-v2.html`；审计修订说明：`../native-rsi-web-jjatspon/audit-correction.md`。
- 采购收货学习失败及完整原始输出：`../native-rsi-web-ka_nh267/audit-report.html`。
- 首次完整报销闭环：`../native-rsi-web-r1h1rm1d/audit-report-v2.html`（仅修复财务评分字段的展示映射；原始数据不变）。
- 最新设置页启动闭环：`../native-rsi-web-qhzvusto/audit-report.html`。
- 通用会话入口完整原始证据：`../native-session-learning-s5yjomaw/session-learning-evidence.json`。
- 首次退款救回：`../native-rsi-web-7m9v5rm7/audit-report.html`。
- 退款反序重测：`../native-rsi-web-klzj4e5v/audit-report.html`。
- 普通摘要对照：`../native-rsi-web-uifbvb_o/audit-report.html`。
- 负迁移：`../native-rsi-web-8g1n6nif/audit-report.html`。
- 最新原始归档：`../native-rsi-web-r1h1rm1d/audit-export-8ad212be/`。

审计包括候选原文、学习和筛选对话、真实 system 组装、工具请求与响应、最终答案、评分明细及学习成本。完整性 PASS 表示证据链满足检查，不表示经验有效。

### 最新中断与独立演示

采购收货 `task_group_006/train_002 → test_001` 首次原生尝试已终止于抽取阶段。训练官方评分 0.882353，结构校验通过，唯一未匹配评分项为来源记录集合；训练 79,625 Token、8 次模型响应、17.401 秒。抽取 28,237 Token、1 次响应、25.269 秒，输出混用双引号和单引号，被严格 JSON 校验拒绝。总任务记录用量为 107,862 Token，不是账单。未执行独立筛选，未存储候选，未注入、未启动两个目标组；不计算目标成功率或收益。原始抽取同时承认遗漏来源记录未确定，却提出扩大来源枚举，这是未验证补救，不能据此断言经验有用。报告完整性检查中完整配对与筛选候选不通过是该终止路径的预期事实；冻结来源、未发布、未应用拒绝候选、归档身份和原生会话空闲检查通过。审计：`../native-rsi-web-ka_nh267/audit-report.html`。没有修补原始 JSON 或为有利结果重跑。

组合关账任务 `task_group_005/test_005` 的训练得分 0.875；训练、抽取、筛选分别消耗 563,486、108,969、111,761 Token，合计 784,216。候选通过筛选并固定绑定目标。有经验目标执行被取消，未完成：518.025 秒、7 次响应、22 次工具调用，已知用量 197,764 Token，另有一次响应缺少用量，所以完整 Token 数未知。无经验组未执行，不判定收益，也不把未完成组算成业务失败。取消是展示优先的操作决定，并非预声明停止规则，不能用于无偏效果估计。原始审计：`../native-rsi-web-5t97yofs/audit-report.html`。该报告的完整配对与完整回合检查未通过；不把不完整运行上的检查失败直接解释为产品机制缺陷。

合成 LedgerSnap 新任务已完成原生会话学习、筛选和配对：3 条经验保留并实际注入，学习成本 38,968 Token；无经验 2,890 Token / 5.762 秒，有经验 3,364 Token / 6.119 秒，两组均输出 null。8 项证据检查通过，但没有合计完成或收益。候选保留一般版本归并方法，却没有保留项目与字段语义的关联；这是文本证据支持的信息保真问题，不是未召回。无经验组缺约定时拒绝猜测是合理行为。该场景为独立当前构建 profile 的合成、信息不对称规则复用演示，不混入上述专业判分配对。审计：`../version-merge-isolated-20261017/report.html`。

正常已安装 Web profile 本次在创建 Session 前连接失败，直接恢复启动另遇缺失 RSI 运行时、依赖和服务注入错误。未修改安装依赖，独立构建演示不能代替日常安装验收。集中案例入口：`../demo-cases-20261017/report.html`。

信息保真修正后的原生开发验证另已完成：新训练、新目标的实体及金额全部更换，仍为同一 LedgerSnap 规则与陷阱结构。抽取保留了项目作用域、revision 业务版本及 emitted_at 投递时间语义，3 条候选均通过筛选并注入。有经验输出 `{"active_count":4,"total_cents":16274}`，与预声明计算器结果一致；无经验输出 null，是缺少内部约定时的安全拒绝。无经验 / 有经验分别为 1,987 / 3,079 Token、1.115 / 3.129 秒；学习成本为抽取 10,929、筛选 20,312，共 31,241 Token。11 项身份、输入、引用、注入及原文检查通过。这是旧失败启发的合成、信息不对称开发验证，不是独立泛化、同候选因果消融或净效率改善，仍不混入专业判分配对。原始审计：`../version-merge-fidelity-20261017/report.html`。旧失败和候选未覆盖。

## 7. 必解问题与可延期事项

| 优先级 | 问题 | 当前处理 |
| --- | --- | --- |
| 必解：结论边界 | 个例有效≠稳定有效；失败与未判分不能混计 | 报告保留正负例、协议分层和未完成覆盖 |
| 必解：经验质量 | 抽取可能臆造因果、重复已做步骤、误置条件；筛选通过仍可能负迁移 | 下一轮选择可观察、可证伪的机制经验，冻结后验证；不根据测试结果改本轮候选 |
| 必解：重复性与替代解释 | 单题重测、简单摘要、共享记录、监督强度影响结论 | 在新留出题上预声明同协议比较，增加摘要对照与重复；不追求挑选成功案例 |
| 必解：净成本 | 学习开销、失败尝试与复用次数可能抵消单任务节省 | 分开记训练/抽取/筛选/目标任务费用；在正确性不退化的前提下报告摊销 |
| 交付剩余 | 内置代码与设置入口存在，正式发布包验收尚未完成 | 不称为已上线的自动 RSI |
| 延期 | 精准召回、向量库、更多抽象、自动线上灰度与回滚 | 不阻塞当前受控闭环报告，仍属于最终产品待办 |

早期 `endpoint not allowed` 混合了不存在路由的误导诊断和真实 spill 读取适配缺陷；相关工具契约已修复并保留历史原始失败。最新完整链路通过真实注入与原生身份审计，不能再把所有效果不佳归因于“没有接入 Harness”或“没有注入经验”。

## 8. 下一阶段的最小目标

在一个可复现任务域，冻结从训练轨迹中自动得到的具体经验，用预声明的新留出题及普通摘要对照，在同一 Harness/模型/预算协议下重复比较。首先证明质量不退化，再验证 Token、响应次数、耗时和学习摊销是否改善。

获得可重复、可归因的收益证据之前，不自动发布候选到真实线上用户任务。最终目标不变：机器完成验证、准入、限定应用与退化撤回，用户无需逐条审阅经验。

## 10. 采购月末放款：流程生效但整体未改善

原生 train_003 → test_002 单次固定映射运行完成。训练得分 0.941176，
唯一未匹配项为受控原因码集合；抽取和独立筛选保留 1 条假设，
原生 system 确认实际注入。两组均得 0.611111，均未通过。

| 指标 | 无经验 | 有经验 |
| --- | ---: | ---: |
| 任务 Token | 129,097 | 167,926（+30.1%） |
| 模型响应次数 | 6 | 7 |
| 耗时 / 秒 | 60.207 | 84.728（+40.7%） |
| 工具调用 | 15 | 15 |
| 原生失败 / HTTP 拒绝 | 0 / 0 | 0 / 0 |

训练 154,817、抽取 52,388、筛选 52,836 Token；三阶段共 260,041，
其中仅抽取与筛选为 105,224。计费完整性未知。

经验集中于训练题的 APPROVED_THREE_WAY_MATCH、NO_RECEIPT、
QTY_VARIANCE 与 SCHEDULED_PAYMENT_FOUND。目标题使用不同异常码与截止规则。
候选没有覆盖收货核对、供应商汇总、项目汇总及来源优先级四项失分。
有经验输出与无经验并非完全相同：AP-HEXEL-3309 的收货量由 360 改为 180，
AP-00004 增加 INSPECTION_HOLD，汇总增加 total_amount；但四项评分仍不匹配。
这些是局部行为变化，不能据此因果归于候选，也不构成整体成功。

这不是未注入或本批工具拒绝；证据指向候选覆盖与训练→目标范围缺口。
筛选通过不等于收益已验证，同分且成本上升也不证明记忆必然有害。

原审计只重建 JSON 附件，而冻结原生适配器纳入 Markdown/CSV/TXT，
因此目标绑定检查误报失败。修正审计重建后 28 项通过，未改变候选、输入、
输出或评分，未重跑模型。原 FAIL 报告保留，修订说明：
`../native-rsi-web-jjatspon/audit-correction.md`；
完整原始证据：`../native-rsi-web-jjatspon/audit-report-v2.html`。

## 11. 寻源提名：候选因缺乏证据被拒绝

冻结目录 train_001 → test_003，原生运行
`6a71b81d-52b0-4b27-9f66-1bbc183361af`，单次尝试，无有利重试。
训练评分 0.583333，结构校验通过，证据/blocker 集合和委员会动作失分。
训练 185,144 Token / 7 次响应 / 97.730 秒；抽取 64,280 Token /
76.249 秒；筛选 54,233 Token / 30.537 秒。三阶段共 303,657 Token，
其中抽取与筛选 118,513 Token，计费完整性未知。

两条假设分别提出重建证据范围、从 blocker 推导委员会动作。
独立筛选指出其引用主要是未通过的答案及助手自述，不足以定位原因；
候选还含未证实的因果关系及把执行期数据检查写成复用条件的问题。
两条均拒绝，没有筛选后候选、注入或目标会话，不能计算目标成功率。

这证明拒绝机制在本次阻止了未经证实的补救生效，不证明筛选准确率；
同时暴露仅有评分项名称不足以形成可靠修复经验。后续训练侧需具体
错误定位与验证轨迹，不应根据本目标答案补写经验或放宽筛选。
原始抽取、拒绝理由与会话：`../native-rsi-web-5iqvudrh/audit-report.html`。
完整配对等检查未通过是未执行阶段的事实；来源冻结、拒绝未应用、
归档身份、所有模型会话空闲检查通过。

## 12. 收货看板：来源集合补救缺乏支持

冻结目录 train_002 → test_004，原生运行
`948d580c-62bf-4b13-a12f-79cef5477ec2`。训练评分 0.882353，
唯一失分为来源记录集合。训练 79,605 Token / 5 次响应 / 24.781 秒；
抽取 41,347 Token / 16.804 秒；筛选 50,399 Token / 53.470 秒。
三阶段共 171,351 Token，其中抽取与筛选 91,746，计费完整性未知。

抽取假设要求把答案引用的全部官方记录纳入来源集合。筛选指出：
引用并未证明该集合的定义，候选也承认预期集合未知；其关于只收集
异常触发记录的前提与原始输出已有供应商、合同记录不一致。唯一候选
被拒绝，没有目标注入或配对，不计算目标成功率。

执行后发现目标模板是混合字段说明，被本次冻结预检当成 JSON Schema，
其结构校验不可靠。由于目标未执行，没有目标成绩受此影响。研究侧已
增加混合格式结构解析及测试，保留本次冻结评分器，不重新判分或重跑。
原始学习及拒绝审计：`../native-rsi-web-umb3pc7y/audit-report.html`。

## 13. 价格变更：训练评估中断，效果未知

冻结目录 train_004 → test_005，原生运行
`26ce9edf-94c4-4355-8050-082a8a2ac65f`。训练评分 0.866667，
仅身份及最终决策评分项未匹配，结构子集校验通过。
训练 53,328 Token / 7 次响应 / 17.454 秒。

存储收据显示 `assessment/started → assessment/failed`，训练评估适配器
重新调用评分子进程时以 AbortError 中断，尚未进入抽取。没有抽取 trace
或候选。最终原生会话列表仅包含已完成训练会话，所有会话空闲。没有筛选、注入或目标执行；
学习阶段用量未知，不应按零处理，也不能断言模型调用成本为零。
具体中断原因尚未定位，不归因于抽取内容或经验质量。

此前“抽取会话未创建”的表述不应解释为创建调用失败。原始收据没有
子进程退出码、终止信号或作业中止状态，不能确定是超时还是取消。
当前产品补充了这些独立诊断字段，取消与非零退出回归测试通过，但
没有复现或解决旧故障的证据。定位说明：
`../native-rsi-web-c93onfti/assessment-diagnosis.md`。

执行前修复了 `top_level_required_keys / field_rules` 模板格式被误识别
为 JSON Schema 的问题。结构转换仅验证明确键、对象与枚举，不推断
未声明类型或业务规则。本次冻结评分器使用修复版本，原始输出未修补。
审计及完整训练：`../native-rsi-web-c93onfti/audit-report.html`。
本次模型与环境进程已正常关闭，没有重跑到成功。

## 最新补充：薪酬预测训练中断

2026-10-19 整理：最新索引为 47 条记录、15 组完整配对、8 道不同题目。目录为 8 题配对、13 题尝试未成对、8 题未运行、1 题延期。train_002→test_002 训练已知 6,690 Token、2 次响应、11 次成功工具调用；失败请求另保留 8,217 个 reasoning 字符，无用量回执。执行区间 945.039 秒。未进入学习或配对，不构成效果结论。连续训练超时后先排查请求链路，未重复运行到成功。