真实 DSH 界面

经验从哪里来,最后用了没有

先看 LedgerSnap 的完整学习流程,再看退款题的效果。

LedgerSnap:同一种导出,换一批数据

任务与用户纠正
按业务版本归并

revision 决定新旧,投递时间不决定

归并之后判断删除

先删行会把旧记录重新算进去

重复去重,冲突停算

每行是快照,不是金额增量

合成场景。目标换了编号和金额,不重述内部规则;缺规则时明确要求返回 null。

原任务核对有效对象数、总金额

新批次不重述内部约定;缺约定必须输出 null,不允许猜字段含义。

经验的作用最大 revision → 删除判断 → 去重

p 取 7,842 而不是晚到的旧版 18,523;q 最新已删除;r 的 4,094 只算一次。

实际结果4 个对象 / 16,274 分

7,842 + 4,094 + 1,726 + 2,612。无经验按要求返回 null,有经验完成计算。

原始目标 Prompt(含完整数据)
另一批 LedgerSnap 导出,需要按此前确认的同类导出约定核对最终有效对象数和总金额(分)。
全量数据已内嵌,不需要工具、文件或网络。本批没有同对象同业务版本的载荷冲突。
当前消息没有重述内部更新语义。若未获得该约定,严格输出 {"active_count":null,"total_cents":null},不要凭字段名猜测。
若有相关约定,只输出 {"active_count":整数,"total_cents":整数},不要 Markdown、解释或额外字段。
entity_key,revision,emitted_at,state,amount_cents
holdout-p,4,200,active,7842
holdout-p,3,990,active,18523
holdout-q,1,210,active,5123
holdout-q,2,220,deleted,0
holdout-r,2,230,active,4094
holdout-r,2,980,active,4094
holdout-s,1,240,active,1423
holdout-s,3,250,active,1726
holdout-t,1,260,deleted,0
holdout-t,2,270,active,2612
学习来源:原始任务与用户纠正
这是构造的内部 LedgerSnap 导出核对练习,数据全部内嵌,不需要工具、文件或网络。
请从下列导出记录求最终有效对象数和总金额(分)。
导出记录如何更新对象是内部约定;字段名和投递先后未必等于业务顺序。如无法确定,可以说明需要澄清的约定,不要擅自定义。
entity_key,revision,emitted_at,state,amount_cents
learn-a,2,900,active,3717
learn-a,1,950,active,5517
learn-b,1,910,active,2117
learn-b,2,920,deleted,0
learn-c,1,930,active,2417
learn-c,1,940,active,2417

训练侧核对记录(仅适用于 LedgerSnap 的对象快照导出):
这批数据最终是 {"active_count":2,"total_cents":6134}。
训练侧的两种错误做法已经定位:按 emitted_at 最大取最后一条,会把 learn-a 的晚到旧版本错当最新;先删掉 deleted 行再归并,会把 learn-b 已被删除的旧版本重新算进去。这是训练提供的诊断,不声称上一轮模型实际犯了这两种错误。
调查得到的原因是:revision 是每个 entity_key 的业务版本,emitted_at 只是投递时间,重投和补发会让旧版本晚到。
每条记录携带该对象该版本的完整金额快照,不是增量。归并时按对象选最大 revision,再解释该版本的 state;deleted 的最新版本意味着对象不参与有效数和金额。
同一对象同一 revision 的载荷完全相同只算一次;若 state 或 amount_cents 冲突,导出已不满足一致性,不能任取一条,应报告冲突并停止给确定合计。
这些观察只适用于已确认采用这类版本快照语义的导出,不适用于金额增量流水,也不能把本批的对象编号、金额或合计当成以后任务的答案。
请复盘导致错误的操作顺序及如何在另一批同类数据中避免它。

从历史里学出 3 条经验

抽取与筛选原文
DSH 实际候选经验,包含规则、适用条件、排除条件和来源引用
DSH 设置局部截图:entry-1 原文,未改写内容。

学到的是具体处理规则

具体到字段和顺序

最大 revision → 再看 state → 算完整快照

带适用和排除条件

只用于版本快照,不套用增量流水

能回到来源

经验引用原生会话的 seq 9、20

学习成本单独记

抽取 10,929 + 筛选 20,312 Token

有经验组确实收到了记忆

完整 system 与送达记录
无经验0

未送达记忆

有经验1

一次注入,包含 3 条经验

目标数据相同

差别是有没有历史规则

记忆不覆盖当前指令

注入原文包含经验作用域和优先级说明

文本结果与线上成功分开

这里是纯文本重放,线上成功仍为未知

DSH 双组指标、无经验送达 0、有经验送达 1 和实际经验内容
DSH 设置局部截图:双组指标与展开的记忆内容。

新任务的实际输出

完整原始对话
无经验1,987 Token · 1.115 秒
DSH 原生回答局部:active_count null,total_cents null
回答局部截图 · 完整会话截图
有经验3,079 Token · 3.129 秒
DSH 原生回答局部:active_count 4,total_cents 16274
回答局部截图 · 完整会话截图
缺规则,返回 null

按用户要求安全拒绝,不是算错。

有规则,得到 16,274 分

4 个有效对象;两组均 1 次模型响应、0 次工具调用。

本例说明历史规则能被保存并使用。两组信息不同;有经验执行更贵、更慢,不是效率提升案例。

本页截图来自恢复的独立 Web profile,2026-10-19 只查看记录,未重跑模型。日常 profile 部署仍待验收。

退款冲正:评分提高,执行更短

完整对话与官方评分
原任务5–6 月 PLATINUM 退款敞口

通过只读 SQL 核对冲正、净金额和支付商敞口,写入 answer.json。

无经验把冲正关联目标限定为 SETTLED

额外的目标状态条件漏掉了本批应计入的冲正,冲正金额算成 0。

经验的作用按冲正自身日期和账户范围计入

独立确定冲正,再按其日期汇率折算,从已结算金额中扣除。

具体输出无经验有经验
冲正金额 / USD0.001,678.67
净敞口 / USD110,221.42108,542.75
STRIPE 敞口 / USD36,086.6934,408.02

有经验组 seq 150 明确引用经验,seq 155 的 SQL 分别汇总结算与冲正,再计算净额;官方 SP003–SP005 从 FAIL 变为 PASS。支付商顺序未变,修正的是金额。未做逐条经验消融,不能把全部收益归给某一条。

原始目标 Prompt(完整;业务细则在附件)
Refund Operations needs a provider-exposure report for the May-June PLATINUM account close. Payments Risk will use it to reconcile effective refund activity, compare provider exposure, and route unresolved leakage orders for review.

Use the authenticated Atlas Commerce Operations service at `<TASK_ENV_BASE_URL>`. Its schema and data dictionary are available through the service, and the business records can be analyzed through its read-only SQL endpoint. No data correction is requested.

The full scope, monetary definitions, leakage policy, and classification thresholds are in `input/payloads/provider_exposure_request.json`. Return exactly one JSON object matching `input/payloads/answer_template.json`, with no narrative or additional fields, and save it to `answer.json`.
学习来源 Prompt(3–4 月 GOLD 对账)
Refund Operations needs a settlement reconciliation for the March-April GOLD account close. Payments Risk will use the report to quantify the effective refund population, rank the principal refund reasons, and identify orders that need leakage review.

Use the authenticated Atlas Commerce Operations service at `<TASK_ENV_BASE_URL>`. Its schema and data dictionary are available through the service, and the business records can be analyzed through its read-only SQL endpoint. No data correction is requested.

The full business scope and classification policy are in `input/payloads/refund_reconciliation_request.json`. Return exactly one JSON object matching `input/payloads/answer_template.json`, with no narrative or additional fields, and save it to `answer.json`.
实际注入的两条经验(原文)
[entry-1]
When a refund-settlement reconciliation asks for an effective linked reversal count, resolve the reversal rows by the reversal attempt's own service_date inside the requested window and by the order's account scope, instead of requiring each reversal's linked target refund to be a settled, in-window attempt; the target-status constraint can drop reversals that are themselves in scope.

[entry-2]
For the net refund amount in USD, compute it as the in-scope settled logical-refund USD value reduced by the USD value of the same in-scope effective linked reversals, converting each reversal at its own service_date rate and row currency, rather than reporting the settled-refund total alone while carrying reversals only in the count fields.

官方评分

通过0.5882 → 1.0000
无经验
0.5882
有经验
1.0000

任务 Token

−55.9%目标执行用量
无经验
1,372,640
有经验
605,978

模型响应

−12 次31 → 19 次
无经验
31
有经验
19

任务耗时

−60.2%目标执行耗时
无经验
240.8 s
有经验
95.7 s

开发集挑出的个例。该任务本次未截现场图,完整工具调用和评分在原始对话中。

普通摘要对照:同题三组都通过
组别任务 Token耗时
无经验1,441,324271.71 秒
普通摘要781,341128.08 秒
筛选经验511,88796.43 秒

同题复测不算新题;还不能说明多任务上优于摘要。

三组原始记录

失败与退化:逐次保留

审计索引
旧归并例:规则丢失

经验送达了,业务语义没保住

采购题:同分、更贵

Token +30.1%,耗时 +40.7%

两道财务题:训练超时

没进入学习,不能判断经验效果

任务 / 运行结果评分:无 → 有观察到的问题原始对话
task_group_024/test_005benchmark-native-compare-e3z2w2df两组失败0.6818 → 0.6818两组均未通过官方判分;原报告保留失败字段与完整对话。查看对话
task_group_024/test_002benchmark-native-compare-n_j3ttjk两组失败0.4118 → 0.4118两组均未通过官方判分;原报告保留失败字段与完整对话。查看对话
task_group_024/test_005embedded-benchmark-demo-3evqsn_p两组失败0.6818 → 0.6818两组均未通过官方判分;原报告保留失败字段与完整对话。查看对话
task_group_022/test_002native-rsi-web-62wgfatj两组失败0.5882 → 0.5882退款旧实验仍未通过;后续改善不是这次运行。查看对话
task_group_024/test_005native-rsi-web-6ci_sy22两组失败0.6818 → 0.6818两组均未通过官方判分;原报告保留失败字段与完整对话。查看对话
task_group_022/test_004native-rsi-web-7j3zxam2两组失败0.4211 → 0.5789履约率、末三账户排名和高风险账户集合仍错。查看对话
task_group_022/test_005native-rsi-web-8g1n6nif成功 → 失败1.0000 → 0.3333仓库恢复:积压量、截止订单、升级数和恢复动作错;Token +155.2%。原因未定。查看对话
task_group_022/test_004native-rsi-web-9uub6k_y两组失败0.4211 → 0.4211账户健康题仍未通过;复测不增加独立样本。查看对话
task_group_006/test_002native-rsi-web-jjatspon两组失败0.6111 → 0.6111采购:收货截止、数量与汇总仍错;Token +30.1%,耗时 +40.7%。查看对话
task_group_022/test_001native-rsi-web-kkcxoi2y两组失败0.0556 → 0.0556合格订单、完成截止和比率仍错。查看对话
task_group_005/test_001native-rsi-web-qhzvusto两组失败0.5000 → 0.4375索赔:blocked / paid 集合、CRM 关闭集合及异常原因仍错。查看对话
task_group_005/test_001native-rsi-web-r1h1rm1d两组失败0.4375 → 0.5000索赔反序复测:仍未通过,不是独立新题。查看对话
LedgerSnap 旧合成例规则未保住不适用经验送达,但抽取后丢失业务语义;不纳入专业题配对数。查看对话
财务题 / 6p7_ynot训练超时不适用未进入学习和目标对比,不作为经验负效应。查看对话
薪酬题 / 0y58xq2g训练超时不适用失败请求用量未知;8,217 reasoning 字符不换算为 Token。查看对话

覆盖 15 组完整配对中的 11 组两组失败、1 组退化,另列 1 个合成失败和 2 个训练超时。多次运行同题逐次保留;没有把超时算成记忆失效。