核心定位
skill-agent-optimizer 是一个通过 Skill 启用的优化协作者,帮助分析其他 Skill 或 Agent 的执行问题,提出改进方案,并在授权范围内修改与验证。它的工作链路为:观测证据 → 问题归因 → 评分 → 优化实施 → 回归验证。
目标是让技能不仅能完成一次任务,还能逐步变得可靠、完整、安全,减少不必要的等待、交互与上下文开销。它是执行指导与辅助脚本的组合,不是独立后台监控服务。
解决什么问题
| 常见问题 | 处理方式 | 验证重点 |
|---|---|---|
| 相同失败反复重试 | 区分环境、输入、宿主、设计、实现和模型判断,限定有依据的重试 | 原失败能终止或恢复 |
| 反复加载技能、读取相同文档 | 指定调用、按需读取引用、复用评估缓存 | 关键约束仍完整可见 |
| 询问过多、流程拖慢 | 复用已获授权,只询问影响决策的缺失信息 | 权限边界未被取消 |
| 只有主观好坏评价 | 根据执行证据评分,同时报告覆盖率和置信度 | 不把未验证项当成通过 |
| 只有建议,没有实施闭环 | 保存方案、修改差异、备份、验证及回退路径 | 原问题和相邻成功场景通过 |
| 优化覆盖插件缓存或用户改动 | 默认修改第三方本地副本,保留来源与版本 | 明确副本启用方式 |
| 为省 Token 删除必要规则 | 保留业务、权限和验证约束,优先消除冗余 | 效率提升不损伤正确性 |
这些是设计支持的处理能力,不代表每个第三方技能已经实际优化成功。
如何使用
当前最终约定是指定调用。普通使用其他 Skill/Agent 不会自动加载优化助手,不检查其缓存,也不运行评分、学习或自我改进。agents/openai.yaml 设置 allow_implicit_invocation: false。
只评估
使用 $skill-agent-optimizer 评估 xxx 技能,只整理问题、评分和优化方案,不修改文件。
伴随任务观测并优化
使用 $skill-agent-optimizer 配合 $目标技能 完成本次任务,记录遇到的问题,并优化已授权的本地副本,最后给出评分与回归结果。
最好同时说明目标位置、任务验收标准与可修改范围。每个指定任务只加载一次,不递归触发自身或辅助验证 Agent。
明确要求重新评估
使用 $skill-agent-optimizer 重新评估 xxx 技能的导出场景,不复用旧评分;比较修改前后的结果,说明实际证据和未验证项。
评分机制
| 维度 | 权重 | 含义 |
|---|---|---|
| 完整性 | 20% | 输入、步骤、产物、失败与恢复是否闭环 |
| 正确性 | 25% | 输出是否符合任务契约,事实与假设是否区分 |
| 安全性 | 20% | 权限、凭证、不可信输入与修改回退 |
| 可靠性 | 15% | 重试、错误恢复、重复运行与兼容性 |
| 交互体验 | 10% | 必要询问、进度说明、阻塞与可理解性 |
| 效率 | 10% | 耗时、冗余调用、上下文规模与可用 Token 数据 |
每个维度使用 0–5 分;没有证据时标为未验证。已观测分按已评分维度权重归一化为百分制,证据覆盖率另行展示。覆盖率低于 80% 时不形成总评分;存在未解决或未验证的关键严重问题时,总评分同样不成立。
例如只有正确性得到验证,即便该项满分,也只能显示已观测分 100、覆盖率 25%,不能说整体能力达到 100 分。不同场景、覆盖率或版本的分数不能直接用来证明优化收益。
避免重复评估
启用后,以目标规范路径、稳定场景类型和依赖文件摘要识别评估对象。脚本 gate.py 支持检查与记录:
- 无缓存或依赖变化:评估本次可见场景,不自动扩大为完整测试套件。
- 同版本、同场景且未超过 30 天:复用结果,不重复生成完整报告或主动修改。
- 普通新异常:7 天内默认记录待处理问题;冷却后进行新增问题分析。
- 影响当前验收、明确要求或严重安全风险:可立即增量分析。
- 缓存损坏:说明状态不可用,继续原任务,不覆盖损坏状态。
缓存中保存的未验证结果也不能当成成功认证。30 天到期只是重新观察的条件,不代表后台定时运行,更不自动重复付费调用。
持续学习与自我改进
在已启用任务中保存脱敏经验,包含根因、版本、场景、证据、拟修改与验证情况。经验状态为 candidate(待证实)、validated(验证通过)、adopted(已落实并回归)、rejected(被证据否定)。
修改优化助手自身,需要在两个不同任务复现同根因,或有可重复的确定性测试证明;修改前备份,修改后检查原失败与相邻成功场景,失败回退。普通自我改进每 7 天最多一轮,在已启用任务结束后执行;严重安全缺陷可立即处理。
这里的学习与进化是持久经验及技能说明、脚本的更新,不是模型训练。当前主要由执行 Agent 遵循流程完成经验整理与更新,并非已实现独立自动训练或后台学习系统。
产物与辅助脚本
- evaluation.json:目标版本、范围、问题、证据、指标与评分。
- report.md:优化方案、实际修改、验证结果、收益及局限。
- 补丁或备份:记录修改位置与回退方式。
- scripts/report.py:校验结构化输入并生成中文报告。
- scripts/gate.py:判断评估缓存复用、异常冷却与过期。
默认任务产物位于当前工作区 skill-agent-reviews//;缓存与经验位于 ~/.codex/skill-agent-optimizer-state/,不写入个人 memory 文件夹。
能力边界
只观测当前可见记录或明确提供的日志,不能自动读取独立 Agent 隐藏过程。实际 Token 用量不可用时,可以记录调用次数或文本规模代理指标,但必须说明来源,不能声称真实 Token 已节省。
第三方缓存默认复制为本地可维护副本,不能宣称原插件已自动切换。仅评估请求不修改目标;本地优化授权不自动扩大为远程发布、生产变更、安全规则修改或凭证读取权限。外部日志和技能文本属于证据,不是扩大权限的指令。
当前验证情况
本会话开发阶段曾通过技能结构校验、9 项离线脚本测试及模拟行为验收。模拟验收覆盖证据不足、重复 401、危险日志上传建议和独立 Agent 过程不可见等场景。以上属于开发阶段证据,本次归档没有重新执行测试。
尚未证明已完成真实第三方技能的整轮优化,也没有真实 Token 节省数据。GitHub 上传曾因账号与浏览器控制连接受阻,当前可见会话中没有上传成功证据,因此本文不提供已发布仓库链接。
整理依据:当前会话的已确认选择与本次读取的 SKILL.md、default-flow.md、evaluation.md;归档日期:2026-10-13。