我今天发布了一个我渴望已久的工具。
如果你使用克劳德进行开发，你可能编写过技能文档文件。而且你可能是凭直觉发布的。
这种情况从今天起改变了。
无人谈论的问题
技能本质上只是系统提示注入。一个诚实的问题是：这项技能是否真正改善了克劳德的输出，还是仅仅让人感觉如此？
大多数团队通过肉眼观察几个回复来回答这个问题。那不是评估。那是凭感觉。基于感觉的技能评估存在三大危险：
位置偏差 — 如果你要求克劳德比较其自身的输出，它会倾向于它首先看到的那个
静默退化 — 模型更新、技能编辑和上下文变化可能会在不知不觉中使技能效果变差
缺乏统一的评分标准 — 每位工程师对技能的评分方式不同，因此“这个技能很好”毫无意义
我所构建的工具
skilleval — 一个命令行界面工具，可在不到 2 分钟内为任何技能文档提供可重复的客观评分。
bash
npx @dileeppandiya/skilleval ./my-skill --tasks ./tasks.yaml
仓库中示例技能的真实输出：
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
skilleval 结果 - api-design - 2 个任务
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
技能有效性：+0.3 / 3
改进的任务：1 / 2 (50%)
受损的任务：1 / 2 (50%)
置信度：未评级（使用 --runs 3+ 以获取置信度）
task-003 +2.5 输出 A 提供了更稳健的应用程序接口设计...
task-004 -2.0 输出 A 更全面...
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
运行器：claude-sonnet-4-6 | 评判者：gemini-3.5-flash
本次运行估计应用程序接口成本：$0.101
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
注意这种混合信号。该技能在任务-003 中有帮助，但在任务-004 中产生了负面影响。skilleval 不会为了美化技能而夸大分数。它报告的是评判者实际发现的结果。
工作原理
盲测 A/B 测试 — 每个任务并发运行两次，一次将技能注入系统提示，另一次仅使用原始上下文。
随机化评判者 — 由 Gemini Flash 评判者比较输出。哪个输出被标记为 A 或 B 是每个任务通过种子随机数生成器随机决定的，从而完全消除位置偏差。
基于边距的评分 — 评判者返回获胜者及边距（0–3）：边距为 3 时得分为 3.0/0.0，边距为 0 时则为真正的平局，得分为 1.5/1.5。
诚实的置信度 — 单次运行显示为未评级。单个样本无法说明稳定性。真正的置信度（高/中/低）仅在 --runs 3+ 时出现。
bash
skilleval ./my-skill --tasks ./tasks.yaml --runs 3
使其与众不同的五个特点
- 确定性断言 — 并非所有内容都应留给大型语言模型的意见：
tasks:
- id: login-endpoint
prompt: "设计 一个 登录 端点 "
assertions免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
