没有生产流量，没有客户，只有我在测试几个简单的工作流。
问题的根源并非某一个大型请求，而是四个因素叠加所致：
上下文膨胀。 我不断在提示中添加“再多一点内容”，比如之前的决策、更多上下文和更详细的描述。每次运行的数据量都在变大，却让人感觉不到明显增长。
工具输出膨胀。 日志、差异对比、API 响应直接流入下一步。输出变成输入，输入又变成输出，成本迅速累积。
定时任务开销。 定时任务（Cron jobs）每次运行都会重新加载庞大的提示内容。虽不至于造成灾难性后果，但会悄无声息地反复产生高昂费用。
重复触发。 几次重试导致同一个臃肿的任务被执行了两次。
解决方法其实相当平淡：缩小上下文窗口，大幅裁剪工具输出，在定时任务中设置全新的会话边界，最重要的是，停止默认对所有任务都使用最昂贵的模型。
仅最后这一项就削减了大部分成本。
过了一段时间，我厌倦了频繁切换模型，于是决定将这个问题转化为一个研究机会。我在 GitHub 上发布了RoBC，随后对其进行了训练，并将其部署到clawpane.co的生产环境中。
如果你查看了这个代码仓库，或者需要帮助优化你的 AI 开支，请告诉我。
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
