您的幻觉检查器仅查看最后一段。
这就是渗漏效应。一个流畅但错误的数字往往更早开始出错:检索结果为空、工具错误被吞没、事实更新后缓存过时。如果只给散文部分打分,你会错过根本原因——随后模型会自信地填补这一空白。
旧方法
大多数“反幻觉”工具只优化一项任务:对答案文本进行评级(编码器 / HHEM 类模型 / 作为裁判的大语言模型)。这很有用,但对于智能体而言并不完整。
它们通常无法做到:
- 在预加载内容已损坏时,于生成之前停止
- 指明原因侧的故障(检索为空、工具失败、缓存过时)
- 返回一个可审计的网关,你可以将其记录在事故频道中——而不仅仅是一个
0.87的分数
新方法
在模型输出之后(以及可选地在输出之前),运行一个裁决:
- 原因 —— 基于运行时证据的手册式取证分析
- 结果 —— 根据你提供的预加载内容对答案进行 grounding(事实依据验证)
-
单一输出 ——
ShineVerdict:decision(决策)+ 命名的resolution_gate(解决网关)+evidence_hash(证据哈希)
该产品是 PrismShine(Apache-2.0 许可证,pip install 安装)。
它不是提示注入防火墙(那是 PrismGuard)。它不是智能体运行时环境(那是 ChorusGraph)。它只做一件事:根据证据验证答案。
证明(文中展示 — 仅限 Shine 的收据)
与 Vectara HHEM-2.1-Open 在 HaluEval 数据集上的公开对比
(Azure ACI · ONNX 第三层级 · 收据 2026-07-20_run4_onnx):
| 系统 | B1 问答 F1 分数 | B2 数字 F1 分数 | B1 p50 延迟 | 大语言模型调用次数 |
|---|---|---|---|---|
| prismshine-fast | 0.831 | 1.000(0 次误报) | ~90 毫秒 | 0 |
| hhem-2.1-open | 0.746 | 0.926 | ~216 毫秒 | 0 |
GitHub 上的收据文件夹:benchmarks/progress/2026-07-20_run4_onnx(链接见第一条评论)。
计划 — 在一分钟内试用
bash
pip install "prismshine==0.2.2"
prismshine verify --demo
prismshine capabilities
核心路径 = 第 0–2 层级,中央处理器,默认情况下无大语言模型调用。
from prismshine import EvidenceBundle, PreloadChunk, ShineGate
gate = ShineGate.build(profile="default")
bundle = EvidenceBundle(
run_id="demo",
question="收入是多少?",
answer="第一季度收入为 1000 美元。",
preload=[
PreloadChunk(
chunk_id="c1",
text="第一季度收入为 1000 美元。",
source="retrieval",
)
],
)
verdict = gate.verify(bundle)
print(verdict.decision, verdict.resolution_gate, verdict.evidence_hash)
0.2.2 版本即插即用辅助函数:validate_grounding(验证事实依据)· get_gate(获取网关)· enforce_mode_from_env(从环境变量强制执行模式)
无阻塞影子模式:PRISMSHINE_ENFORCE=0
文档:INTEGRATION.md 第 0 节(链接见第一条评论)。
还有一个无需应用程序接口密钥的浏览器演示(链接见第一条评论)— 通过 → 拦截伪造数字 → 中止空检索。
诚实的局限性(BIP)
通过 ≠ 世界真理 — 仅基于你的预加载内容进行事实依据验证
缓冲答案(非流式令牌实时验证)
仅执行 pip install prismshine ≠ 第三层级跨度最先进水平;如需该路径,请使用 prismshine[spans] + ONNX
有线运行时护城河是一个单独的 Docker 收据 — 不要将其与上面的 HHEM 表格混为一谈且不加标注
温和的请求
如果你尝试 verify --demo 并遇到障碍,请在评论中粘贴回溯跟踪信息 — 我
免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。
分享到:
长按或扫码识别 分享给好友