您的幻觉检查器仅查看最后一段

发布日期:2026-07-21 10:01:13  浏览量 :0
发布日期:2026-07-21 10:01:13  
0

您的幻觉检查器仅查看最后一段。

这就是渗漏效应。一个流畅但错误的数字往往更早开始出错:检索结果为空、工具错误被吞没、事实更新后缓存过时。如果只给散文部分打分,你会错过根本原因——随后模型会自信地填补这一空白。

旧方法

大多数“反幻觉”工具只优化一项任务:对答案文本进行评级(编码器 / HHEM 类模型 / 作为裁判的大语言模型)。这很有用,但对于智能体而言并不完整。

它们通常无法做到:

  • 在预加载内容已损坏时,于生成之前停止
  • 指明原因侧的故障(检索为空、工具失败、缓存过时)
  • 返回一个可审计的网关,你可以将其记录在事故频道中——而不仅仅是一个0.87的分数

新方法

在模型输出之后(以及可选地在输出之前),运行一个裁决

  1. 原因 —— 基于运行时证据的手册式取证分析
  2. 结果 —— 根据你提供的预加载内容对答案进行 grounding(事实依据验证)
  3. 单一输出 —— ShineVerdictdecision(决策)+ 命名的 resolution_gate(解决网关)+ evidence_hash(证据哈希)

该产品是 PrismShine(Apache-2.0 许可证,pip install 安装)。

不是提示注入防火墙(那是 PrismGuard)。它不是智能体运行时环境(那是 ChorusGraph)。它只做一件事:根据证据验证答案。

证明(文中展示 — 仅限 Shine 的收据)

与 Vectara HHEM-2.1-Open 在 HaluEval 数据集上的公开对比

(Azure ACI · ONNX 第三层级 · 收据 2026-07-20_run4_onnx):

系统 B1 问答 F1 分数 B2 数字 F1 分数 B1 p50 延迟 大语言模型调用次数
prismshine-fast 0.831 1.000(0 次误报) ~90 毫秒 0
hhem-2.1-open 0.746 0.926 ~216 毫秒 0

GitHub 上的收据文件夹:benchmarks/progress/2026-07-20_run4_onnx(链接见第一条评论)。

计划 — 在一分钟内试用


bash
pip install "prismshine==0.2.2"
prismshine verify --demo
prismshine capabilities
核心路径 = 第 0–2 层级,中央处理器,默认情况下无大语言模型调用。

from prismshine import EvidenceBundle, PreloadChunk, ShineGate
gate = ShineGate.build(profile="default")
bundle = EvidenceBundle(
    run_id="demo",
    question="收入是多少?",
    answer="第一季度收入为 1000 美元。",
    preload=[
        PreloadChunk(
            chunk_id="c1",
            text="第一季度收入为 1000 美元。",
            source="retrieval",
        )
    ],
)
verdict = gate.verify(bundle)
print(verdict.decision, verdict.resolution_gate, verdict.evidence_hash)
0.2.2 版本即插即用辅助函数:validate_grounding(验证事实依据)· get_gate(获取网关)· enforce_mode_from_env(从环境变量强制执行模式)
无阻塞影子模式:PRISMSHINE_ENFORCE=0
文档:INTEGRATION.md 第 0 节(链接见第一条评论)。

还有一个无需应用程序接口密钥的浏览器演示(链接见第一条评论)— 通过 → 拦截伪造数字 → 中止空检索。

诚实的局限性(BIP)
通过 ≠ 世界真理 — 仅基于你的预加载内容进行事实依据验证
缓冲答案(非流式令牌实时验证)
仅执行 pip install prismshine ≠ 第三层级跨度最先进水平;如需该路径,请使用 prismshine[spans] + ONNX
有线运行时护城河是一个单独的 Docker 收据 — 不要将其与上面的 HHEM 表格混为一谈且不加标注
温和的请求
如果你尝试 verify --demo 并遇到障碍,请在评论中粘贴回溯跟踪信息 — 我

免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。

分享到:

长按或扫码识别 分享给好友

关于我们
热门推荐
合作伙伴
免责声明:本站部分资讯来源于网络,如有侵权请及时联系客服,我们将尽快处理
Copyright © 2025-2027 ToB产业网址导航 公安备案 浙公网安备33010602013138号 浙ICP备16025413号-9
支持 反馈 关注 数据