2026西湖龙井茶官网DTC发售:茶农直供,政府溯源防伪到农户家
在我上一篇文章中,我提到了使用 --image-min-tokens 来提升 Qwen3.5 模型对图像响应的质量。这次我尝试以同样的方式加载 Gemma 4,却遇到了一个错误:
[58175] srv process_chun: 正在处理图像...
[58175] 正在编码图像切片...
[58175] 图像切片编码耗时 7490 毫秒
[58175] 正在解码图像批次 1/2,n_tokens_batch = 2048
[58175] /Users/socg/llama.cpp-b8639/src/llama-context.cpp:1597: GGML_ASSERT((cparams.causal_attn || cparams.n_ubatch >= n_tokens_all) && "非因果注意力要求 n_ubatch >= n_tokens") 失败
[58175] 警告:正在使用原生回溯功能。设置 GGML_BACKTRACE_LLDB 可获取更多信息。
[58175] 警告:GGML_BACKTRACE_LLDB 可能导致 macOS 原生终端应用崩溃。
[58175] 详见:https://github.com/ggml-org/llama.cpp/pull/17869
[58175] 0 libggml-base.0.9.11.dylib 0x0000000103a6136c ggml_print_backtrace + 276
[58175] 1 libggml-base.0.9.11.dylib 0x0000000103a61558 ggml_abort + 156
[58175] 2 libllama.0.0.0.dylib 0x0000000103eacd70 _ZN13llama_context6decodeERK11llama_batch + 5484
[58175] 3 libllama.0.0.0.dylib 0x0000000103eb098c llama_decode + 20
[58175] 4 libmtmd.0.0.0.dylib 0x0000000103b8f7e8 mtmd_helper_decode_image_chunk + 948
[58175] 5 libmtmd.0.0.0.dylib 0x0000000103b8fea4 mtmd_helper_eval_chunk_single + 536
[58175] 6 llama-server 0x0000000102fb4d94 _ZNK13server_tokens13process_chunkEP13llama_contextP12mtmd_contextmiiRm + 256
[58175] 7 llama-server 0x0000000102fe3318 _ZN19server_context_impl12update_slotsEv + 8396
[58175] 8 llama-server 0x0000000102faaca0 _ZN12server_queue10start_loopEx + 504
[58175] 9 llama-server 0x0000000102f3a610 main + 14376
[58175] 10 dyld 0x00000001968edd54 start + 7184
srv operator(): http 客户端错误:读取连接失败
srv log_server_r: 请求已完成:POST /v1/chat/completions 127.0.0.1 500
srv operator(): 实例名称=gemma-4-31B-it-UD-Q8_K_XL 已退出,状态码为 1
如你所见,此次崩溃的原因是我没有设置 ubatch。
[58175] /Users/socg/llama.cpp-b8639/src/llama-context.cpp:1597: GGML_ASSERT((cparams.causal_attn || cparams.n_ubatch >= n_tokens_all) && "非因果注意力要求 n_ubatch >= n_tokens") failed
免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。