,
,
, , - 等)
2. 保留所有图片的 src 和 alt 属性
3. 只翻译标签之间的文本内容
4. 所有英文必须翻译成中文,不保留英文原文
5. 输出完整的 HTML 代码
HTML 内容:
2026 年,在手机上运行人工智能有两种方式。两者都很好。但直到现在,你必须二选一。
选项一:直接在手机上运行小型模型。完全离线,完全私密,飞行模式下也能工作。权衡在于,在移动硬件上运行的 30 亿参数模型无法匹敌在桌面图形处理器上运行的 90 亿或 700 亿参数模型。你获得了隐私和便携性,但牺牲了深度。
选项二:连接到在个人电脑上运行的模型。类似于在苹果电脑上使用奥拉玛或本地模型工作室提供通义千问 3.5 90 亿参数服务。质量显著提升。但你必须与电脑处于同一网络中。一旦走出室外,失去无线网络连接,你就失去了人工智能。
直到目前为止,没有人构建出一个能同时做到这两点并能智能切换的单款应用。这就是我们构建在“离线网格”中的功能。
二选一的问题
如果你只运行设备端模型,会遇到瓶颈。手机上的通义千问 3.5 20 亿参数模型适用于快速回答、摘要和简单任务。但如果让它分析长文档、撰写措辞微妙的邮件或调试复杂函数,你就会感到差距。该模型在 20 亿参数和 6 吉字节内存下已竭尽全力。它能在任何情况下工作本身就令人印象深刻。但“对硬件而言令人印象深刻”和“实际上足够好用”是两回事。
如果你只连接到远程服务器,你就被束缚住了。你在桌前有一个人工智能,但在火车上、咖啡店、散步时却没有。如果你的远程设置出问题——你的苹果电脑休眠、无线网络断开、停电——你就一无所有。
大多数关心本地人工智能的人最终会有两个应用。一个用于设备端,一个用于远程。两份聊天记录。两个界面。两套设置。这很笨拙,没人会坚持使用。
离线网格如何处理
离线网格在同一应用中运行本地和远程模型。你的对话历史是统一的。你的界面是一样的。唯一变化的是计算发生的位置。
以下是各部分的配合方式:
设备端模型直接加载到手机的内存中。文本生成通过 Llama.cpp 进行,并带有图形处理器加速——iPhone 上使用 Metal,安卓系统上使用 OpenCL。这些模型无需网络连接即可工作。飞行模式、地下、荒郊野外——都不重要。
远程模型连接到本地网络上任何兼容 OpenAI 的服务器。奥拉玛、LM 工作室、本地人工智能。离线网格自动发现服务器并获取其模型列表。响应通过你的无线网络流式传输。
你可以选择使用哪个模型,并且可以在对话中途切换。开始讨论敏感话题?使用设备端模型。没有任何数据离开你的手机。需要分析 50 页的文档?切换到苹果电脑上的 90 亿参数模型——在同一个聊天中。上下文会延续。每次切换模型时,你都不是从头开始。
离线网格还支持具有内置知识库和检索增强生成(RAG)的项目。附加你的文档,任何模型——本地或远程——都可以搜索它们。工具调用也有效:支持函数调用的模型可以将网页搜索、计算器、日期/时间和设备信息串联起来。全部私密,全部在你的自有硬件上。
你为这些硬件付了费。它们在您的网络中。你应该能够使用它们的全部功能。
设置方法
设备端(随处可用,无需服务器)
- 打开离线网格
- 进入模型标签页
- 选择一个适合手机内存的模型(应用会根据你的硬件进行筛选)
- 下载它
- 开始聊天
对于拥有 6 吉字节内存的手机:通义千问 3.5 8 亿参数版或斯莫尔语言模型 3 3
免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。
2026 年,在手机上运行人工智能有两种方式。两者都很好。但直到现在,你必须二选一。
选项一:直接在手机上运行小型模型。完全离线,完全私密,飞行模式下也能工作。权衡在于,在移动硬件上运行的 30 亿参数模型无法匹敌在桌面图形处理器上运行的 90 亿或 700 亿参数模型。你获得了隐私和便携性,但牺牲了深度。
选项二:连接到在个人电脑上运行的模型。类似于在苹果电脑上使用奥拉玛或本地模型工作室提供通义千问 3.5 90 亿参数服务。质量显著提升。但你必须与电脑处于同一网络中。一旦走出室外,失去无线网络连接,你就失去了人工智能。
直到目前为止,没有人构建出一个能同时做到这两点并能智能切换的单款应用。这就是我们构建在“离线网格”中的功能。
二选一的问题
如果你只运行设备端模型,会遇到瓶颈。手机上的通义千问 3.5 20 亿参数模型适用于快速回答、摘要和简单任务。但如果让它分析长文档、撰写措辞微妙的邮件或调试复杂函数,你就会感到差距。该模型在 20 亿参数和 6 吉字节内存下已竭尽全力。它能在任何情况下工作本身就令人印象深刻。但“对硬件而言令人印象深刻”和“实际上足够好用”是两回事。
如果你只连接到远程服务器,你就被束缚住了。你在桌前有一个人工智能,但在火车上、咖啡店、散步时却没有。如果你的远程设置出问题——你的苹果电脑休眠、无线网络断开、停电——你就一无所有。
大多数关心本地人工智能的人最终会有两个应用。一个用于设备端,一个用于远程。两份聊天记录。两个界面。两套设置。这很笨拙,没人会坚持使用。
离线网格如何处理
离线网格在同一应用中运行本地和远程模型。你的对话历史是统一的。你的界面是一样的。唯一变化的是计算发生的位置。
以下是各部分的配合方式:
设备端模型直接加载到手机的内存中。文本生成通过 Llama.cpp 进行,并带有图形处理器加速——iPhone 上使用 Metal,安卓系统上使用 OpenCL。这些模型无需网络连接即可工作。飞行模式、地下、荒郊野外——都不重要。
远程模型连接到本地网络上任何兼容 OpenAI 的服务器。奥拉玛、LM 工作室、本地人工智能。离线网格自动发现服务器并获取其模型列表。响应通过你的无线网络流式传输。
你可以选择使用哪个模型,并且可以在对话中途切换。开始讨论敏感话题?使用设备端模型。没有任何数据离开你的手机。需要分析 50 页的文档?切换到苹果电脑上的 90 亿参数模型——在同一个聊天中。上下文会延续。每次切换模型时,你都不是从头开始。
离线网格还支持具有内置知识库和检索增强生成(RAG)的项目。附加你的文档,任何模型——本地或远程——都可以搜索它们。工具调用也有效:支持函数调用的模型可以将网页搜索、计算器、日期/时间和设备信息串联起来。全部私密,全部在你的自有硬件上。
你为这些硬件付了费。它们在您的网络中。你应该能够使用它们的全部功能。
设置方法
设备端(随处可用,无需服务器)
- 打开离线网格
- 进入模型标签页
- 选择一个适合手机内存的模型(应用会根据你的硬件进行筛选)
- 下载它
- 开始聊天
对于拥有 6 吉字节内存的手机:通义千问 3.5 8 亿参数版或斯莫尔语言模型 3 3
免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。