off-grid-ai-desktop

="center"> <img src="resources/logo.png" width="112" alt="离网AI" /> </p> <h1 align="center">离网AI</h1> <p align="center"> <strong>私有的、设备端的AI。您的模型，您的资料 — 无需云端，无需账户，无需API密钥。</strong> </p> <p align="center"> 一个本地优先运行时 + 工作室 — 在您的机器上运行开放模型（>文本，视觉，语音，音频</em>），通过一个Open的网关。此外，还有一个始终在线的层，可以<em>看到、记住、反思和行动</em> — 所有操作都在设备上进行。 </p> <p align="center"> <a href="https://github.com/off-grid-ai/desktop/releases/latest">下载（macOS）</a> · <a href="docs/FEATURES.md">功能</a> · <a href="https://getoffgridai.co">getoffgridai.co</a> · <a href="https://getoffgridai.co/pay">获取专业版</a> </p> <p align="center"> <img alt="平台" src="https://img.shields.io/badge/macOS-Apple%20Silicon-black" /> <img alt="许可证" src="https://img.shields.io/badge/license-AG3.0-blue" /> <img alt="本地" src="https://img.shields.io/badge/100%25-on--device-34D399" /> </p> <p align="center"> <strong><a href="https://github.com/off-grid-ai/mobile">离网AI移动版</a></strong> — 相同的设备端AI，在您的手机上 &nbsp;·&nbsp; <a href="https://github.com/off-grid-ai/mobile"><img alt="离网AI移动版GitHub星星" src="https://img.shields.io/github/stars/off-grid-ai/mobile?style=social" /></a> &nbsp;·&nbsp; 超过10万次下载 > --- ## 它是什么 离网AI是一个**本地优先的AI运行时**，适用于您的桌面。 从内置中下载开放模型（或从Hugging Face获取任何GGUF），并在每个模态中使用它们 — 所有推理硬件上通过捆绑的`llama.cpp`、`stable-diffusion.cpp`、`whisper.cpp`和Kokoro运行。 没有路由通过我们拥有的服务器；您的对话、文件和模型永远不会离开您的设备。 一个应用中的三个功能： 1. **工作室** — 聊天（文本 + 视觉 + 推理），设备端图像生成，语音输入/输出，实时工件/画布，项目与RAG，聊天工具 — 一个本地的Claude/LM-Studio/Ollama，设备端所有功能。 2. **网关** — 一个本地的OpenAI兼容API（`http://127.0.0.1:7878/v1`，无需密钥），用于聊天，视觉，图像，音频和嵌入。 作为网关运行，无需UI。 3. **离网专业版** — 一个始终在线的私有层，可以<em>看到</em>您的工作（屏幕 → OCR），<em>记住</em>它，帮助您<em>反思</em>，并在您批准的情况下<em>行动</em>。 设备端，按需开启。 ## 内部一览 <table> <tr> <td width="50%"><strong>聊天</strong> — 文本，视觉，推理，工件，设备端<br><img src="docs/screenshots/02-chat.png" width="100%" alt="聊天" /></td> <td width="50%"><strong>模型</strong> — 精选目录 + Hugging Face搜索<br><img src="docs/screenshots/01-models.png" width="100%" alt="模型目录" /></td> </tr> <tr> <td width="50%"><strong>网关</strong> — 一个本地的OpenAI兼容API<br><img src="docs/screenshots/06-gateway.png" width="100%" alt="网关" /></td> <td width="50%"><strong>项目</strong> — 分组聊天，RAG超过您的文档<br><img src="docs/screenshots/03-projects.png" width="100%" alt="项目" /></td> </tr> <tr> <td width="50%"><strong>连接器（MCP）</strong> — 添加服务器，在聊天中使用<br><img src="docs/screenshots/05-integrations.png" width="100%" alt="连接器" /></td> <td width="50%"><strong>工件</strong> — HTML，React，SVG和Mermaid在本地沙盒中<br><img src="docs/screenshots/09-artifacts.png" width="100%" alt="工件" /></td> </tr> <tr> <td width="50%"><strong>离网专业版</strong> — 具有查看/记忆/反思/行动的层<br><img src="docs/screenshots/07-pro-upgrade.png" width="100%" alt="专业版" /></td> <td width="50%"><strong>默认私有</strong> — 在您的机器上运行，无需账户<br><img src="docs/screenshots/08-onboarding.png" width="100%" alt="默认私有" /></td> </tr> </table> ## 功能（免费和开源） 免费的开源应用是一个完整的设备端AI工作室： - **聊天** — 文本 + 视觉，流式传输，带有推理（“思考”）模式和每个聊天的模型设置（温度，上下文窗口）。 - **图像生成** — 文本→图像和图像→图像通过`stable-diffusion.cpp`（Metal）。 配备**SDXL-Lightning**（几步，快速），SDXL，SD 1.5/2.1和**Z-Image-Turbo**（2026旗舰，约8步实时每步预览，进度 + 预计时间，取消，灯箱和您工件的画廊。 - **语音** —转文本（wh文本转语音（**Kokoro-82M**，多语言），以及免提语音模式。 - **工件/画布** — 模型的HTML，React/JSX，SVG，Mermaid和Markdown在沙盒iframe中实时渲染（无网络/文件访问）； 代码/预览切换，下载，每个聊天和项目保存。 - **项目** — 分组聊天，上传文档（txt/md/PDF/DOCX，图像，音频，视频）并在其中聊天引用的RAG）； 每个项目的说明。 - **聊天工具** — 代理循环在对话中调用：内置工具（计算器，日期和时间）添加的任何MCP连接器。 - **连接器（MCP）** — 添加模型上下文协议服务器（无/令牌/OAuth）并在聊天中使用。 包含预设目录。 - **模型目录** — 精选的，分尺寸的推荐 + 直接Hugging Face搜索，管理和设置每个模态的活动模型。 -关** — 所有功能的单个OpenAI兼容端点； 参见下文。 自动更新** — 签名的发布版本自动更新。 详细分解请参见 [docs/FEATURES.md](docs/FEATURES.md)。 ## 网关 一个本地服务器（`http://127.0.0.1:7878`）使用OpenAI API： | 功能 | 端点 | |---|---| | 聊天（ 视觉） | `POST /v1/chat/completions` | | 文本 → 图像 | `POST /v1/images` (`/generations`, `/edits`) | | 语音 → 文本 | `POST /v1/audio/transcriptions` | | 文本 → 语音 | `POST /v1/audio/speech` | | 嵌入 | `POST /v1/embeddings` | | 模型 | `GET /v1/models` | ```bash curl http://127.0.0.1:7878/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"local","messages":[{"role":"user","content":"你好！"}]}' ``` ```python from openai import OpenAI client = OpenAI(base_url="http://127.0.0.1:7878/v1", api_key="not-needed") print(client.chat.completions.create(model="local", messages=[{"role":"user","content":"你好！"}]).choices[0].message.content) ``` 交互式API参考和OpenAPI规范在 `/docs` 和 `/openapi.json` 处提供。 ### 只运行网关（无头） 您不需要桌面UI来提供模型 — 只需运行关**（无UI，无捕获），并将任何OpenAI客户端指向它。 适用于服务器，家庭实验室或将本地模型连接到您自己的应用程序： ```bash # 从已构建的应用 /Applications/Off\ Grid\ AI.app/Contents/MacOS/Off\ Grid\ AI --server-only # 或从源代码 OFFGRID_SERVER_ONLY=1 npm run gateway ``` 它**自给自足** — 通过HTTP管理模型，无需UI： | 操作 | 端点 | |---|---| | 列出目录 | `GET /v1/models/catalog` | | 列出已安装的 | `GET /v1/models/installed` | | 每个模态的活动模型 | `GET /v1/models/active` | | **拉取** 模型 | `POST /v1/models/pull` `{ "id": "…" }` → 轮询 `GET /v1/models/pull/status?id=…` | | **激活** 模型 | `POST /v1/models/activate` `{ "id": "…", "kind"?:\|speech\|transcription" }` | | **删除** 模型 | `POST /v1/models/delete` `{ "id": "…" }` | ```bash # 拉取模型到无头网关，然后聊天 curl -X POST http://127.0.0.1:7878/v1/models/pull \ -H 'Content-Type: application/json' -d '{"id":"unsloth/gemma-4-E4B-it-GGUF"}' curl -X POST http://127.0.0.1:7878/v1/models/activate \ -H 'Content-Type: application/json' -d '{"id":"unsloth/gemma-4-E4B-it-GGUF"}' ``` ## 离网专业版 — 现已推出 免费应用**运行**模型。 **专业版**添加了始终在线的层，将您的工作变成私有的设备端内存 — 以及帮助您对其采取行动的助手。 所有操作都是明确选择加入的，具有可见的录制指示器，并且没有任何内容离开设备。 - **看到** — 屏幕捕获 → OCR → 设备端LLM提炼成观察 + 实体。 多显示器感知，消费与工作分类，跳过空白/锁定帧。 - **记住** — **日记** （具有时间块的持久日记），**实体** （私有的CRM-for-everything：人员，项目，公司，自动构建，具有合成摘要），和**重放**“一天的电影”，您可以滚动和播放）。 - **反思** — 分享，平衡，上下文切换和日/周趋势。 - **会议** — 记录 **Google Meet + Zoom** （屏幕 + 系统音频 + 麦克风），在本地使用whisper转录，并将LLM标题/摘要/与会者折叠到您的时间线中。 - **剪贴板** — 私有剪贴板管理器：您复制的所有内容的搜索历史，具有图像，PDF和文件预览，快速粘贴弹出窗口，所有内容存储在设备上。 - **行动（经批准）** — 从您的通信中检测到的行动项，审批队列 + 审计日志（无日志批准不执行），MCP连接器作为权威源，技能框架（触发器 → 行动） — 在路线图上，迈向主动秘书和前瞻性“明日”视图。 **专业版现已推出。** 在 **[getoffgridai.co/pay](https://getoffgridai.co/pay)** 购买许可证，您将收到一个许可证密钥，安装专业版构建，并在应用中激活密钥。 许可使用 **[Keygen](https://keygen.sh)** 运行，一个专业版许可证可涵盖最多 **5 台设备**。 专业版功能存在于一个单独的**私有**包中； 开源核心从未导入它 — 请参见 [架构](#architecture--open-core)。 专业版构建在运行时受到许可证门控，因此在激活有效密钥之前，它将保持锁定状态。 <table> <tr> <td width="50%"><strong>日记</strong> — 您的日程，从实际活动规划<br><img src="docs/screenshots/pro-day.png" width="100%" alt="日记" /></td> <td width="50%"><strong>实体</strong> — 私有CRM，自动构建<br><img src="docs/screenshots/pro-entities.png" width="100%" alt="实体" /></td> </tr> <tr> <td width="50%"><strong>反思</strong> — 您的注意力实际去向<br><img src="docs/screenshots/pro-reflect.png" width="100%" alt="反思" /></td> <td width="50%"><strong>搜索</strong> — 跨所有内容的统一搜索<br><img src="docs/screenshots/pro-search.png" width="100%" alt="统一搜索" /></td> </tr> <tr> <td width="50%"><strong>会议</strong> — 记录 + 本地转录<br><img src="docs/screenshots/pro-meetings.png" width="100%" alt="会议" /></td> <td width="50%"><strong>重放</strong> — 像电影一样回放屏幕<br><img src="docs/screenshots/pro-replay.png" width="100%" alt="重放" /></td> </tr> </table> _{专业版屏幕截图显示使用合成演示数据。} → **[获取专业版](https://getoffgridai.co/pay)** — 购买许可证，安装专业版构建，激活您的密钥。 ## 安装 从 [Releases](https://github.com/off-grid-ai/desktop/releases 获取最新构建： **macOS** （Apple Silicon）— 签名 + 公证mg` 目前仅支持## 从源代码构建 ```bash git clone https://github.com/off-grid-ai/desktop.git cd desktop npm install npm run dev # 完整应用 npm run gateway # 无头网关仅 (:7878) npm run build:mac # 打包macOS应用 ``` 技术栈：Electron 39 + React 19 + Tailwind v4（electron），`better-sqlite3-multiple`（加密本地数据库），`@lancedb/lancedb`（向量），`llama.cpp` / `whisper.cpp` / `stable-diffusion.cpp` / `ffmpeg` 在 `resources/bin` 中捆绑。 共享的`@offgrid/*` 包（设计，模型，RAG）来自工作区。 使用 `npm run typecheck` 验证更改，然后再声明完成。 ## 架构 — 开源核心 此仓库是 **开源的AGPL核心**：模型运行器，网关，工作室（聊天，图像，语音，工件），项目，连接器和模型目录。 专业版功能存在于一个单独的 **私有** 包中，作为git子模块加载（`pro/`）。 核心 **从未导入** 专业版 — 专业版通过小型注册表（一个`activate()`模式）注册自己，并且在构建中简单地缺失，因此开源应用可以完全独立编译和运行。 ## 隐私 所有模型推理都是本地的。 您的对话，文档和模型保留在您的设备上 — 没有云端推理，无需账户，也无需API密钥。 您可以完全离线运行。 ## 许可证 [AGPL-3.0-only](LICENSE)。 &copy; 离网AI / 周三解决方案公司。