Windows · 本地推理 · 无需联网

在你的电脑上, 跑一个自己的大模型

模型下载到本机之后,全程离线运行。基于 MNN 引擎,CPU 就能跑; 显卡驱动带 OpenCL 的话,设置里切一下会快不少。

01 — 能力

装好之后,日常大概会这么用

01

本地推理

模型文件就在磁盘上,运行时读进内存。不经过任何服务器,也不需要账号。

02

看得懂图

截图、照片、图表拖进输入框就行。选图、粘贴、拖拽三种方式都支持,发之前自动缩到合适尺寸。

03

模型市场

从 0.3B 到 7B 按大小排好,带「图像理解」「深度思考」这类标签。点一下下载,装完直接在下拉框里切换。

04

参数自己调

温度、top-p、输出长度、思考开关都能改。默认值和单个对话的值分开存,不会互相覆盖。

05

对话管理

置顶常用对话,按标题搜索,几百轮的长对话滚起来也不卡。整段对话可以导出成 Markdown。

06

自动更新

启动几秒后悄悄检查新版本,下载完在标题栏出现一个小图标。点它,或者直接关掉窗口,就会装上。

02 — 上手

三步开始

  1. 01

    装程序

    下载安装包,装到现在这个用户目录下,不需要管理员权限。第一次打开是空的,还没有模型。

  2. 02

    挑一个模型

    进「模型管理」,按内存和需求挑。0.5B 左右的够日常用,3B 以上明显更聪明,但也更吃内存。

  3. 03

    开始用

    回到聊天页,模型自动加载。打字或者拖图片进去,之后每次打开都会记住上次用的模型。

03 — 要求

跑得动吗

系统Windows 10 1809 及以上,或 Windows 11。仅 x64。
内存8 GB 起步。跑 3B 模型建议 16 GB —— 模型是整体读进内存的。
磁盘程序约 8 MB。每个模型 300 MB 到 5 GB,看你选多大。
显卡可选。驱动带 OpenCL 运行时就能切 GPU;显存不够会加载失败,切回 CPU 即可。

04 — 下载

下载 AI Chat

NSIS 安装包。装完直接能用,模型进软件里再下。

版本
v0.1.0
大小
—
更新
—
下载安装包

首次运行如果弹出「Windows 已保护你的电脑」,点「更多信息 → 仍要运行」。 安装包没有购买代码签名证书,这一步是系统对未签名程序的常规提示。

05 — 问答

可能会问到的

要。安装包只装程序本身,约 8 MB。第一次打开后到「模型管理」里挑,普通模型 300 MB 起,视觉模型大约 300 MB 到 1.5 GB。

可以。下载模型时需要网络,之后对话、图片理解、生成都在本地完成,拔掉网线也照常用。

只要显卡驱动带 OpenCL 运行时(NVIDIA、AMD、Intel 的驱动一般都带),就能在设置里切到 GPU。切换后会自动重新加载模型。

加载会失败并给出提示,不会把系统拖死。换小一号的模型,或者在设置里把后端切回 CPU,通常就能跑起来。

在 %APPDATA%\AIChat 下面,是普通的 JSON 文件。附件图片单独放在 images 子目录,删掉这个目录就彻底清除了。

不用管。启动几秒后会自动检查,有新版本就在后台下好,标题栏出现小图标,点一下重启就装上了。也可以直接关掉窗口,下次启动就是新版。