本地推理
模型文件就在磁盘上,运行时读进内存。不经过任何服务器,也不需要账号。
01 — 能力
模型文件就在磁盘上,运行时读进内存。不经过任何服务器,也不需要账号。
截图、照片、图表拖进输入框就行。选图、粘贴、拖拽三种方式都支持,发之前自动缩到合适尺寸。
从 0.3B 到 7B 按大小排好,带「图像理解」「深度思考」这类标签。点一下下载,装完直接在下拉框里切换。
温度、top-p、输出长度、思考开关都能改。默认值和单个对话的值分开存,不会互相覆盖。
置顶常用对话,按标题搜索,几百轮的长对话滚起来也不卡。整段对话可以导出成 Markdown。
启动几秒后悄悄检查新版本,下载完在标题栏出现一个小图标。点它,或者直接关掉窗口,就会装上。
02 — 上手
下载安装包,装到现在这个用户目录下,不需要管理员权限。第一次打开是空的,还没有模型。
进「模型管理」,按内存和需求挑。0.5B 左右的够日常用,3B 以上明显更聪明,但也更吃内存。
回到聊天页,模型自动加载。打字或者拖图片进去,之后每次打开都会记住上次用的模型。
03 — 要求
| 系统 | Windows 10 1809 及以上,或 Windows 11。仅 x64。 |
|---|---|
| 内存 | 8 GB 起步。跑 3B 模型建议 16 GB —— 模型是整体读进内存的。 |
| 磁盘 | 程序约 8 MB。每个模型 300 MB 到 5 GB,看你选多大。 |
| 显卡 | 可选。驱动带 OpenCL 运行时就能切 GPU;显存不够会加载失败,切回 CPU 即可。 |
04 — 下载
NSIS 安装包。装完直接能用,模型进软件里再下。
首次运行如果弹出「Windows 已保护你的电脑」,点「更多信息 → 仍要运行」。 安装包没有购买代码签名证书,这一步是系统对未签名程序的常规提示。
05 — 问答
要。安装包只装程序本身,约 8 MB。第一次打开后到「模型管理」里挑,普通模型 300 MB 起,视觉模型大约 300 MB 到 1.5 GB。
可以。下载模型时需要网络,之后对话、图片理解、生成都在本地完成,拔掉网线也照常用。
只要显卡驱动带 OpenCL 运行时(NVIDIA、AMD、Intel 的驱动一般都带),就能在设置里切到 GPU。切换后会自动重新加载模型。
加载会失败并给出提示,不会把系统拖死。换小一号的模型,或者在设置里把后端切回 CPU,通常就能跑起来。
在 %APPDATA%\AIChat 下面,是普通的 JSON 文件。附件图片单独放在 images 子目录,删掉这个目录就彻底清除了。
不用管。启动几秒后会自动检查,有新版本就在后台下好,标题栏出现小图标,点一下重启就装上了。也可以直接关掉窗口,下次启动就是新版。