机型基线:联想笔记本 · RTX 4060 Laptop GPU(约 8GB 显存)· 32GB 系统内存 · i7-14650HX · Windows
8GB 显存是分界线,32GB 内存加 14650HX 拉高了“勉强区”的上限,但全显存的舒适区不变:主力是 7~8B 语言模型与 SDXL 级出图,大模型靠卸载当备选。
| 任务 | 推荐 | 显存占用(约) | 预期 |
|---|---|---|---|
| 语言模型(主力) | Qwen3-8B(Q4) | 5GB | 全显存,20~40 token/秒,32K 上下文 |
| 语言模型(第二主力) | Qwen3-14B(Q4) | 8GB+ | 部分卸载到内存,可用,速度略降 |
| 语言模型(批量任务) | Qwen3-30B-A3B(Q4,MoE) | 19GB(约 8GB 显存 + 内存卸载) | 偏慢,适合丢一堆任务慢慢跑,不适合实时聊天 |
| 代码 / 看图 | Qwen2.5-Coder-7B、Qwen2.5-VL-7B | 5~6GB | 全显存,顺畅 |
| 文生图(主力) | SDXL | 6~8GB | 1024×1024、30 步约 20~40 秒 |
| 文生图(进阶) | Z-Image Turbo int8 版、FLUX.2 klein 4B fp8 | 4~7GB | 8 步 / 4 步出图,画质好 |
| 文生图(慢工) | FLUX.1 dev/schnell(GGUF 量化) | 量化版 + 卸载 | 一张几分钟,文字渲染强 |
| 视频 | Wan2.1 1.3B | 约 8GB | 480P 短片,5 秒片子十几分钟 |
| 视频(勉强) | Wan2.2 5B(fp8) | 约 6GB + 卸载 | 能跑,慢;14B 不用想 |
| 语音 | Whisper large-v3、CosyVoice / F5-TTS | 不到一半显存 | 轻松 |
级别定位:8B 模型日常聊天、摘要、翻译、简单代码够用,大概是云端中低档模型的水平,硬推理、长文、复杂工程仍是云端旗舰强得多。出图 SDXL 级是主流商用插画水准,视频是能玩、不能当生产力。整体是一台合格的本地实验室,学习和个人用足够,替代不了云端旗舰。
nvidia-smi,能看到 RTX 4060 Laptop GPU 与约 8GB 显存即算就绪。D:\models。git clone。OllamaSetup.exe,安装后它在后台运行,托盘有图标。ollama pull qwen3:8b
ollama run qwen3:8b
能对话即算跑通,输入 /bye 退出。验证点:ollama ps 能看到模型在跑,nvidia-smi 能看到显存占用约 5GB。
| 用途 | 命令 | 备注 |
|---|---|---|
| 通用 | ollama pull qwen3:8b | 主力 |
| 通用(更大) | ollama pull qwen3:14b | 部分卸载,可用 |
| 推理 | ollama pull deepseek-r1:7b | 深度思考,速度慢一些 |
| 代码 | ollama pull qwen2.5-coder:7b | 补全与改代码 |
| 看图 | ollama pull qwen2.5vl:7b | 多模态,图片问答 |
| 批量任务 | ollama pull qwen3:30b | MoE,19GB,卸载跑,偏慢 |
Ollama 默认上下文较小。建一个 Modelfile 改大(以 32K 为例):
# 文件名:Modelfile,内容两行
FROM qwen3:8b
PARAMETER num_ctx 32768
ollama create qwen3-8b-32k -f Modelfile
ollama run qwen3-8b-32k
32GB 内存放得下 128K 的 KV 缓存,8B 模型开 128K 也可行,速度会降一些。
模型放不进 8GB 显存时,Ollama 会自动把放不下的层卸到内存跑,不用手动设置。代价是速度下降,层卸得越多越慢。32GB 内存的意义就在这里:卸得下,不爆内存。
想要个像 ChatGPT 的网页界面,装 Docker Desktop 后跑 Open WebUI 容器,指向本地 Ollama(OLLAMA_BASE_URL=http://host.docker.internal:11434),浏览器开 http://localhost:3000。本节按官方 README 走,未实测。
ComfyUI_windows_portable_nvidia_cu12x.7z,版本号以下载时最新为准)。D:\ComfyUI。run_nvidia_gpu.bat,等控制台不再滚动,浏览器开 http://127.0.0.1:8188,看到默认工作流即算起来。main.py 参数后追加 --listen 0.0.0.0 再启动(以实测为准)。公网访问不要直接暴露,走第 7 节的 Tunnel + Access。stabilityai/stable-diffusion-xl-base-1.0,下载 sd_xl_base_1.0.safetensors(约 6.9GB),放到 ComfyUI\models\checkpoints\。sdxl_vae.safetensors,放到 ComfyUI\models\vae\(可选,不放也能出图,色彩略差)。sd_xl_base_1.0.safetensors,Latent 设 1024×1024,点 Queue Prompt。出图即算跑通。提示词写英文效果最好;中文可以先让本地 8B 模型翻成英文再喂。风格靠 LoRA 和微调模型扩展,Civitai 上找,放到 models\loras\。
8GB 显存优先用 int8 版,三个文件都在 HuggingFace 的 Comfy-Org/Z-Image-Turbo 仓库:
| 文件 | 大小(约) | 放的位置 |
|---|---|---|
z_image_turbo_int8_convrot.safetensors | 6.2GB | models\diffusion_models\ |
qwen_3_4b_fp8_mixed.safetensors | 5.6GB | models\text_encoders\ |
ae.safetensors | 0.34GB | models\vae\ |
模板用 Templates 里的 Z-Image Turbo:8 步、CFG 1.0、采样器 res_multistep、shift 3、CLIP 类型选 lumina2。文本编码器与扩散模型会轮流卸载,出图约 1~2 分钟一张。bf16 三件套合计 20GB 以上,8GB 显存不要碰。
FLUX.1 dev/schnell 原版放不下,用 GGUF 量化版:经 ComfyUI Manager 装 ComfyUI-GGUF 节点包,模型去 city96 的 GGUF 仓库下 Q8_0 或 Q4_K_M,放到 models\unet\,文本编码器另配。接线方法以节点包的 README 为准,一张图几分钟。
FLUX.2 klein 4B 的 fp8 版约 4~5GB,4 步出图,提示词理解比 SDXL 好,去 Comfy-Org 找官方重打包,同样未实测。
仓库 Comfy-Org/Wan_2.1_ComfyUI_repackaged,三个文件:
| 文件 | 放的位置 |
|---|---|
wan2.1_t2v_1.3B_fp16.safetensors | models\diffusion_models\ |
umt5_xxl_fp8_e4m3fn_scaled.safetensors | models\text_encoders\ |
wan_2.1_vae.safetensors | models\vae\ |
Templates 里开 Wan 2.1 Text to Video 模板直接跑,480P,5 秒片子做好十几分钟的准备。排队次数先改成 1,别连跑多条烧时间。
仓库 Comfy-Org/Wan_2.2_ComfyUI_Repackaged,文件 wan2.2_ti2v_5B_fp16.safetensors(约 10GB)与 wan2.2_vae.safetensors,umt5 文本编码器与 2.1 共用。fp16 版 10GB 需卸载,嫌慢可找 fp8 量化版。模板:Wan 2.2 TI2V 5B,Load Image 传图 + 提示词。14B 版不用想。
铁律:换模型就换模板。Z-Image 的工作流里直接换 Wan 文件会报维度错误,两个工作流不通用,各用各的模板。
另有两个轻量选择:CogVideoX-2B 与 LTX-Video 2B,都能进 8GB,LTX 相对快一些,按各自仓库说明安装。
手机或家里其他设备直接输笔记本的局域网 IP,如 http://192.168.x.x:8188(ComfyUI)或 :11434(Ollama)。前提是服务绑了 0.0.0.0:ComfyUI 加 --listen(见 4.1),Ollama 设环境变量 OLLAMA_HOST=0.0.0.0:11434 后重启。笔记本 IP 在 PowerShell 跑 ipconfig 看。
原理和 Kaggle 上那套一样:笔记本上的连接器主动向外连 Cloudflare 边缘,家里宽带不用开端口、不用公网 IP,NAT 后面也能用。以下示例域名、隧道名均为占位符,换成你自己的。
cloudflared-windows-amd64.exe,改名 cloudflared.exe,放到 C:\cloudflared\ 并加进 PATH,或每次用全路径。cloudflared tunnel login
浏览器会打开 Cloudflare 授权页,选域名所在的账号授权。凭证存在 %USERPROFILE%\.cloudflared\。
cloudflared tunnel create laptop-gpu
cloudflared tunnel route dns laptop-gpu gpu.example.com
route dns 会自动建好 DNS 记录。建隧道时会生成一个 UUID 与凭证文件,不要把凭证文件发给任何人。
%USERPROFILE%\.cloudflared\config.yml:tunnel: laptop-gpu
credentials-file: C:\Users\<用户名>\.cloudflared\<UUID>.json
ingress:
- hostname: gpu.example.com
service: http://localhost:8188
- service: http_status:404
多一个服务就多一条路由(如 Open WebUI 的 3000 端口),同一条隧道按域名分流,不用每服务建一条隧道。
cloudflared tunnel run laptop-gpu
看到连接成功后,用手机关 WiFi、开流量打开 https://gpu.example.com,能打开 ComfyUI 即算通(加 Access 后会先出现登录页,见 7.3)。
cloudflared service install
服务默认读同一位置的 config.yml,开机自启。装完重启一次笔记本,验证服务自己起来、隧道自己通。
关 WiFi、开流量打开子域名:应先出现 PIN 登录页,验证通过后进 ComfyUI,能看到队列与出图结果。手机上看队列、看结果、点 Queue 没问题,搭工作流还是回电脑上搭,手机屏幕太小。
--lowvram,或降分辨率、关其他占显存的程序;Ollama 换更小的量化(如 Q3)。先看 nvidia-smi 的实际占用再下结论。netstat -ano | findstr 8188 找占用进程,关掉或换端口。cloudflared tunnel run 的日志,等 1~2 分钟再试。nvidia-smi 报错或认不到卡,先重装官网驱动,再排查别的。nvidia-smi 能看到 RTX 4060 Laptop GPU,显存约 8GBollama run qwen3:8b 能对话