最佳AI图像生成器：探索Qwen3的本地化运行与模型性能

Qwen3于4月29日凌晨发布。千问这次开源了8款不同参数的模型，每一款均斩获同尺寸开源模型SOTA（最佳性能）。强到什么程度？即使是4B参数的小模型，也能匹敌千问上一代72B模型的性能！这就意味着，高质量模型的私有化部署，终于面向普通消费级显卡敞开大门。很多玩法，都可以跑起来了。本地化部署也不难。本文介绍2种方法，不用懂代码，不复杂，算是抛砖引玉：

第一种：Ollama

1. 下载安装Ollama：地址ollama.com，根据自己的系统版本下载即可，和安装普通软件一样。
2. 下载模型：安装好后访问上面网址，在界面菜单栏点击“Models”标签，找到“qwen3”进入详情页，选择适合自己电脑条件的版本。我是30系列N卡，选了个8b的（后文附14b版本的测试）。
   
   在上图标识②的地方复制命令后，用“Win + R”打开CMD命令提示符界面，粘贴该命令，回车即可自动下载该版本的模型
   
   8b版大概5个G左右，加上Ollama本身，大概10G。默认放在C盘，记得留下足够的空间。
3. 开始对话：下载完毕后自动运行，可直接提问对话，如图：
   
   需要提醒一下的是，关闭CMD界面后，如再运行qwen3，需要在CMD命令行中输入命令：ollama run qwen3
   从上图可看出，虽然是8b模型，但仍具备深度思考能力。原本以为我的30系列显卡带不动它，没想到输出速度可达到58.96 tokens/s。看这数字可能没啥感觉，总之是普通人打字速度的15倍左右，堪称飞速。
   
   （输入ollama run qwen3 --verbose 命令对话可查看本地模型运行速度，如上图）到这里，你已经完成qwen3模型的本地离线运行。不过，这种命令行的交互方式，感觉还不够方便。如果能用可视化工具来运行就更好了，就像我们平时跟DeepSeek对话一样，有清晰的对话窗口。这种工具很多，个人尝试了一下Ollama Open WebUI，感觉不错。安装方法如下：

第二种：Open WebUI
前面已安装了Ollama，只需再做两步：
一是安装Docker
二是安装Ollama WebUI

1. Docker安装访问https://www.docker.com/ ，根据自己的电脑情况下载，没有魔法上网的话，慢。我下载的是Windows AMD64版本（在本公众号“对话框”发送docker可下载该版本）。基于x64架构的windows电脑，直接用这个版本即可，如是苹果电脑请到官网下载。如何查看自己系统架构版本？按 “Win + R” 键，在 “运行” 对话框中输入 “msinfo32” 并按下回车键，在 “系统摘要” 部分，看“系统类型”一项。下载后像普通软件一样安装、运行。首次运行的时候可能有些慢。
   
2. 安装Ollama WebUI
   先进入https://github.com/open-webui/open-webui，找到下图这个地方，先复制命令行（右下箭头处）
   
   然后用 win+R 打开CMD界面，粘贴上面的命令，回车，等待自动安装完毕。最后，在浏览器地址栏访问Ollama WebUI，地址http://localhost:3000，如提示注册，按提示进行即可（系统默认第一个账号为管理员）。由于本文在安装Ollama的时候已经下载了qwen3的8b模型，所以在界面左上选择这个模型，即可直接输入消息进行对话（下图）：
   
   至此，第二种部署使用方案完成。看看Qwen3的质量效果如何，先考一下“智商”，提问：结合现实经验，一根5.5米直径20毫米的竹竿，能否完好通过宽4米高3米的矩形门？直接看结论即可。先看文心一言的回答（其答案是不能）
   
   再看Kimi的回答（答案仍是不能）：
   
   然后看看qwen3 8b模型的回答：
   
   是不是很意外？？测试完8b后，再看看14b参数的模型。没想到8G的N卡也能驱动这个参数量级，有点惊喜！但输出速度一般，大约为普通人打字速度的2倍：
   
   看看古诗写得怎么样
   
   看上图的思考耗时，完全可以接受。这是8G显存的效率，还要啥自行车呢。当然，质量是关键。整体感觉，虽然本文测试的模型参数不大，但效果还是不错，篇幅关系，没有放更多案例。按这个趋势，大部分的闭环大语言模型估计要被Qwen的开源干翻。你说呢？如要体验官方的满血版，可访问：chat.qwen.ai以上。