引子

  这几天看到极空间官方更新了本地部署DeepSeek的功能,作为极空间的老用户,我使用的是极空间消费级NAS中的旗舰型号Z423,正好体验一下实际效果如何。

  在上手极空间的DeepSeek之前,我已经在RTX4090满血版台式机、MacBook Pro M1 Pro设备上基于Ollama本地跑过14B版本的DeepSeek R1,速度起飞。虽然不奢望小NAS能跑过GPU,但希望能够达到可用的程度。

在极空间安装DeepSeek

  我的极空间Z423配置如下,从中可以看到,NAS的CPU带有一个核显,可以用于视频编解码,理论上应该也能给大模型推理用。

极空间Z423设备参数

  更新最新版的极空间系统以后,可以打开新增的应用“DeepSeek”,在里面就可以一键自动部署模型了,目前支持7B和14B两个参数量级的模型。

极空间DeepSeek首次打开

  作为内存大户,我肯定先选择14B的模型试试水,并且将模型安装在NVME固态中,具备更快的加载速度。

极空间DeepSeek模型设置

  等待十几分钟,模型就下载并安装好了,接下来就可以点击左上角的对话框开始聊天。

  这个过程对小白比较友好,点两三下鼠标就开始本地部署了~

极空间本地DeepSeek体验

  接下来就到了今天的重头戏,体验本地DeepSeek的实际效果!

  我用来测试的问题是个简单的逻辑题:左手一只鸭,右手一只鸡。交换两次双手物品后,左右手中各是啥?

  先来看极空间本地DeepSeek R1 14B的对话效果,如下图。可以看到,模型可以运行,但是Token输出非常慢,目测低于每秒10个Token,等思考完再输出答案,估计花都谢了,好在最后答案是正确的。

极空间本地DeepSeek R1 14B的对话效果

  那么此时资源利用率如何呢?

  根据下图实时的进程信息,极空间是采用了开源的llama.cpp方案运行本地模型,CPU利用率维持在50%左右,内存占了32G中的25%,正好是8G,也是模型权重文件的大小。

  监控组件没有显示GPU的使用率,不过我推测实际上应该也没有用到GPU,极空间似乎没有为Z423适配GPU运行模型的参数。

极空间运行DeepSeek R1 14B的资源占用情况

  对话的过程中,我听到了Z423风扇的噪音明显变大,那么此时温度如何呢?如下图所示,已经达到了74摄氏度,正常空载的温度一般在40~50摄氏度左右。

  虽然Z423的AMD CPU温控一直做得不好,但这么烫我以后舍不得用它跑模型了。。。

  事实上,之前我从来没考虑过用NAS跑模型,CPU推理事倍功半。

极空间运行DeepSeek R1 14B的温度情况

  是不是14B的模型太大了,所以效果不好?

  紧接着我也试了一下7B,实际效果大家看图吧。

极空间本地DeepSeek R1 7B的对话效果

  可以看到输出速度比14B快多了,目测快了接近一倍。

  虽然速度有所提高,但距离好用还是很遥远。

  在满血版RTX4090上,DeepSeek R1的14B运行多快呢?请看下图!每秒输出的Token数达到了60,对用户来说已经是十分流畅的体验了!

满血版RTX4090运行DeepSeek R1 14B效果

  理论上,llama.cpp比ollama的效率更高,不过如果性能够用的情况下,我会选择更简单的ollama。极空间选择llama.cpp估计是性能方面的考量更多,不过似乎目前的硬件对模型推理已经力不从心了。

总结

  实际使用下来,在CPU运行的DeepSeek基本属于能跑但基本不可用的状态,瓶颈主要在于运算速度。如果能够把Z423的核显利用起来跑推理模型,相信效果会更加出色。

  这里我有4个建议:

  1. 优化模型对话、不同参数的模型的切换交互逻辑,测试的时候我一度以为要把14B的模型删掉才能装7B的模型,两者不能同时共存。
  2. 提供局域网的模型接口,这样用户可以在习惯的工具中集成NAS的模型服务。
  3. 提供删除本地模型的功能,避免弃用模型长期占用系统空间。
  4. 提供更好的GPU支持,包括GPU负载监控和使用GPU进行模型推理。

  我认为,本次极空间更新的DeepSeek更像是战略布局,先从软件上上线相关功能,再推出新硬件支持更快速的模型推理。这么看来的话,估计极空间今年很有可能会推出搭载了GPU或者NPU硬件新NAS。

  极空间NAS的主打功能就是公网访问,官方提供代理能够访问家里的应用和数据。如果家里能流程运行私有化部署的大模型,对于用户来说又多了一个保护隐私的选择。

  按照目前的趋势,下一代NAS产品或多或少都要加入GPU或者NPU的硬件。对于品牌NAS来说,新硬件带来的换机浪潮无疑是必争的业务增量,希望NSA厂商都能推出更有竞争力的产品。