核心提示:DeepSeek兴起以后,本地部署AI大模型逐渐走进了大众视野,对比云端版本,本地部署的优势很明显,不需要联网,告别遇到“服务器繁忙,请稍后再试”这种问题,而且数据库存在本地,同时具有隐私性,保护数据安全。
DeepSeek兴起以后,本地部署AI大模型逐渐走进了大众视野,对比云端版本,本地部署的优势很明显,不需要联网,告别遇到“服务器繁忙,请稍后再试”这种问题,而且数据库存在本地,同时具有隐私性,保护数据安全。
因为DeepSeek显著降低了部署成本,使得不少消费级电脑都能轻松玩转,变成超级私人AI助理。不过毕竟需要依靠自身硬件来跑AI大模型,虽然成本降低了不少,但也不是没有门槛,只不过相对较低一些。目前DeepSeek开源特性,开发者跑出了五花八门的模型,专业名词叫蒸馏模型,这些蒸馏模型有些专门为低配电脑训练,让入门级硬件也能跑本地部署AI大模型,不过在运行的精度方面肯定没有那些高配满血版高了,可以说将一分钱一分货的理论发挥的淋漓尽致。
目前DeepSeek R1完整版模型为671B,此外它还有70B、c、14B、8B、7B、1.5B六个原始蒸馏模型,而六个原始蒸馏还被个人开发者训练除了各种量化版本,以满足不同平台、行业用户的需求。1.5B是原始最小的模型,搭载一般4G显存和8GB内存的显卡游戏本就能跑。而使用单张显卡不考虑魔改和多卡的话,一般消费级电脑的顶点在32B、70B的蒸馏模型,需要20GB以上显卡搭配64GB以上内存。其实从数字也能看出来高配版和低配版蒸馏模型的差异,1.5B和32B、70B不在一个量级。
我们这次来玩一玩DeepSeek本地部署,给大家出一套简易版本部署教程,首先准备了一套电脑平台,配置如下:
DeepSeek本地部署体验比想象中有趣
这次我们使用了了AMD锐龙9 9950x3D这款最新发布的处理器,兼具游戏以及生产力,目前在这双端都做到了业界领先。而为了能让这款处理器可以跑满性能,我们搭配技嘉X870 A ELITE WE7 ICE主板,这是一款纯白主板,拥有16+2+2相供电模组,配备全覆盖式散热装甲,足够AMD锐龙9 9950x3D发挥出全部实力。同时这款主板拓展能力不俗,不仅提供PCIe 5.0显卡插槽以及M.2插槽,还在I/O区域板载12个USB接口,包括两个最新的USB 4接口。目前这款转还提供4年质保以及1年换新服务,售后无忧。
显卡为AORUS GeForce RTX 5090 D MASTER ICE 32G,这款显卡采用GB202核心,使用与上一代相同的TSMC 4nm定制工艺(TSMC 4nm 4N NVIDIA CustomProcess),芯片面积750mm2。拥有21760个CUDA,Boost频率为2655MHz。采用32GB GDDR7显存,位宽为512bit,显存带宽达到了1792 GB/s,光栅单元和纹理单元为176和680。
DeepSeek本地部署体验比想象中有趣
显示器为技嘉FO32U2P OLED显示器,这是一款4K顶级桌面显示器,采用QD-OLED面板,拥有240Hz刷新率以及0.03ms响应时间,还经过ClearMR 13000认证以及HDR400认证,提供了更加真实的画面表现。
DeepSeek本地部署体验比想象中有趣
在部署之前,我们首先要确定使用的容器,也就是启动器,玩过Stable Diffusion对此应该不会陌生,大名鼎鼎的秋叶启动器就是一种容器。目前很多支持DeepSeek的容器,根据自己的需求搜索容器官网去下载即可,我们这次先使用的是LM Studio。
LM Studio对于新手还是非常友好的,界面简洁干净,逻辑清晰,我们安装打开点击下方齿轮设置,可以调节成简体中文,不过目前中文仅限于一些基础界面和功能调节。
本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至whzhuomai@163.com 举报,一经查实,本站将立刻删除。