AI热点 1月前 136 阅读 0 评论

618想换电脑跑AI?先听我一句劝。

作者头像

AI技术专栏作家 | 发布了 246 篇文章

最近618开始了,又到了一年一度换设备的日子。


端午节之后,就有好几个朋友问我,你的电脑用的是啥配置的。


我一般就会发两张图过去。




他们一般就会发一个地铁老头看手机的表情,然后问:


想买一台学AI的笔记本,有没有什么推荐的。



我每次总会反问一句话:


学AI?你主要学啥。


对方就会跟我说,搞个知识库,画画图,做做AI编程,学学AI视频啥的。


这时候我就会问他们,你是有很多的不能上云端的隐私数据吗,还是你要在本地玩一些自定义或者很特别的工作流?


这时候有朋友就懵逼了。。。


说啊?这些是啥?玩AI不需要好配置的吗。


反过来给我也问懵了。


所以,我觉得,我还是想写一篇文章,来给大家聊一聊,到底什么样的AI,适合在本地跑,什么样的AI,适合在云端跑,什么样的AI,直接网页上用就行了。。。


也算是做个科普,如果看完了以后,你觉得,你确实有必要买一台新电脑的话,文末我也挑了几款我自己觉得还不错的,618+国补确实价格还行,可以去看看。


什么样的AI适合在本地跑,其实一般只看两个点:


  1. 对算力的要求是多少。
  2. 是否有安全、保密的隐私需求。


模型的参数量种类有很多很多,1.5B,8B,14B,32B...


比如Qwen家的,参数一堆。



哪些能在本地跑,哪些不能在本地跑,要搞清楚这个,我们首先得做点小学二年级数学题....


B全称为Billion,十亿。


1B的模型就说明有10亿个参数,一个全精度的参数为4个字节,那么1B的模型为40亿字节。


1GB恰好为10亿个字节,也就是说,跑一个1B的参数需要4GB的显存。


但是对于大模型推理来说,全精度(FP32)太浪费资源了,所以大多数,我们会跑半精度(FP16)或者INT8量化的模型,也就是一个参数占2个字节或者1个字节。


这样,跑一个1B的参数只需要2GB显存,跑一个8B的参数只需要16GB显存。


虽然在推理的时候,还需要一定的显存做上下文缓存,但是加上量化,推理优化等等方法,本地16GB显存跑一个8B的模型还是OK的。


比如说,前两天DeepSeek在qwen3-8B蒸馏出的deepSeek-R1-0528-Qwen3-8B模型可以完完全全部署在本地跑。



有了这个概念之后,你就会知道,虽然本地部署大语言模型的方法多种多样,不管是ollama,还是LM studio,或者vllm,你只需要关注三点:


1. 模型的参数量。


2. 模型是否量化。


3. 你的显卡显存。


基本上,14B及以上的模型跑在本地还是很麻烦,比如一个INT8的14B模型,我在5080上跑,很慢,而且留给KV缓存的空间很少,真要跑,还是4090或者5090会好一些。


14B以下的模型,需要你自己评估一下参数量以及显存的大小。


上面谈到的都是语言模型,那么图像模型,视频模型,音频模型,3D模型呢,其实基本差不多,一样的道理。


比如大家都熟悉的ComfyUI,一个强大的生产力工具,可以生成图像,视频,音频,3D模型;但是在本地使用ComfyUI的前提是,你的显卡得hold得住这些模型。


ComfyUI官方推荐了一些模型,这些模型参数量多少,需要多少显存我都列在了这里。



上面说了这么多,你肯定对什么样的配置能在本地跑模型,有一些自己的想法了。


但是这时候你可能又会问,本地跑模型到底有哪些好处,为什么非得跑在本地啊,我去网页上用不香么?


所以这里要说的,就是隐私安全与合规性问题了,如果你有很重要的数据不希望泄露或者出现在别人和模型的对话中,比如商业机密,医疗数据等等,那么你只能选择本地部署一个模型。


本地部署模型绝对不会出现数据泄露的问题,因为所有的计算都在你自己的电脑上完成,除此之外,没有任何的请求,所以本地部署的模型,不用联网也能用。


举个例子,我们都知道知识库这个东西,我们也有很多教程,比如用Dify、扣子、ima啥的来搭自己的知识库。


你当然有很多很多的内容,可以扔上去,但是如果,是你自己公司的资料呢?如果是你的隐私数据呢?你敢扔上去吗?


比较最最核心的模型服务,都是在人家那,隐私保护,是最最核心的,没有之一。


但是你又有AI辅助的需求,你就只能选择本地部署,没有别的办法。


举个例子,《流浪地球3》的剧本,你动脑子想,都能知道,这玩意保密性有多强,一个电影上映前,剧本泄露,就是最恐怖的事情,但是我们当然有需求,针对剧本进行一系列未来视觉化的工业化AI辅助和流程。

这玩意我们敢扔到任何所谓的什么ChatGPT、Gemin、Claude、DeepSeek、元宝、豆包上吗,敢扔那就是疯了。


所以只能部分搭本地用5090D来推理,部分找云服务厂商合作。


但是如果是个人使用,其实也不需要5090D这种级别的卡,5060ti或者5070其实也就差不多了。


你像豆包PC版,就跟英伟达一块,搞了个本地知识问答。



就是为了解决隐私的本地知识库的需求。


下载下来的模型是个7B的,推荐使用12G以上的显卡去用,基本也就是5060ti以上了。


不过有个好玩的是,这个7B的模型,是智谱的GLM-4。。。



当然你也可以用Ollama啥的自己来部署,就是麻烦一些。


本地部署还有一个优势,就是一旦部署,无限免费使用。


比如用ComfyUI随便跑,随便roll,无延迟,无排队,最最重要的是,再也不用积分焦虑了。


但是话又说回来了,由于本地受限于算力的问题,参数量太大的模型跑不了,但参数量更大的模型意味着更好的表现,更广的知识面,更稳定的输出。


如果你是一个企业的负责人,需要为员工配置大模型,但又不希望隐私泄露出去,其实我更推荐的就是,可以选择在云端(火山引擎、阿里云等云服务厂商)部署大模型,比如Qwen2.5 72B(需要4张 48GB显存的显卡)。


如果只是自己偶尔用一用,也不涉及隐私数据啥的,其实像我一直推荐的AutoDL之类的也不错,你可以直接去租一下服务器临时用。



以上,看完了以后,我觉得对于你是否需要一台能玩AI的设备,现在有了一个非常明确的判断了。


如果你明确了,你确实需要一台的本地设备的话,我也推荐几个618值得买的笔记本,目前都还有货,且我自己觉得不错的(非利益相关)。


台式机我就不推荐了,台式机大家还是自己攒吧,5060Ti、5070、5070Ti都可以,当然你要是预算足够,上5080和5090D也没啥问题。。。


主要是推荐几款笔记本(我自己主观意见)。


按你的预算价位划分。


5000元档。


机械革命极光X,5060 8G+i7-13700HX,国补完5332,性价比拉满。



6000元档。


无脑HP暗影精灵11,5060 8G+i7-13700HX,原价7799,现在6208。



7000元档。


依然HP暗影精灵11,显卡升级成5070,加了800块钱,原价8699,现在到手价6959。



华硕天选6 Pro 锐龙版,5070 12G+8940HX,原价9499现在国补完7599。



说实话,我自己已经很久不买intel的CPU了,从20年开始,我换的电脑的CPU全是AMD的,还记得我20年换的本就是华硕天选2锐龙版,那时候疫情困在家里一直爽玩命运2,现在那台天选2已经是我妈的专属了。


8000元档。


想买5070Ti,直接上机械革命蛟龙吧,5070Ti 16G + R9-8945HX,原价10499,国补打折完7873,8000不到5070Ti带回家。



以上,自行去京东搜索就行。


当然,如果你们也想看看其他的搭载了50系显卡的笔记本,也可以去英伟达的这个网页里面看,里面非常的全,基本都列出来了。


https://pro.jd.com/mall/active/2UBbPZExaeXMVFrAp8FMfNUJ9SfK/index.html



文章底部的阅读原文我也放了,手机看文章的小伙伴想看的话,可以自行去点那个链接。


大家有更好更推荐的,也欢迎评论区打出来,或者还有什么618值得买的小玩意。


希望这篇文章。


对大家,有一些帮助。


文章来自于“数字生命卡兹克”,作者“卡兹克、悟空”。


作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!