微言码道 · 手记

Google发布Gemma 3,你个人电脑上能跑的小参数模型

Google发布Gemma 3,你个人电脑上能跑的小参数模型封面

—— Google发布了Gemma 3小参数模型,这可能是当前你个人电脑上能跑的最好的小参数模型

昨天,Google发布了它的开源模型Gemma的新版本, 也就是Gemma 3.

当然,现在的AI太卷了,新模型几乎一天一个,然后都说自己在各方面表现更优秀。但Google的Gemma 3确是一个特别值得关注的模型。因为它是你个人电脑能跑的模型。

AI模型,无论是开源,还是专有,我们的选择其实挺多,国外你可以选ChatGPT, Grok,国内也有DeepSeek, 豆包等。但是,如果你个人想在本地部署搭建一个私有化模型,那选择其实很少。

而在这其中,Gemma就值得你关注。

它的优势是:

它是一个开源的模型

想要在本地部署一个大模型,类似ChatGPT这种专有的模型肯定不行,所以只能选择开源模型。随着这两年开源模型的发展,国外以Meta的Lllama,Gooogle的Gemma, 国内有阿里的QWen,还有最近非常火爆的DeepSeek,这些都是可以选择的。

但如果把范围收缩到小参数模型,那显然Google的Gemma,微软phi这些更值得你关注。虽然Qwen这样的也有小参数,但Gemma与phi这一类是只做小模型。相比较而言,Gemma和phi在小模型领域表现会更为优质。

非常适合在个人电脑上部署

部署一个AI模型,通常需要极大的资源,特别是显卡GPU的需求。大多数场景下,不要说个人电脑,就算是企业面临这种资源需求也非常有压力。动辙需要几十万才能购买到合适的资源硬件,远不是个人能做的事情。

而Gemma 3这样的模型则完全不同,Gemma 3有1B, 4B, 12B, 27B几个级别的参数大小。这其中,除了27B可能稍微需要显存多一点(约20-40GB)以外,其它几个则对显存的需求会非常少。

如果你有M芯片的Mac硬件,或电脑有几GB的显存的显卡, 在你的电脑上运行12B是完全没有问题的。硬件再稍微好一点,跑27B也是可行的。

这意味着你可以用Gemma搭建一个本地的AI模型,也许这对你会非常有价值。毕竟很多时候,使用API并不是好的选择。

性能表现较优

对于小参数模型,比较令人忧虑的事情就是因为它的参数不足,AI模型的表现会非常差,甚至到无法满足个人需求的地步。

但这不是Gemma 3的现实。其实Google的Gemma系列,微软的PHI系列,专注于小参数,在性能表现也令人惊喜。

Gemma 3性能表现

从Google官方公布的AI性能测试结果来看,Gemma 27B的性能表现已优于DeepSeek V3,略差于DeepSeek R1, 这个结果对于一个27B的参数量大小的模型来说,已经非常好了。

多模态模型

Gemma 3虽然是小参数模型,但其还有一个令人惊喜的地方在于它居然是一个多模态模型。

所谓多模型模型是指相比较大多数文本类模型,它还支持图片,甚至是视频等。按照Gemma 3官方的博客, Gemma 3甚至支持你上传图片,视频,它也能理解你的图片或视频,在这之上继续和你聊天沟通。

相较于纯文本,这是一个更好的场景。

个人私有化部署AI

我认为,随着类似的小模型越来越多,越来越优秀。这意味着个人能私有化在本地跑一个AI模型会越来越成为一种可能与主流。

而随着这种个人AI部署的增加,有可能极大的提高个人产出效率。

而现阶段,你已经完全可以尝试在本地跑Gemma 3和PHI-4, 另外国内的QWEN也有2.5B,7B这种级别的小模型参数模型。再结合一些本地能部署的AI工具,也许这个本地化AI助手,能成为你最大的助手。