名词大白话 入门 NO.025
量化:为什么小电脑也能跑大模型?
别名:量化 · 本地部署
01一句话说人话
量化是一种给AI大模型瘦身的方法,它把模型里又长又占地方的大数字换成小一点的数字,让手机和旧电脑也能在本地跑起来,不用联网、隐私更安全,但效果会比原版稍微差一点点。想试的话,网上搜本地大模型就能找到不少现成工具。
02跟你有什么关系
跟你的关系真不小。一是钱包:不少人每月花几十块订AI会员,其实老电脑、旧手机自己就能跑,钱白花了。二是隐私:你跟AI聊的私密话、家人照片、生意上的数据,全要上传到别人服务器,万一泄露就是大事。懂了量化,自己电脑上就能跑AI,不用联网、隐私不出门,出差飞机上没网也能用。
03马上怎么用
先在电脑上下 Ollama(苹果、Win、Linux 都有),打开终端输入 ollama run qwen2.5,等下载完直接开聊。嫌命令行麻烦就用 LM Studio,图形界面点一点换模型。先玩 7B 小模型,电脑不卡再试 14B。注意:量化版偶尔会犯傻,关键信息比如算账、查法律条文别全信,最好跟原版核对一下。