先想清楚为什么要在本地跑
本地跑图的是两件事:资料不出本机,以及断网也能用。固定重复的活——翻译一批内部文档、给代码加注释、按固定格式整理笔记——也很适合留一个本地模型专门干。
代价得先认:效果通常不如云端大模型,硬件决定上限,安装、更新、换模型都得自己来。只是偶尔问两句、又想要最好的回答,直接用在线服务更省事。
安装和第一次对话
从 ollama.com 下载对应系统的安装包(Linux 可用一行安装脚本),装好后打开终端,输入:
``` ollama run llama3.2 ```
这条命令会自动下载 Llama 3.2 模型(约 2 GB)并进入对话界面,第一次要等下载完,别以为是卡住了。直接打字就能聊,输入 `/bye` 退出。想确认装好没装好,`ollama list` 看已装模型列表最直观。
想要更强的模型,去官网的模型库挑一个,把名字换成对应型号即可,比如 `ollama run gemma2:27b`。常用管理命令就三个:`ollama list` 看已装模型,`ollama pull` 只下载不运行,`ollama rm` 删除不用的模型腾空间。模型文件是按 GB 占磁盘的,试过几轮之后记得把不用的清掉。
按内存选模型,别贪大
模型大小和内存需求是硬关系,官方给的参考线:7B 参数的模型至少 8 GB 内存,13B 至少 16 GB,33B 至少 32 GB。这是能跑起来的下限,不是跑得舒服的推荐值。普通家用电脑从 7B 或更小的模型起步,1B–3B 的小模型在老机器上也能跑。有独立显卡的机器速度会明显更快,纯 CPU 也能跑,只是慢。
跑不动的表现很好认:响应慢到没法等、打字一顿一顿、内存吃满开始卡顿。碰到就换小一档,别硬扛。小模型通常响应较快,适合轻量任务;大模型占用更多内存,处理复杂问题时更有余量。同一台电脑可以安装多个模型,按任务切换,不必只留一个。
官网模型库里同一名字带不同后缀的,对应不同规格,挑之前看一眼说明再下,省得白等一次大文件。
让模型固定扮演某个角色
如果常做翻译、格式化或代码注释,可以用 Modelfile 给模型设定固定指令。文件中用 `FROM` 指定基础模型,用 `SYSTEM` 写角色要求,再运行 `ollama create 我的模型 -f 文件名` 创建自定义模型,之后通过 `ollama run 我的模型` 启动即可。
`SYSTEM` 里写的是长期职责和边界,比如“只做中英互译,不解释、不扩写,术语按给定词表”,不是某一次的具体任务;一次性的要求留在当次提问里。改了 Modelfile 要重新创建一次才生效。任务类型差别大的,干脆建两个自定义模型,比在一个角色里塞一堆互相打架的规则清楚。
接进自己的工具
它还在本地开放了一个标准 API(默认地址 localhost:11434),写脚本、接第三方客户端或接入自己的应用都从这里走,具体接口看官网文档。批处理一批本地文件、给内部小工具加个摘要按钮,这类固定流程最适合。
这个地址默认只在本机监听,别为了图方便随手把它暴露到公网;需要远程访问时,按官方文档配置好访问控制再用。
边界
本地不等于万无一失:模型文件来自哪里、磁盘里存了哪些对话、机器上谁有权限,仍要自己管。模型效果也受版本和规格影响,别拿本地小模型的结论当权威事实,重要内容照旧人工核。
小结
本地跑模型的顺序是:先装一个小模型把流程走通,按内存和速度选到不卡的那一档,再用 Modelfile 把重复任务固定下来,最后才考虑接 API。想试就去 ollama.com 装好,跑一次 `ollama run llama3.2`,拿一段不敏感的文字试试响应和速度,比先研究参数实在。
