local-ai

Ollama

从安装、小模型问答到本地 API 调用，理解模型选择、硬件占用、数据流和许可边界。

官网 freemium Ollama本地模型模型部署开发者工具

整理：日刊 · 资料核对：2026/11/04 · 编辑说明

想体验本地模型，最常见的疑问是“我的电脑能不能跑”。更有用的起点是：先选一个小模型，跑通一次问答，再看它能否完成你的真实任务。

Ollama 提供模型运行与调用入口，可以帮助开发者减少接入本地模型时的重复配置。模型能力、硬件需求和许可仍由具体模型决定。

先确认你要本地运行什么

Ollama 的生态包含本地与云端能力。使用前应看清所选模型的运行位置，不要因为安装了本地客户端，就认定所有请求一定留在电脑里。

如果目标是离线处理资料，应该选择本地模型，并检查应用有没有额外调用云端搜索、嵌入或生成服务。只有整条数据流都经过确认，“本地处理”才有明确含义。

第一次测试可以用公开文本或自己编写的样例，不必一开始就导入真实业务资料。

第一步：安装并检查服务

从 Ollama 官网或官方文档选择适合当前操作系统的安装方式。安装完成后，在终端检查命令是否可用：

ollama --version

如果提示找不到命令，先检查安装是否完成以及终端环境是否刷新。不要在命令尚不可用时继续排查模型设置。

不同系统的启动方式可能不同，后续操作以当前版本的安装文档为准。

第二步：选择一个小模型跑通问答

从官方模型库中选择明确支持本地运行、规模适合当前机器的模型。下面使用 gemma3:1b 作为示例标签，运行前请确认模型库仍提供该标签：

ollama run gemma3:1b

首次运行通常需要下载模型。下载完成后，可以先输入一段几百字的公开资料，要求模型只总结其中的信息。

模型名字里的参数规模不能直接换算为固定内存需求。量化方式、上下文长度、并发量和运行后端都会影响占用。应查看具体模型说明，再通过本机的实际资源使用情况判断是否适合。

先选小模型的目的，是减少排查变量。能运行只是第一步，不代表它已经适合复杂推理、长文档或生产业务。

第三步：通过本地 API 调用

Ollama 提供 HTTP API。下面的示例向本机服务发送一轮非流式对话：

curl http://localhost:11434/api/chat \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "gemma3:1b",
    "messages": [
      {"role": "user", "content": "把下面这句话概括成十个字以内：团队每周整理公开产品动态，并保留原文链接。"}
    ],
    "stream": false
  }'

这里的 localhost 表示发起请求的那台机器。如果应用运行在容器或另一台服务器里，它指向的可能并不是安装 Ollama 的电脑。连接失败时，应先确认服务运行位置和网络地址，而不是反复修改提示词。

不要为了省事把模型服务直接开放到公网。跨机器使用时，应设置必要的访问控制，并只开放给确有需要的客户端。

第四步：拿同一组问题比较结果

准备十来个与业务有关的小任务，比随意聊天更容易判断模型是否可用。比如：对一段产品说明写摘要，从文本里提取日期和名称，或者根据固定资料回答常见问题。

检查项	可以怎样验证
是否遵守格式	要求固定字段，检查能否解析
是否编造信息	加入资料中不存在的问题
速度是否可接受	分别记录首次和连续调用耗时
资源是否稳定	观察多轮对话后的内存或显存占用

比较不同模型时，尽量固定问题、输入长度与运行设置。否则一次回答更快，可能只是因为它生成得更短。

常见误解

“下载模型后就能免费无限用”忽略了硬件、电费和运维成本。对低频任务，托管接口也可能更省事；对持续、可控的本地任务，本地部署才可能发挥优势，需要结合实际使用量计算。

“模型在本地就不会泄露”也不完整。日志、浏览器插件、接入应用和外部工具仍可能传出数据。应从实际调用链检查，而不只看运行器名称。

最后，Ollama 的许可与模型权重许可是两回事。商用前要分别查看运行器和具体模型的使用条件，不能因为工具可以安装，就推断模型适用于所有商业场景。

本文为基于官方文档的入门说明，示例命令未在本文中进行性能实测，不承诺特定硬件上的速度和效果。