您有没有过这样的时刻将公司代码粘贴到 ChatGPT 中脑海中一个小声音低语着“我应该这样做吗”我忽略了那个声音好几个月。然后我的经理转发了一封来自法务部门的关于AI 工具使用政策的电子邮件。突然间那个小声音变得非常响亮。这里没有人告诉您关于云 AI 服务的事情。您发送的每条消息都会传输到其他人的服务器。每个代码片段。每次私人对话。每次您太害羞而不敢问同事的尴尬问题。对于个人事务没问题。但对于工作代码、私人项目或任何您不希望第三方看到的事情那就是另一回事了。所以我使用两个开源工具构建了自己的私有 AI。两个小时的设置。每月零美元。老实说这比我预期的要好。这就是我是如何做到的完整故事 —— 包括每个错误、每个修复、每个顿悟时刻。1、改变一切的两个工具我的私有 AI 在两个完美协作的开源项目上运行。Ollama是引擎。它直接在您的计算机上运行 AI 模型。没有云。没有 API 调用。没有数据离开您的机器。将其视为AI 模型的 Docker —— 您拉取一个模型在本地运行完成。社区使其变得 incredibly easy to use。Clawdbot是接口。它是一个开源网关将 Ollama 连接到您实际使用的应用程序 —— Slack、Web 浏览器、命令行甚至 Discord。如果没有 Clawdbot您将被困在终端窗口中打字。有了它您可以从任何地方与您的 AI 聊天。它们共同创建了这种架构Slack/Web/CLI → Clawdbot Gateway → Ollama → AI Model ↑ ↑ 您的应用程序 您的计算机 (没有任何东西离开)魔力在于最后一行。没有任何东西离开。您的问题、您的代码、您的私人想法 —— 它们从未接触互联网。它们从未到达其他人的服务器。它们正好停留在您放置它们的地方。2、为什么我选择这个而不是云 AI让我诚实地说。ChatGPT 和 Claude 是惊人的。我仍然将它们用于个人事务。它们设置更快并且拥有前沿模型。但这里是我的成本计算云 AI 成本我的实际支出ChatGPT Plus每月 20 美元Claude Pro每月 20 美元偶尔的 API 使用每月 30-50 美元这大约是每月 70-90 美元。每年超过 800 美元。我的 Clawdbot Ollama 设置一次性硬件已经有 GPU电力7x24 小时操作每月约 10-15 美元软件0 美元开源API 成本永远 0 美元盈亏平衡时间大约 2 个月。但这里有个事情 —— 金钱并不是我切换的真正原因。真正的原因我需要询问工作代码而不用担心。每次我为工作使用云 AI问题困扰着我。这些数据去哪里了谁可以看到它它是否被用于训练未来的模型我是否违反了公司政策这段代码是否最终会出现在其他人的自动完成中使用我的本地设置我确切地知道一切去向。无处可去。它在我的机器上处理并停留在我的机器上。就是这样。这种平静的心态彻底改变了我使用 AI 的方式。3、硬件问题并非您所想在我们深入设置之前让我们谈谈硬件。这是大多数人被吓退的地方。您不需要超级计算机。这是实际工作的我有双 RTX 4090总共 48GB这是过度的。但我开始在较旧的 RTX 3080 上测试它对于较小的模型工作良好。诚实的事实如果您有过去 3-4 年的任何游戏 GPU您可以运行本地 AI。它可能比云慢但它可以工作。4、我的设置旅程诚实版本我希望我可以说这很容易。第一次尝试并不是。但错误教会了我什么是真正重要的。4.1 安装 Ollama简单部分这部分实际上很简单curl -fsSL https://ollama.ai/install.sh | sh然后我拉取了我的第一个模型ollama pull qwen3:30b-a3b为什么是这个特定模型我稍后会解释。现在只需知道下载 18GB 大约花了 10 分钟。快速测试ollama run qwen3:30b-a3b What is 22?它在大约 2 秒内回复4。Ollama 正在工作。到目前为止一切顺利。4.2 安装 Clawdbot也很简单npm install -g clawdbotlatest clawdbot onboard入门向导询问我关于要使用哪个 AI 提供商的问题。我选择了 Ollama 并将其指向 localhost。一切看起来都很好。然后我的第一个真正的问题来了。4.3 上下文窗口陷阱我用 8,192 令牌上下文窗口配置了我的模型。这是像原始 GPT-3.5 这样的云 API 的常见默认值。Clawdbot 拒绝启动。Error: Model context window too small (8192 tokens). Minimum is 16000.我尴尬地困惑了一个小时。为什么 Clawdbot 需要这么大的上下文窗口我的模型坏了吗然后我实际检查了我模型的真正能力curl -s http://127.0.0.1:11434/api/show \ -d {name:qwen3:30b-a3b}结果震惊了我Qwen3 30B →262,144 令牌Llama 3.3 70B →131,072 令牌DeepSeek Coder →163,840 令牌我将模型限制为其实际能力的 3%。没有理由。只是因为我假设云默认值在本地适用。修复很简单。我更新了配置以匹配现实{ models: { providers: { ollama: { baseUrl: http://127.0.0.1:11434/v1, apiKey: ollama-local, models: [ { id: qwen3:30b-a3b, contextWindow: 262144, maxTokens: 32768 } ] } } } }吸取的教训永远不要假设。本地模型在上下文窗口方面通常比其云对应物更有能力。始终检查实际规格。4.4 Slack 的静默失败模式Clawdbot 运行后我将其连接到 Slack。创建了应用程序。添加了令牌。机器人在线显示绿点。我向它发送了一条消息“Hello, are you there?”什么也没发生。没有错误消息。没有响应。没有迹象表明任何错误。只是沉默。我检查了 Clawdbot 的日志。没有错误。我检查了 Slack 的应用程序仪表板。一切看起来都连接了。我多次重新启动所有内容。在一个小时越来越沮丧的调试后我在日志文件中发现了埋藏的问题。我忘记了一个 Slack 权限groups:read。没有它机器人无法看到私有频道中的消息。而我的测试频道是私有的。残酷的部分Slack 不会告诉您。它不显示错误。它不警告您。它只是静默地忽略机器人无法看到的消息。这是您实际需要的所有权限权限为什么您需要它app_mentions:read当人们 mention 机器人时查看chat:write发回响应im:read im:write处理直接消息groups:read groups:history查看私有频道channels:read channels:history查看公共频道错过任何一个您的机器人将在没有警告的情况下失败。我以艰难的方式学到了这一点这样您就不必了。吸取的教训预先添加每个权限。调试静默失败将窃取您数小时的生命。5、为什么我选择了一个奇怪的模型这是我终于做出正确决定的地方。大多数指南说选择适合您 GPU 的最大模型。有道理对吗更大的模型 更好的响应。我做了相反的事情。我选择了Qwen3 30B-A3B而不是 70B 模型。“A3B” 部分是秘密。此模型使用混合专家(MoE) 架构。它总共有 300 亿个参数但任何给定的响应只激活 30 亿。将其想象成拥有 30 位专家的医院。当您有心脏问题时您不需要房间里的所有 30 位医生。您需要心脏病专家。也许一位护士。MoE 模型以相同的方式工作 —— 它们将您的问题路由到正确的专家参数。这是真正的世界差异指标Llama 70BQwen3 30B MoE响应时间5-10 秒1-3 秒所需 VRAM40GB15-20GB质量优秀几乎一样好适合单个 4090勉强容易对于聊天机器人速度比边际质量改进更重要。没有人想等待 10 秒来获得 Slack 回复。70B 模型给出稍微更好的答案但 MoE 模型给出足够好的答案快三倍。我两者都测试了一周。MoE 模型轻松赢得了我的用例。6、我的私有 AI 现在实际上做什么经过两周的日常使用这是我的 Clawdbot 设置如何融入我的工作流程没有偏执的代码审查。我粘贴整个文件并询问这里可能会出什么问题或你能发现任何错误吗代码从未离开我的网络。我不必清理任何内容或担心专有逻辑泄漏。快速技术问题。我不是打开浏览器并上下文切换到 Google而是问我的 AI。useEffect 和 useLayoutEffect 之间有什么区别它在几秒钟内回答并记住我们在对话中早些时候讨论的内容。写作协助。文档、提交消息、PR 描述、技术电子邮件 —— 我的 AI 起草它们我编辑。它并不完美但比从头开始要快。橡皮鸭调试。有时我只是向 AI 解释我的问题。一半的时间我在打字时想出答案。另一半它将我指向正确的方向。双语支持。我在韩语和英语中工作。Qwen 模型无缝处理两者。我测试了“안녕, 오늘 날씨 어때” 响应在 2 秒内以自然的韩语回来。心理差异我不再考虑成本了。没有运行中的计费器。没有我使用了太多令牌吗的焦虑。没有每月账单悄悄上升。我随时问我想问的任何东西。6、Web 仪表板隐藏的宝石我没想到的一件事Clawdbot 有一个令人惊讶的良好的 Web 界面。通过 SSH 隧道访问它ssh -L 18789:127.0.0.1:18789 your-server然后在浏览器中打开http://localhost:18789。您获得完整的聊天界面、对话历史、配置编辑器、实时日志和健康监控。对于大多数任务它比命令行更容易。老实说我现在使用 Web 仪表板比 Slack 多。7、快速入门指南想要构建自己的吗这是最快的路径步骤 1安装 Ollamacurl -fsSL https://ollama.ai/install.sh | sh ollama pull qwen3:30b-a3b步骤 2安装 Clawdbotnpm install -g clawdbotlatest clawdbot onboard步骤 3测试它clawdbot agent --local --message Hello, whats 22?如果它回复4您有一个工作的私有 AI。整个过程大约需要 30 分钟。其他一切 —— Slack 集成、Web 仪表板、systemd 服务 —— 都是可选的润色。核心立即工作。8、您应该构建这个吗对自己诚实地回答这些问题如果您符合以下情况请构建自己的私有 AI您定期处理敏感或专有代码您厌倦了每月的 AI 订阅不断累积您有不错的 GPURTX 3080 或更好或 Apple Silicon您喜欢自己托管工具的修补隐私对您的工作真正重要如果您符合以下情况请坚持使用云 AI您需要绝对前沿的模型GPT-4o、Claude Opus两个小时的设置时间不值得长期节省您没有合适的硬件并且不想购买任何硬件您的用例是随意的隐私不是问题对我来说仅隐私就证明了努力是合理的。成本节省是一个不错的奖励。速度令人惊讶地有竞争力。9、下次我会做得不同如果今天我重新开始这个项目这是我会改变的在配置之前检查模型规格。因为我假设而不是验证上下文窗口错误浪费了一个小时。五分钟的研究将节省六十分钟的调试。从一开始就添加所有 Slack 权限。静默失败是最糟糕的错误类型。只需预先添加每个推荐的权限并避免头痛。立即从 MoE 模型开始。我首先测试了 70B 模型因为更大更好感觉直观上是正确的。错了。对于聊天应用程序响应速度比边际质量收益更重要。从第一天起使用 Web 仪表板。我花了太长时间与命令行工具斗争当时一个完美的 GUI 在那里等待。更早设置 systemd 服务。Clawdbot 在启动时自动启动可以避免记住手动启动它的麻烦。10、还有一件事实际上适用于所有事情的模型在我确定当前设置之前我测试了超过 20 种不同的模型。我不仅是在检查它们是否能回答问题。我有三个严格的要求工具调用它可以使用搜索或计算等功能吗、韩语语言当用韩语询问时它是否用韩语回复和准确性答案实际上正确吗。大多数模型至少通过了一个测试。一些大名鼎鼎的模型以它们表现糟糕的方式让我惊讶。这就是我发现的这个模式令人沮丧。一些模型完美地处理了工具调用但拒绝用韩语回复。其他的用美丽的韩语说话但给出了完全错误的答案。Granite4 是最烦人的 —— 除了答案是无意义之外它做的一切都正确。经过数周的测试只有一个模型通过了每一个测试GLM-4 9B Flash。它毫不费力地处理了韩语、英语、中文和混合语言对话。工具调用完美工作。答案准确。如果您需要一个真正多语言的私有 AI 实际上可以工作这就是一个。用ollama pull glm4:9b拉取它并稍后感谢我。11、我构建这个的真正原因这是我在一切正常工作后意识到的。技术并不难部分。Ollama 和 Clawdbot 使技术设置出奇地直接。文档很好。社区有帮助。困难的部分是决定隐私和控制足够重要值得花几个小时在设置上。大多数开发人员毫不犹豫地将代码粘贴到云 AI 工具中。这没关系 —— 直到您的公司问那段代码去哪里了直到法务部门发送政策更新。直到您意识到您一直在与您不控制的服务器共享专有算法。构建私有 AI 并不是关于偏执。它是关于有一个清晰、简单的答案“它从未离开我的机器。”当有人问我的 AI 对话去哪里时我不必阅读服务条款或隐私政策。我不必希望公司保持其承诺。我只是指向我的服务器并说那里。这种清晰度比我每年节省的 800 美元更有价值。原文链接ClawdbotOllama真正隐私 - 汇智网