文章目录ollama是什么?有什么用?anythingLLM是什么?有什么用?ollama性能优化报错报错 model requires more system memory (5.6 GiB) than is available (4.9 GiB)人工智能大火方向非常多算法、大模型应用rag(向量增强检索)等rag相对来说更近更好实现。可以增加工作的机会和薪资的筹码。1、先安装ollama。2、cmd命令行安装两个模型(对话模型、嵌入模型)# 1. 下载对话模型 (推荐 qwen2.5:7b 或 llama3.1:8b中文能力 qwen 更好)ollama run qwen2.5:7b# 2. 下载嵌入模型 (用于将文档转化为向量nomic-embed-text 是目前轻量级中效果最好的之一)ollama pull nomic-embed-text3、下载软件下载桌面版安装包Windows/Mac/Linux)安装并打开。地址https://anythingllm.com它会根据配置为你选择最合适的模型例如之前下载的qwen2.5:7b这里可能还会下载最新的适配电脑配置的大模型。4、连接 Ollama首次启动会进入设置向导。LLM Provider 选择Ollama。Embedding Provider 选择Ollama (这里就会自动调用你刚下载的 nomic-embed-text)。点击保存/检测它会自动列出你本地的模型。5、创建知识库 (Workspace)点击 “New Workspace”起个名字比如 “MyDocs”。进入工作空间后找到 “Documents” 标签页。拖入你的文件PDF, TXT, Markdown, Word 等。6、关键一步向量化 (Embed)文件上传后你会看到文件旁边有个按钮叫 “Move to Workspace” 或者 “Embed”。点击它此时发生了什么 软件会调用你刚下载的 nomic-embed-text 模型把你的文档切成小块并转换成向量存入本地数据库。如果不动这一步AI 是读不到文档内容的。7、开始对话切换到 “Chat” 标签页。确保右上角或设置里选中了刚才的 “MyDocs” 工作空间。输入问题“总结一下刚才上传的文档”。成功 你现在就是一个拥有本地 RAG 系统的用户了。ollama是什么?有什么用?ollama相当于大模型管理工具、交互工具用起来方便。anythingLLM是什么?有什么用?anythingLLM相当于知识库和大模型之间的桥梁。ollama性能优化报错报错 model requires more system memory (5.6 GiB) than is available (4.9 GiB)内存不够了。大模型计算非常消耗内存即使文件不大也要占用大量内容。