原文towardsdatascience.com/llms-txt-414d5121bcb3?sourcecollection_archive---------1-----------------------#2024-11-28您的网络新标准LLM 友好内容指南https://medium.com/dericksozo?sourcepost_page---byline--414d5121bcb3--------------------------------https://towardsdatascience.com/?sourcepost_page---byline--414d5121bcb3-------------------------------- Derick Ruiz·发表于Towards Data Science ·阅读时长 5 分钟·2024 年 11 月 28 日–最近您可能已经看到一些开发工具将 LLMs.txt 支持添加到它们的文档中。这一提议的网络标准正在迅速获得广泛采用但它到底是什么又为什么重要呢虽然 robots.txt 和 sitemap.xml 是为搜索引擎设计的但 LLMs.txt 则是为推理引擎优化的。它以 LLM 易于理解的格式提供有关网站的信息。那么LLMs.txt 是如何在几乎一夜之间从提议到成为行业趋势的呢https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/e1ff5a8aa4a2a4925545d7aa78cff2f4.pngLLMs.txt 解析图片来源Jørgen Larsen于UnsplashMintlify 是如何推广 LLMs.txt 的11 月 14 日Mintlify 在其文档平台上添加了对 LLMs.txt 的支持。通过这一举措他们使成千上万的开发工具文档对 LLM大语言模型更加友好像是 Anthropic 和 Cursor 等工具。Anthropic 和其他公司迅速在 X 平台上发布了关于其 LLMs.txt 支持的消息。更多由 Mintlify 托管的文档加入了这一行列为这一提议的标准带来了广泛的关注。这一势头激发了新的社区网站和工具的诞生。ifox 创建了directory.llmstxt.cloud来索引 LLM 友好的技术文档。screenfluent 随后也发布了llmstxt.directory。制作 dotenvx 的 Mot构建并分享了一个开源生成工具用于 dotenvx 文档站点。Firecrawl 的 Eric Ciarla 创建了一个工具该工具会抓取您的网站并为您生成 LLMs.txt 文件。Anthropic 的 Claude 关系负责人 Alex Albert 在 X 平台上宣布 LLMs.txt 的支持。谁创建了 LLMs.txt为什么Answer.AI 的联合创始人 Jeremy Howard 提出了 LLMs.txt以解决特定的技术挑战。AI 系统只能处理有限的上下文窗口这使得它们很难理解大型文档网站。传统的 SEO 技术是为搜索爬虫而优化的而不是为推理引擎优化因此无法解决这一限制。当 AI 系统尝试直接处理 HTML 页面时它们会被导航元素、JavaScript、CSS 和其他不必要的信息拖慢这减少了实际内容可以占用的空间。LLMs.txt 通过以 AI 理解的格式提供确切的信息来解决这个问题。Jeremy Howard 的 X 个人资料他是 LLMs.txt 网页标准提案的创建者。LLMs.txt 文件到底是什么LLMs.txt 是一个具有特定结构的 Markdown 文件。该规范定义了两个不同的文件/llms.txt简化版文档导航视图帮助 AI 系统快速理解你网站的结构。/llms-full.txt一个包含所有文档内容的综合文件。/llms.txt该文件必须以 H1 项目名称开始接着是一个引用摘要。后续部分使用 H2 标题来组织文档链接。“可选”部分专门标记不那么关键的资源。# Project NameBrief project summary Additional contextandimportant notes## Core Documentation-Quick Start:Description of the resource-API Reference:API documentation details## Optional-Additional Resources:Supplementary information例如查看 llmtxt.org 的LLM.txt。如需更深入的多语言示例请查看Anthropic 的。/llms-full.txt虽然/llms.txt提供了导航和结构但/llms-full.txt包含完整的文档内容采用 Markdown 格式。# AI Review (Beta)AI Reviewisa feature that allows you to review your recent changesinyour codebase to catchanypotential bugs.Frameimg srchttps://mintlify.s3-us-west-1.amazonaws.com/cursor/images/advanced/review.pngaltAI Review//FrameYou can click into individual review items to see the full contextinthe editor,andchatwiththe AI to get more information.### Custom Review InstructionsIn orderforAI Review to workinyour favor,you can provide custom instructionsforthe AI to focus on.For example,ifyou want the AI to focus on performance-related issues,you could put:关注我的代码性能。This way,AI Review will focus on the performance of your code when scanning through your changes.### Review OptionsCurrently,you have a several options to choosefromto review:*Review Working State*This will review your uncommitted changes.*Review DiffwithMain Branch*This will review the diff between your current working stateandthe main branch.*Review Last Commit*This will review the last commit you made.上述代码片段来自 Cursor 的/llms-full.txt文件。查看Cursor 文档中的完整文件。LLMs.txt 与 sitemap.xml 和 robots.txt 的区别它的作用与现有的网页标准如 sitemap.xml 和 robots.txt截然不同。/sitemap.xml列出了所有可索引的页面但不帮助内容处理。AI 系统仍然需要解析复杂的 HTML并处理额外的信息这会占用上下文窗口。/robots.txt建议搜索引擎爬虫访问但也无法帮助理解内容。/llms.txt解决了与 AI 相关的挑战。它有助于克服上下文窗口限制去除不必要的标记和脚本并以优化 AI 处理的结构呈现内容。如何将 LLMs.txt 与 AI 系统一起使用与主动爬行网络的搜索引擎不同当前的 LLM 并不会自动发现和索引 LLMs.txt 文件。你必须手动将文件内容提供给 AI 系统。这可以通过粘贴链接、直接将文件内容复制到提示中或使用 AI 工具的文件上传功能来完成。ChatGPT首先访问该文档或/llms-full.txt的 URL。将内容或 URL 复制到你的聊天中提出你想要完成的具体问题。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/3e331802fe46d82ba691553939fafa70.png使用 llms-full.txt 文件与 ChatGPT 结合的截图图片来自作者。ClaudeClaude 目前还无法浏览网页因此请将该文档的/llms-full.txt文件内容复制到剪贴板。或者你可以将其保存为.txt文件并上传。现在你可以放心地提问确保它包含完整且最新的上下文。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a98383169dcad3130025e2b734c9e61d.png使用 llms-full.txt 文件与 Claude 结合的截图图片来自作者。CursorCursor 允许你添加和索引第三方文档并在聊天中作为上下文使用。你可以通过输入Docs Add new doc 来做到这一点。一个弹出框会出现在这里你可以添加指向/llms-full.txt文件的链接。你将能够像使用其他文档一样将其作为上下文使用。要了解更多关于此功能的信息请参见 Cursor 的Docs 功能。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ec4774cc97ac951d797cf1f3e5d5fbe2.png输入 llms-full.txt 文件到 Cursor 中以用作上下文的截图图片来自作者。如何生成 LLMs.txt 文件有几种不同的工具可以用来创建你自己的文件Mintlify: 自动生成托管文档的/llms.txt 和/llms-full.txt 文件。dotenv 的 llmstxt由 dotenvx 的创始人 Mot 开发的工具可以通过你网站的sitemap.xml生成llms.txt文件。Firecrawl 的 llmstxt: 由 Firecrawl 的创始人 Eric Ciarla 开发的另一款工具使用 Firecrawl 抓取你的网站并生成llms.txt文件。LLMs.txt 的未来是什么LLMs.txt 代表了向 AI 优先文档转型的趋势。正如 SEO 对于搜索引擎的可见性至关重要一样拥有 AI 可读的内容将成为开发工具和文档的关键。随着更多网站采用这个文件我们可能会看到新的工具和最佳实践出现使内容对人类和 AI 助手都能访问。目前LLMs.txt 提供了一种实际的解决方案帮助 AI 系统更好地理解和利用网页内容特别是针对技术文档和 API。