面向移动优先的强大、高效AIGemma 3n预览版发布继成功推出Gemma 3和Gemma 3 QAT能够在单个云端或桌面加速器上运行的最新式开放模型系列之后团队正进一步推动可访问AI的愿景。现在这一愿景被扩展到了能够在日常设备手机、平板和笔记本电脑上直接运行的、高能力的实时AI。为了驱动下一代设备端AI并支持多样化的应用包括提升Gemini Nano的能力一个全新的先进架构被设计出来。这一代基础架构是与移动硬件领导者如某高通技术公司、某联发科公司和某三星电子系统LSI业务部门紧密合作创建的并针对闪电般的多模态AI进行了优化旨在设备端实现真正个性化和私密的体验。Gemma 3n是基于这一突破性共享架构的首个开放模型使开发者能够通过早期预览版开始试验这项技术。同样的先进架构也为下一代Gemini Nano提供了动力后者将把这些能力带给Google应用和其设备端生态系统中的广泛功能并计划于今年晚些时候推出。Gemma 3n使开发者能够基于这个未来将登陆Android和Chrome等主要平台的基础开始构建应用。关键技术逐层嵌入与内存优化Gemma 3n利用了Google DeepMind的一项创新技术称为逐层嵌入Per-Layer Embeddings, PLE。该技术显著降低了内存使用。尽管原始参数规模为5B和8B但PLE技术使得这些较大的模型能够在移动设备上运行或从云端实时传输其内存开销仅与2B和4B模型相当。这意味着模型可以仅用2GB和3GB的动态内存运行。通过探索Gemma 3n开发者可以提前预览该开放模型的核心能力以及未来将通过Gemini Nano在Android和Chrome上提供的移动优先架构创新。Gemma 3n的核心能力Gemma 3n专为快速、低占用、在本地运行的AI体验而设计主要提供以下能力优化的设备端性能与效率相比Gemma 3 4B版本Gemma 3n在移动设备上的初始响应速度提高了约1.5倍同时质量显著提升。通过逐层嵌入、KVC共享和先进的激活量化等技术实现了内存占用的降低。多模型合一灵活性该模型原生包含一个嵌套的最新式2B内存占用子模型得益于MatFormer训练。这允许开发者在运行时动态地在性能和效果之间进行权衡而无需托管多个独立模型。Gemma 3n中还引入了“混合匹配”mix’n’match功能可以从4B模型中动态创建最适合特定用例及其相关效果/延迟权衡的子模型。隐私优先与离线可用本地执行支持尊重用户隐私且即使没有网络连接也能可靠运行的功能。扩展的多模态理解含音频Gemma 3n能够理解并处理音频、文本和图像并提供了显著增强的视频理解能力。其音频能力使模型能够执行高质量的自动语音识别转录和翻译语音到翻译文本。此外该模型可以接受跨模态的交错输入从而理解复杂的多模态交互。改进的多语言能力多语言性能得到提升特别是在日语、德语、韩语、西班牙语和法语方面。在WMT24ChrF等多语言基准测试中取得了50.1%的良好成绩。解锁全新的移动端体验Gemma 3n将赋能新一代智能移动端应用使开发者能够构建实时、交互式的体验理解和响应用户环境中的实时视觉和听觉线索。通过结合音频、图像、视频和文本输入实现更深层次的理解和上下文文本生成——所有处理均在设备端私密进行。开发以音频为中心的先进应用包括实时语音转录、翻译和丰富的语音驱动交互。负责任的开发与所有Gemma模型一样Gemma 3n经历了严格的安全评估、数据治理并根据安全政策进行了微调对齐。开始体验Gemma 3n预览版即日起可通过预览版开始体验初始访问现已提供基于云的探索在浏览器中通过Google AI Studio直接试用Gemma 3n无需任何设置。可立即探索其文本输入能力。设备端开发对于希望将Gemma 3n集成到本地的开发者Google AI Edge提供了相应的工具和库。即日起即可开始使用其文本和图像理解/生成能力。Gemma 3n标志着向普及尖端、高效AI迈出的新一步。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享