模型路由与网关：多模型调度、流量切分、故障转移多模型协同、流量分配、高可用，构建生产级模型网关。本节基于《AI工程》第10章「AI Engineering Architecture」— Step 3：Add Model Router and Gateway。一、为何需要模型路由？Chip Huyen 在《AI工程》第10章将模型路由与网关列为五步构建法的第三步。路由与网关负责：多模型调度、流量切分、故障转移、成本优化。当系统使用多个模型时，需统一入口、按策略分流、保证高可用。二、路由策略2.1 按任务路由defroute_by_task(task_type:str)-str:"""对应书中多模型调度思路"""iftask_type=="code":return"gpt-4"eliftask_type=="simple_qa":return"gpt-3.5"return"default"2.2 按负载路由主模型负载高时，部分流量切到备用基于 QPS、延迟阈值2.3 按成本路由优先用小模型，不满足再升大模型三、故障转移