背景痛点传统客服系统到底卡在哪去年我在一家电商公司做后端客服系统天天被投诉用户说“我要退货”系统却理解成“我要兑换”意图识别准确率不到70%客服小姐姐人工兜底到崩溃。会话(Session)状态靠MySQL硬扛用户刷新页面就丢上下文体验堪比“金鱼记忆”。大促峰值 1 k QPS 时老系统直接 502老板在群里疯狂艾特“谁在线”痛定思痛我决定用开源方案重构目标只有一句话高可用、高准确、可水平扩展。GitHub 逛了一圈最终锁定「峰答AI」——中文友好、协议宽松、社区活跃于是有了这篇从零到生产的踩坑笔记。技术选型峰答AI vs. Rasa vs. Dialogflow维度峰答AI(GitHub)Rasa 开源Dialogflow 商用中文预训练内置BERT-wwm-ext开箱即用需自训语料收集耗时支持但免费版QPS低私有部署完全离线数据不出内网同左必须走谷歌云合规风险高二次开发Python协议Apache-2.0可商用同左黑盒只能调Webhook社区资料中文Issue响应快示例多英文为主示例偏英文官方文档全但中文案例少结论如果团队“英文数据科学”能力一般峰答AI最友好。如果未来要卖私有化部署Apache协议无后顾之忧。于是拍板以峰答AI为核心Flask写业务层Redis管会话Docker一把梭。实现细节30 分钟跑通第一个API1. 项目骨架chatbot/ ├─ api/ # Flask REST层 ├─ nlp/ # 峰答AI模型封装 ├─ common/ # 工具函数 ├─ docker-compose.yml # 一键编排 └─ tests/ # Locust压测脚本2. Flask REST API含JWT鉴权# api/app.py from flask import Flask, request, jsonify from flask_jwt_extended import JWTManager, jwt_required, create_access_token from nlp.fengda import FengdaAgent from common.redis_cli import RedisClient import os app Flask(__name__) app.config[JWT_SECRET_KEY] os.getenv(JWT_SECRET) jwt JWTManager(app) agent FengdaAgent() redis RedisClient() app.route(/login, methods[POST]) def login(): 简单示例仅校验固定秘钥 token create_access_token(identityrequest.json.get(api_key, )) return jsonify(access_tokentoken) app.route(/chat, methods[POST]) jwt_required() def chat(): user_id request.json[user_id] query request.json[query] # 幂等性用msg_id去重 msg_id request.json.get(msg_id) if redis.already_replied(user_id, msg_id): return jsonify({reply: redis.get_reply(user_id, msg_id)}) # 调用峰答AI reply agent.answer(query, contextredis.get_context(user_id)) # 回写Redis redis.save_turn(user_id, query, reply, msg_id, ttl600) return jsonify({reply: reply})时间复杂度意图识别 ≈ O(L) L为句长BERT线性。Redis读写 ≈ O(1)整体P99 latency 80 ms单卡CPU。3. Redis键设计模式Key TTL 含义 ------------------------------------------ ctx:{user_id} 600s 当前会话上下文JSON reply:{user_id}:{mid} 600s 幂等缓存 freq:{user_id} 60s 接口限流计数# common/redis_cli.py import redis import json class RedisClient: def __init__(self): self.r redis.Redis(hostredis, port6379, decode_responsesTrue) def save_turn(self, uid, q, a, mid, ttl): pipe self.r.pipeline(transactionTrue) pipe.hset(fctx:{uid}, mapping{q: q, a: a}) pipe.expire(fctx:{uid}, ttl) pipe.setnx(freply:{uid}:{mid}, a) pipe.expire(freply:{uid}:{mid}, ttl) pipe.execute() def get_context(self, uid): return self.r.hgetall(fctx:{uid}) def already_replied(self, uid, mid): return self.r.exists(freply:{uid}:{mid})4. 对话状态机含超时重试峰答AI返回结构{intent:EXCHANGE,slots:{item:手机},confidence:0.92}业务层再包一层状态机防止中途插话# nlp/state_machine.py from transitions import Machine class DialogState: states [IDLE, AWAIT_ITEM, AWAIT_REASON, DONE] def __init__(self): self.machine Machine(modelself, statesDialogState.states, initialIDLE) def step(self, intent, slots): if self.state IDLE and intent EXCHANGE: self.to_AWAIT_ITEM() return 请问订单编号 if self.state AWAIT_ITEM and slots.get(item): self.to_AWAIT_REASON() return 请问退货原因 if self.state AWAIT_REASON: self.to_DONE() return 已登记稍后短信通知。 # 超时兜底 return 抱歉能再描述一次吗超时重试Redis键ttl600s前端每轮拉/status接口若返回EXPIRED则自动重置状态机。生产考量压测、敏感词、GPU1. Locust 2000 QPS 实战# tests/locustfile.py from locust import HttpUser, task, between class ChatUser(HttpUser): wait_time between(0.5, 2) token eyJ0eXAiOiJKV1... task def ask(self): self.client.post(/chat, json{ user_id: u123, query: 怎么退货, msg_id: m456 }, headers{Authorization: fBearer {self.token}})启动locust -f tests/locustfile.py --hosthttp://api:5000 -u 400 -r 50 --run-time 5m结果4 核 8 G单卡 CPURPS ≈ 2100P95 latency 120 ms错误率 0.05%主要是JWT过期2. 敏感词过滤AC自动机# common/ac.py import ahocorasick class SensitiveFilter: def __init__(self, word_list): self.ac ahocorasick.Automaton() for w in word_list: self.ac.add_word(w, w) self.ac.make_automaton() def mask(self, text): # O(nm) m为关键词总长 return self.ac.iter(text)在/chat接口最前端调用命中则直接返回“亲亲请注意文明用语哦”。3. Docker GPU 避坑错误示范docker run --gpus all ...在Compose里无效。正确姿势services: fengda: runtime: nvidia environment: - NVIDIA_VISIBLE_DEVICES0否则容器里torch.cuda.is_available()永远FalseBERT退回到CPU延迟飙到 600 ms。避坑指南中文分词与容器化中文分词歧义峰答AI底层用BERT-wwm-ext对OOV词自带子词但“南京市长江大桥”仍可能被切成“南京/市长/江大桥”。解决在agent.answer()前加一层自定义词典把公司产品名、活动名全扔进去。词典格式一行一词加载到jieba.load_userdict()再喂给峰答AI准确率从 88% → 94%。GPU显存占用狂涨默认batch_size32显存 8 G 的卡直接OOM。调优把batch_size降到 8开torch.onnx转模型显存降到 3 G吞吐只掉 5%。在docker-compose.yml里加mem_limit: 6g防止容器把宿主机卡死。代码规范小结全项目black isort一把梭CI自动检查PEP8。关键算法时间复杂度已在注释标注方便后续Review。所有I/O操作Redis、MySQL统一用asyncioaioredis避免阻塞事件循环。上线效果 真实体感两周内测意图准确率 94%平均响应 80 ms大促 3 k QPS 零宕机。客服同学终于有时间喝口茶老板也难得在群里发“辛苦了”而不是“谁在线”——那一刻感觉头发都长回来一点。开放讨论多轮对话的上下文衰减机制怎么设计目前我用固定 600 s TTL但真实场景里用户聊 30 分钟前订单上下文仍要保留用户去洗个澡回来继续聊历史却要适当“忘记”防止模型跑偏。你的做法是什么按时间指数衰减按意图重要度加权还是让模型自己学一个“遗忘门”欢迎留言聊聊你的踩坑经验一起把峰答AI玩得更溜。