第19章 部署与运维：日志分析与异常兜底

目标概述：本章聚焦AI应用上线后的运行维护，包括日志的收集与分析，以及如何处理异常情况（如模型出错、响应延迟或内容不当）提供兜底策略，保障应用稳定可靠。读者将学习运维基本功，使其AI项目在生产环境中安全稳健运行。

日志的重要性：讲解为何需要日志：可以记录用户请求、AI输出、执行时间、错误信息等，这些数据是诊断问题和改进的关键。建议在项目中加入适当日志语句，例如每次API调用前后打印提示词和返回长度、每次出现错误打印异常栈等。AI 可以辅助生成日志代码：提示它“在每个关键步骤加入日志，格式: 时间-级别-信息”，AI 会插入 print 或使用 logging 模块代码。展示AI生成的日志代码片段，并说明如何配置日志级别和输出文件。

日志分析：学会通过分析日志发现问题模式。如查看一段时间内错误日志，统计频率最高的问题。例如某个问题触发模型总是无法回答，提示需要改进知识库；或者发现每次长输入都会导致超时。介绍基本的日志分析技巧，甚至可以用AI来帮助——将日志文件片段提供给ChatGPT，请它总结常见错误类型。当然，小心不要上传敏感日志给AI。

异常兜底策略：讨论AI应用可能出现的异常：模型API超时或返回错误、生成内容不符合要求（比如不恰当或不符合格式）、用户滥用等。针对每类异常，设计兜底方案：

超时/无响应：设置调用超时时间，一旦超时返回预设答复如“抱歉，当前繁忙请稍后重试”，并在后台重试或上报。

格式错误：如果模型输出不符合JSON等格式，可尝试自动重试一次，或使用Guardrails库验证格式并纠偏。

内容不当：集成内容审核（OpenAI Moderation或第三方），如检测到毒性则返回安全提示而非模型原输出。

服务不可用：如果AI服务本身挂掉，系统应快速切换到备用模型或返回备用答案（如一个通用抱歉回复），保证不崩溃。

实现兜底：可以让AI生成部分代码实现上述逻辑。例如用try/except围绕API调用，多捕获一些异常并处理；或使用guardrails框架定义输出schema，AI自动重试。截图展示添加这些容错代码的关键片段。再如多提供两个模型API keys，主服务失败时调用备用服务（OpenAI vs Anthropic），实现多提供商冗余。

监控报警：简要提及设置监控的思路：例如通过日记或指标，如错误率超一定阈值触发邮件/短信通知。这超出初学者实现范围，但可以提示有现成SaaS或平台工具。

可视化：给出异常处理流程图：例如模型返回检测->通过/不通过->不通过时走兜底路径（如返回预设答案并记录日志）。也可以截图假设一个日志片段和标注其中关键异常记录、耗时信息，让读者感受分析方法。

术语解释：解释“兜底（Fallback）”“容错（Fault Tolerance）”“监控（Monitoring）”等。特别介绍 Guardrails 概念，指出一些工具（如 Nvidia NeMo Guardrails）可方便实现输出验证和重试。强调 AI 应用上线后开发者责任：持续关注模型表现，及时调整策略以确保用户获得稳定可靠的服务。