什么是流式输出（Streaming）？

一、什么是流式输出（Streaming）？

在传统的API调用中，我们通常发送一个请求，然后等待服务器完成所有处理，最后一次性接收到完整的响应数据。这个过程对于大语言模型（LLM）的问答场景来说，体验并不理想。因为模型生成一段完整的回复可能需要数秒甚至更长时间，用户只能盯着加载图标干等，界面毫无反馈。

流式输出正是为了解决这个问题。它的核心思想是：服务器在处理响应的过程中，就将已生成的部分内容分批、持续地推送给客户端，而不是等全部生成完毕才一次性返回。这就像水龙头放水，用户可以立即看到（读到）“水流”（文字），而不是等水桶接满才看到。对于MiMo这类大模型应用而言，流式输出是实现实时打字机效果、优化用户等待体验的关键技术。

提示：流式输出并不改变模型本身的生成速度，它改变的是数据从服务器传输到客户端的方式，通过“边生成边发送”来提升用户体感的流畅度。

二、理解 SSE（Server-Sent Events）协议

实现流式输出有多种技术方案，比如 WebSocket、HTTP Streaming，而SSE（Server-Sent Events） 是其中一种专门为服务器向客户端单向、持续推送事件而设计的标准协议。它基于HTTP，具有轻量、易用、天然兼容现有网络基础设施的优点，因此被广泛用于大模型API的流式输出实现。

SSE协议有几个关键特性：

单向通信：只有服务器能向客户端推送数据，客户端不能通过同一个连接向服务器发送数据。这非常契合LLM问答场景（一次性提问，长时间等待）。
文本格式：SSE传输的是纯文本流，使用一种简单的事件流格式。
自动重连：如果连接中断，浏览器的EventSource API会自动尝试重新建立连接。
事件ID：服务器可以为每个事件设置一个ID，客户端可以在断线重连后，通过Last-Event-ID头告诉服务器从哪个事件开始恢复。

SSE的数据流格式非常简单，每条消息以\n\n分隔，每条消息内可以包含data（数据内容）、event（事件类型）、id（事件ID）、retry（重试时间）等字段。

三、MiMo 如何利用 SSE 实现流式输出

当MiMo的API接收到一个要求流式响应的请求时，它会立即开始生成回复，并遵循SSE协议，通过HTTP响应体以事件流的形式不断发送数据。客户端需要做的就是持续读取这个响应流，并解析其中的事件。

一次典型的流式输出会话中，服务器可能会发送如下几种事件：

一个表示开始的事件，可能携带一些元数据。
多个包含回复片段的data事件，每个data事件通常携带一个JSON对象，其中包含模型新生成的文本片段。
一个表示结束的特殊事件（例如，event: stop），或当data事件中的JSON对象包含类似finish_reason: “stop”的字段时，表示生成结束。

客户端解析这些事件的逻辑如下：

持续监听响应流。
按照\n\n分割出单个事件块。
解析每个事件块中的data字段，获取JSON数据。
将JSON数据中的文本片段追加到界面显示。
直到接收到结束标志。

四、代码示例：使用 Python 接收 SSE 事件流

下面是一个简单的Python客户端示例，演示如何使用 requests 库以流的方式接收并处理来自MiMo（或任何兼容SSE的API）的事件。

import requests
import json

def stream_mimo_response(prompt, api_url, headers):
    """以流式方式发送请求并打印MiMo的回复"""
    data = {
        "prompt": prompt,
        "stream": True,  # 关键参数：请求流式响应
    }
    
    # stream=True 让requests库不要立即下载全部响应内容
    with requests.post(api_url, json=data, headers=headers, stream=True) as response:
        response.raise_for_status()  # 检查请求是否成功
        
        # 迭代响应体，每次读取一行（SSE事件以\n\n分隔，但requests按行迭代更方便）
        for line in response.iter_lines():
            if line:
                # line是bytes类型，解码为字符串
                decoded_line = line.decode('utf-8')
                # 忽略空行或只有换行的行
                if decoded_line.strip() == '':
                    continue
                
                # SSE的数据行以“data: ”开头
                if decoded_line.startswith('data:'):
                    data_str = decoded_line[len('data:'):].strip()
                    # 检查是否是结束标志
                    if data_str == '[DONE]':
                        print("\n[Stream finished]")
                        break
                    try:
                        # 解析JSON数据
                        data_json = json.loads(data_str)
                        # 获取并打印文本片段（具体键名需参考API文档）
                        content = data_json.get('choices', [{}])[0].get('delta', {}).get('content', '')
                        if content:
                            print(content, end='', flush=True)  # 不换行，实时输出
                    except json.JSONDecodeError:
                        # 可能不是JSON，直接打印
                        print(data_str)

# 使用示例（请替换为真实的API地址和密钥）
# stream_mimo_response("请解释什么是量子计算", "https://api.example.com/mimo/chat", {"Authorization": "Bearer YOUR_KEY"})

五、SSE 的优缺点与适用场景

SSE的主要优点在于其简单性和标准化。它基于HTTP，无需特殊的服务器或客户端支持，防火墙和代理通常都能很好地处理。客户端使用浏览器原生的EventSource API或简单的HTTP库即可接收，非常易于实现。

然而，SSE也有其局限性：

单向性：只能从服务器到客户端。如果需要客户端频繁向服务器发送消息（如聊天室场景），WebSocket会更合适。
连接限制：浏览器对同一域名的并发SSE连接数有限制（通常是6个），而WebSocket没有这种限制。
二进制数据：SSE仅设计用于传输文本数据。

因此，SSE非常适合像大模型流式输出、实时日志流、股票行情推送、服务器监控仪表盘这类服务器向客户端单向推送文本信息的场景。MiMo选择SSE，正是看中了其简单、可靠、易于与现有Web架构集成的特性。

六、总结与思考

MiMo的流式输出通过SSE协议实现，将大模型的回复以“打字机”效果实时呈现给用户，极大地提升了交互体验。理解这一机制后，作为开发者，我们不仅能在前端实现更友好的界面（如逐字显示、实时Markdown渲染），还能在后端设计上考虑如何优化流式性能（如合理控制data事件的发送粒度）。

值得注意的是，流式输出虽然改善了体感，但并不意味着总响应时间的减少。模型推理和生成仍然是耗时的瓶颈。此外，在某些场景下，比如需要对完整回复进行复杂处理（如一次性全文分析、后处理）再返回的场景，非流式的请求-响应模式可能更简单直接。技术选型始终需要结合具体业务需求。

总的来说，掌握SSE与流式输出，是开发与大模型交互应用的一项实用技能。下次当你看到一个AI助手在“缓缓道来”时，你就能会心一笑，知道这背后是SSE和流式处理在静默地工作。