流式输出与请求中断

    Gate.AI 根据模型和供应商线路的实际能力处理流式请求中断。调用前请确认所选线路的中止与计费能力。

    仅流式请求且供应商线路明确支持中止时，系统才会立即停止上游生成。非流式请求、不支持中止或能力未知的线路会继续处理；完整结果成功保存并可访问后，按完整用量计费。

    计费规则

    线路能力中断后的处理计费依据
    支持立即停止执行 abort，停止前台与上游生成停止前实际用量
    不支持立即停止前台停止展示，后台 drain 至结束并保存结果结果可访问后按 final usage 结算
    能力未知默认按 drain 处理按完整可交付结果结算

    取消流式请求

    以 Node.js 为例

    javascript
    1const { EventSource } = require("eventsource");23const stream = new EventSource("/openai/v1");45// 触发关闭事件6function cancelStream() {7  stream.close();8}