串流輸出與請求中斷

    Gate.AI 會依據模型與供應商線路的實際能力處理串流請求中斷。呼叫前請確認所選線路的中止與計費能力。

    僅串流請求且供應商線路明確支援中止時，系統才會立即停止上游生成。非串流請求、不支援中止或能力未知的線路會繼續處理；完整結果成功儲存並可存取後，按完整用量計費。

    計費規則

    線路能力中斷後的處理計費依據
    支援立即停止執行 abort，停止前台與上游生成停止前實際用量
    不支援立即停止前台停止顯示，後台 drain 至結束並儲存結果結果可存取後按 final usage 結算
    能力未知預設按 drain 處理按完整可交付結果結算

    取消串流請求

    以 Node.js 為例

    javascript
    1const { EventSource } = require("eventsource");23const stream = new EventSource("/openai/v1");45// 觸發關閉事件6function cancelStream() {7  stream.close();8}