Gate.AI›博客›什麼是 Function Calling?LLM 如何呼叫外部函數

    什麼是 Function Calling?LLM 如何呼叫外部函數

    學院

    大語言模型(LLM)能理解自然語言、產生文字、分析資訊並撰寫程式碼,但傳統的 LLM 主要依賴訓練階段獲得的知識以及當前對話中的上下文。如果使用者詢問即時天氣、訂單狀態或資料庫中的最新記錄,模型通常無法僅憑自身參數提供可靠答案。

    什麼是 Function Calling?LLM 如何呼叫外部函數

    對企業 AI 應用而言,這種限制特別明顯。企業不僅希望 AI 回答問題,還希望它能查詢內部系統、取得即時資料、執行計算,甚至在獲得授權後完成建立工單、更新客戶資訊等業務操作。

    Function Calling(函數呼叫)正是連接大語言模型與外部系統的重要技術。它允許開發者向模型提供可用工具的定義,讓模型根據使用者意圖選擇合適的函數,並生成符合指定結構的呼叫參數。

    不過,Function Calling 並不代表 LLM 本身會直接執行程式。模型負責判斷需要呼叫哪些工具以及要傳遞哪些參數,實際執行通常由應用程式或工具執行環境完成。

    透過這種機制,LLM 可以從單純生成文字的系統,擴展成能與資料庫、API 以及企業業務流程互動的智慧應用元件。

    什麼是 Function Calling?

    Function Calling 是一種讓大語言模型透過結構化介面,請求外部函數或工具執行任務的機制。

    開發者首先向模型提供工具定義,包括函數名稱、用途、參數結構以及必要的限制。當使用者提出要求時,模型可以根據這些定義判斷是否需要使用工具,並生成相應的函數呼叫請求。

    應用程式收到請求後,負責驗證參數、執行對應函數,再將執行結果回傳給模型。模型隨後可以利用這些結果,生成面向使用者的最終回答。

    例如,使用者詢問:「幫我查詢訂單 12345 的最新物流狀態。」

    如果系統提供了 get_order_status 函數,模型能辨識使用者意圖,並生成包含訂單編號的呼叫參數。接著,應用程式會查詢訂單系統,將實際結果回傳給模型,最後由模型整理成自然語言回答。

    Function Calling 的核心價值在於把自然語言理解能力與傳統軟體系統的確定性執行能力結合起來。

    Function Calling 與 Tool Calling 有什麼關係?

    Function Calling 和 Tool Calling 經常被交替使用,但兩者的意義並不完全相同。

    Function Calling 通常強調模型透過預先定義的函數介面,生成結構化的呼叫請求。Tool Calling 則是較廣義的概念,可以包含函數、搜尋工具、資料庫查詢、程式碼執行環境以及其他外部能力。

    不同模型平台可能使用不同的介面名稱與訊息格式,但基本運作模式通常相似:模型提出工具呼叫請求,外部系統執行操作,再將結果回饋給模型。

    Function Calling 如何運作?

    一個典型的 Function Calling 流程包含工具定義、使用者請求、模型選擇工具、參數生成、外部執行、結果回傳以及最終回答等階段。

    步驟 執行主體 主要操作
    1. 定義工具 開發者 註冊函數名稱、描述與參數 Schema
    2. 使用者請求 使用者 使用自然語言提出問題或操作需求
    3. 工具選擇 LLM 判斷是否需要呼叫工具以及選擇哪個工具
    4. 參數生成 LLM 根據函數定義生成結構化參數
    5. 參數驗證 應用程式 檢查格式、權限與商業規則
    6. 函數執行 外部系統 呼叫 API、查詢資料庫或執行其他操作
    7. 結果回傳 應用程式 將工具執行結果傳遞給 LLM
    8. 生成回答 LLM 根據真實執行結果回覆使用者

    這個流程的關鍵在於責任分離。LLM 不需要直接掌握資料庫連線方式或外部 API 的認證資訊,而是透過開發者提供的工具介面來表達呼叫意圖。

    應用程式仍控制哪些函數可以執行、哪些參數有效,以及哪些操作需要使用者進一步確認。

    第一步:開發者定義可用函數

    Function Calling 的起點是工具定義。

    開發者需要向模型說明工具可以完成什麼任務、什麼時候適合使用,以及呼叫時需要提供哪些參數。

    例如,一個用於查詢訂單狀態的工具可以包含以下資訊:

    欄位 範例 作用
    Function Name get_order_status 標識函數
    Description 查詢指定訂單的最新狀態 幫助模型判斷使用情境
    Parameter order_id 指定需要查詢的訂單
    Parameter Type string 約束參數資料型別
    Required order_id 表示該參數必須提供

    在支援 JSON Schema 的工具介面中,開發者可以進一步限制參數型別、枚舉值與必填欄位。

    清楚的工具描述非常重要。如果多個函數的用途高度重疊,或參數說明含糊,模型可能會選擇錯誤的工具,或生成不符合商業需求的參數。

    第二步:LLM 理解使用者意圖並選擇工具

    當使用者提交問題後,模型會結合當前對話與可用工具定義,判斷是否需要呼叫外部函數。

    例如,使用者詢問「什麼是訂單履約」時,模型可能會直接解釋概念;如果使用者詢問「我的訂單現在配送到哪裡了」,則可能需要呼叫訂單查詢工具。

    在部分系統中,開發者也能透過工具選擇設定來配置,允許模型自動選擇工具、要求使用特定工具,或禁止呼叫工具。

    需要注意,模型的工具選擇屬於預測行為,並不保證每次都正確。因此,應用程式不能僅依賴模型判斷來決定某項操作是否安全或允許執行。

    第三步:生成結構化函數參數

    在確定需要呼叫工具後,LLM 會根據函數 Schema 生成相應參數。

    例如,對於訂單查詢請求,模型可能生成:

    {"order_id":"12345"}

    這是一份結構化的呼叫參數,而不是實際的資料庫查詢結果。

    參數生成可能會受到使用者輸入品質影響。如果使用者沒有提供訂單編號,模型可能需要先向使用者詢問必要資訊,而不是猜測一個不存在的訂單。

    即使模型輸出符合 JSON Schema,也不代表參數在業務上一定有效。例如,訂單編號可能不存在,或目前使用者沒有權限查看該訂單。

    因此,參數格式驗證與業務驗證都應由應用程式負責。

    第四步:應用程式執行外部函數

    應用程式收到工具呼叫請求後,會依照函數名稱找到對應的實際實作。

    如果呼叫的是訂單查詢函數,應用程式可能會向訂單管理系統送出經過認證的 API 請求,並取得最新訂單資訊。

    對於計算工具,應用程式可能會執行數學運算;對於資料庫工具,則可能執行受限的查詢;對於業務操作工具,可能涉及建立紀錄、寄送通知或更新系統狀態。

    這一階段才是真正執行外部操作的環節。 LLM 生成函數呼叫請求,並不等同於操作已完成。

    應用程式還需要處理網路錯誤、逾時、權限不足與無效參數等情況。

    第五步:將執行結果回傳給 LLM

    外部函數完成執行後,應用程式會將結果作為工具回應傳遞給模型。

    例如,訂單查詢工具可能回傳:

    {"order_id":"12345","status":"shipped","carrier":"Example Logistics"}

    模型可以根據這些資料生成回答,例如:「訂單 12345 已出貨,目前承運商為 Example Logistics。」

    如果工具回傳錯誤,模型也應根據真實錯誤資訊說明,而不是假裝查詢成功。

    對於需要多個步驟的任務,模型也可能在取得第一次工具結果後,繼續請求其他工具,直到能完成任務或需要使用者進一步確認。

    Function Schema 為什麼重要?

    Function Schema 是 Function Calling 的關鍵組成部分,它規定模型能呼叫什麼函數,以及函數接受什麼形式的輸入。

    在許多實作中,工具參數使用 JSON Schema 描述,包括欄位名稱、資料型別、必填條件與允許值。

    例如,一個建立客服工單的函數可能要求提供工單標題、問題類別與優先級。其中,優先級可以限制為 low、medium 與 high,避免模型生成系統無法辨識的值。

    一個好的 Function Schema 應該包含什麼?

    設計要素 作用 範例
    清楚的函數名稱 幫助模型辨識功能 create_support_ticket
    準確的描述 說明何時應該使用 為已確認的客戶問題建立工單
    明確的資料型別 降低參數格式錯誤 string、integer、boolean
    必填欄位 避免遺漏必要資訊 customer_id
    枚舉約束 限制允許的輸入值 low、medium、high
    參數說明 提高模型理解精確度 說明時間格式與業務意義
    輸入範圍約束 限制無效輸入 最大數量、允許的日期範圍

    合理的 Schema 能降低參數生成錯誤,但無法取代應用程式驗證。即使工具呼叫介面支援嚴格的結構化參數約束,開發者仍需檢查使用者權限、資源歸屬與業務邏輯。

    例如,模型可能正確生成 customer_id,但應用程式必須獨立確認目前使用者是否有權操作該客戶記錄。

    Function Calling 與 API Calling 有什麼差別?

    Function Calling 與 API Calling 密切相關,但它們位於不同的技術層次。

    API Calling 通常指軟體依照明確的介面協定,向其他系統送出請求。Function Calling 則讓 LLM 能依據自然語言請求,生成呼叫預先定義函數或工具所需的結構化資訊。

    一個 Function Calling 請求最終可能觸發 API 呼叫,也可能執行本地計算、資料庫操作或其他程式邏輯。

    對比維度 Function Calling API Calling
    主要作用 將自然語言意圖映射為工具呼叫請求 在軟體系統之間交換資料或執行操作
    決策方式 模型可依據上下文選擇工具 通常由程式邏輯決定
    參數來源 LLM 可生成結構化參數 程式依照介面需求建構參數
    實際執行 依賴應用程式或工具執行環境 由 API 伺服器端處理請求
    常見情境 AI 助手、Agent、自然語言操作 系統整合、資料交換、業務服務

    例如,傳統電商應用可能會透過固定的程式邏輯呼叫訂單查詢 API。而支援 Function Calling 的 AI 助手可以先理解「幫我看看上週買的商品有沒有出貨」,再透過工具介面觸發相應查詢。

    Function Calling 並沒有取代 API,而是為自然語言與軟體介面之間增加了一層智慧互動機制。

    Function Calling 與 RAG 有什麼差別?

    Function Calling 和 RAG 都能協助大語言模型使用外部資訊,但它們解決的問題並不完全相同。

    RAG(檢索增強生成) 主要透過檢索外部文件或知識,為模型提供生成答案所需的上下文。Function Calling 則允許模型請求執行預先定義的工具,以取得資料、執行計算或完成操作。

    對比維度 Function Calling RAG
    核心目標 呼叫外部工具或執行业務功能 檢索外部知識並協助生成
    主要資料來源 API、資料庫、函數、業務系統 文件、知識庫、搜尋索引
    是否支援即時查詢 可透過工具取得即時資料 取決於檢索資料源與更新機制
    是否支援業務操作 可在授權後執行 典型的文件型 RAG 主要用於資訊取得
    典型應用 查詢訂單、計算費用、建立工單 文件問答、政策檢索、知識搜尋
    主要風險 參數錯誤、越權執行、外部操作失敗 檢索失敗、知識過時、證據不足

    例如,使用者詢問「公司的退款政策是什麼」,系統可以透過 RAG 檢索目前政策文件;如果使用者進一步詢問「我的訂單是否符合退款條件」,則可能需要呼叫訂單查詢與退款資格判斷工具。

    在實際企業系統中,兩者經常結合使用。RAG 提供業務規則與知識依據,Function Calling 取得即時狀態或執行必要操作。

    因此,Function Calling 與 RAG 並不是替代關係,而是可以共同構成企業 AI 應用的不同能力。

    Function Calling 與 Structured Outputs 有什麼差別?

    Function Calling 和 Structured Outputs 都涉及結構化資料,但它們的主要用途不同。

    Structured Outputs 偏重讓模型依照指定 Schema 生成結果,例如將合約資訊提取為 JSON,或將客服對話整理為結構化摘要。

    Function Calling 則偏重讓模型生成對某個工具的呼叫請求,由外部系統執行相應功能。

    對比維度 Function Calling Structured Outputs
    主要目的 請求呼叫工具 生成符合結構要求的資料
    輸出內容 工具名稱與呼叫參數 結構化的業務結果
    是否需要執行工具 通常需要 不一定
    常見用途 資料查詢、外部操作、系統整合 資訊擷取、分類、JSON 生成
    是否產生業務副作用 取決於工具 單純生成輸出通常不會

    例如,使用者要求「把這份合約的金額和到期日提取為 JSON」,Structured Outputs 可能已經足夠。

    如果使用者要求「提取合約金額,並寫入企業合約管理系統」,則可能需要先擷取資訊,再透過 Function Calling 請求執行相應的資料寫入操作。

    對於不需要存取外部系統的任務,沒有必要為了使用 Function Calling 而引入額外工具執行流程。

    Function Calling 與 AI Agent 有什麼關係?

    Function Calling 是許多 AI Agent 系統的重要基礎能力,但它本身並不等於完整的 AI Agent。

    AI Agent 通常需要圍繞目標執行多個步驟,例如分析任務、選擇工具、觀察執行結果,並根據回饋決定下一步行動。

    Function Calling 提供其中的工具互動機制,使模型能夠請求呼叫搜尋、資料庫、程式碼執行或業務系統功能。

    例如,一個客戶支援 Agent 可能依照以下順序運作:

    1. 理解客戶提出的問題。
    2. 呼叫訂單查詢工具取得即時狀態。
    3. 檢索適用的退款政策。
    4. 判斷是否需要進一步取得資訊。
    5. 在滿足權限與確認條件後請求建立工單。
    6. 根據執行結果向客戶回饋處理進度。

    這個過程可能涉及多次工具呼叫,而不是一次函數執行。

    不過,Agent 的可靠性不僅取決於 Function Calling,還取決於任務狀態管理、工具權限、錯誤處理、執行限制與人工審批機制。

    對於流程固定、規則明確的業務情境,傳統工作流程搭配有限的 Function Calling,可能比高度自主的 Agent 更容易控管與維護。

    Function Calling 在企業 AI 中有哪些應用?

    Function Calling 的實際價值在於把自然語言互動連接到企業既有的軟體系統,使 AI 能完成超出純文字生成範圍的任務。

    企業應用情境 可呼叫的工具 主要價值
    客戶訂單查詢 訂單管理 API 取得最新訂單狀態
    企業資料分析 資料庫查詢與計算工具 取得業務指標並進行分析
    客服工單管理 工單建立與更新介面 減少重複操作
    財務費用計算 費用規則與計算函數 提供可驗證的計算結果
    企業行程管理 行事曆查詢與建立工具 協助安排會議
    IT 營運支援 系統狀態與診斷工具 查詢服務運行情況
    內部知識助手 搜尋與知識庫工具 取得企業資料
    AI 工作流程自動化 多個業務 API 連接跨系統任務

    即時資料查詢

    即時資料是 Function Calling 最直接的應用之一。

    例如,企業管理者詢問「今天已完成多少筆訂單」,LLM 可以呼叫經授權的資料查詢工具,而不是根據歷史訓練資料猜測結果。

    查詢完成後,模型也可以對回傳資料進行解釋,例如比較不同時間區段的變化或彙整異常情況。

    對於精確的財務指標與業務統計,計算與資料彙總應由可信工具完成,模型主要負責理解需求與解釋結果。

    客戶支援與業務操作

    Function Calling 可以協助 AI 客服把知識問答延伸到實際業務處理。

    例如,客戶希望修改配送地址。AI 可以先查詢訂單是否允許修改,再蒐集必要資訊,並在完成身分驗證與授權確認後請求執行地址更新。

    這類情境涉及真實業務狀態變更,因此需要比一般資訊查詢更嚴格的權限控管與操作確認。

    企業內部工作流程自動化

    在企業內部,Function Calling 可以連接 CRM、ERP、工單系統、行事曆與其他業務工具。

    例如,銷售人員可以使用自然語言請求 AI 查詢客戶資訊、整理追蹤摘要,並準備建立下一次追蹤任務。

    對於涉及資料修改或對外傳送資訊的步驟,系統應依風險等級設定確認與審批機制,避免模型誤解指令後直接執行不可逆操作。

    Function Calling 有哪些主要安全風險?

    Function Calling 讓模型能與真實系統互動,也意味著模型生成的工具呼叫可能產生實際影響。

    如果缺少權限控管與執行限制,錯誤參數、惡意輸入或不可靠的工具結果都可能導致業務風險。

    參數錯誤與未經授權的操作

    模型可能生成格式正確但業務意義錯誤的參數,例如錯誤的客戶編號、日期範圍或資源識別碼。

    因此,應用程式必須驗證輸入是否合法,並確認目前使用者有權存取或修改目標資源。

    不能因為模型選擇了某個工具,就預設該操作已獲得授權。

    Prompt Injection

    Prompt Injection(提示注入)是指攻擊者透過使用者輸入、網頁內容、文件或工具回應,試圖誘導模型偏離原有指令。

    例如,模型在讀取外部文件時,可能遇到要求其呼叫其他工具或洩露內部資訊的惡意文字。

    應用程式應將外部內容視為不可信資料,不能讓這些內容直接改變工具權限或繞過系統安全規則。

    敏感資料洩露

    Function Calling 可能涉及客戶資料、財務資訊與企業內部資料。

    開發者需要限制工具可存取的資料範圍,並控管哪些資訊能傳遞給模型、記錄到日誌或回傳給使用者。

    工具存取權限應遵循最小權限原則,而不是讓所有函數共用一個具廣泛存取能力的管理員身分。

    重複執行與業務副作用

    工具呼叫可能因為網路重試、模型重複請求或系統故障而被執行多次。

    對於支付、建立訂單、寄送電子郵件與更新記錄等操作,重複執行可能造成實際損失。

    因此,具有副作用的工具應考慮使用冪等鍵、重複請求偵測、交易控制以及明確的執行狀態管理。

    風險類型 可能的問題 建議控制措施
    參數錯誤 操作錯誤資源 Schema 驗證與業務驗證
    越權存取 查詢或修改未授權資料 身分認證與最小權限
    Prompt Injection 惡意內容誘導錯誤呼叫 輸入隔離、權限邊界與工具限制
    資料洩露 敏感資訊進入不適當的輸出或日誌 資料最小化與去識別化
    重複執行 重複建立訂單或寄送請求 冪等性與重複請求偵測
    外部工具失敗 API 逾時或回傳錯誤 逾時、重試與錯誤處理
    高風險操作 未經確認執行不可逆動作 使用者確認與人工審批

    安全控制必須落實在應用程式與工具執行層,不能僅依靠 Prompt 告訴模型不要執行危險操作。

    如何建構可靠的 Function Calling 系統?

    企業部署 Function Calling 時,應優先建立清晰的工具邊界,而不是一次性向模型開放大量複雜功能。

    工具越多,模型選錯工具的可能性與系統管理複雜度通常也會提高。開發者應圍繞實際業務任務定義功能明確、輸入輸出穩定的工具。

    明確工具職責

    每個工具應具有清楚的功能範圍。

    例如,可以將 get_order_status 與 update_order_address 分成兩個獨立工具,而不是設計一個同時支援查詢、修改與刪除的通用訂單管理函數。

    這種設計有助於降低模型誤用工具的風險,也便於為不同操作配置權限。

    在執行層驗證所有參數

    LLM 生成的參數應永遠被視為需要驗證的輸入。

    除了檢查 JSON 格式與欄位型別,應用程式還應驗證參數範圍、資源歸屬、業務狀態與使用者權限。

    例如,模型可能生成一個合法的訂單編號,但系統仍需確認該訂單屬於目前使用者,且訂單狀態允許執行請求的操作。

    區分唯讀操作與寫入操作

    讀取天氣、查詢庫存與取得訂單狀態通常不會直接修改業務資料,而建立訂單、寄送電子郵件與更新帳戶資訊則可能產生副作用。

    企業可以依據風險等級為工具配置不同的執行策略。

    對於高風險操作,建議在真正執行前向使用者展示關鍵參數並取得明確確認。

    建立錯誤處理與執行監控

    Function Calling 可能遇到無效參數、API 逾時、服務不可用與權限不足等情況。

    應用程式應回傳給模型清楚、可處理的錯誤結果,而不是只提供模糊的失敗資訊。

    在生產環境中也應記錄必要的呼叫指標,包括工具選擇準確率、參數驗證失敗率、執行成功率、延遲與成本。

    對於涉及敏感資料的日誌,應遵循相應的資料保護要求。

    如何評估 Function Calling 的效果?

    評估 Function Calling 不能只看模型是否成功生成了 JSON。企業需要同時關注工具選擇、參數正確性、執行結果以及最終任務完成狀況。

    評估指標 衡量內容
    Tool Selection Accuracy 是否選擇了正確工具
    Argument Accuracy 參數是否符合使用者意圖
    Schema Compliance 參數是否符合規定結構
    Execution Success Rate 工具是否成功執行
    Task Completion Rate 使用者目標是否最終完成
    Unauthorized Call Rate 是否出現不該執行的呼叫請求
    P95 Latency 工具呼叫流程的回應延遲
    Cost per Successful Task 每次成功完成任務的總成本

    例如,某個模型可能始終輸出格式正確的函數參數,但卻經常選擇錯誤的訂單編號。這種情況下,Schema Compliance 很高,但並不代表實際任務完成品質可靠。

    企業也應建立涵蓋正常請求、模糊指令、缺失參數、權限不足、工具失敗與惡意輸入的測試集。

    對於涉及實際業務操作的系統,測試環境應與生產環境隔離,避免在評估過程中意外修改真實資料。

    Function Calling 能減少 AI Hallucinations 嗎?

    Function Calling 可以減少部分因缺乏即時資訊或計算能力不足而造成的錯誤,但無法完全消除 AI Hallucinations。

    例如,當使用者詢問即時訂單狀態時,模型透過工具取得實際資料,通常比根據歷史知識猜測結果更可靠。

    對於複雜數學計算,呼叫確定性計算工具也能降低模型直接生成錯誤數值的風險。

    然而,模型仍可能選擇錯誤工具、生成錯誤參數、誤解工具回傳值,或在最終回答中加入缺乏工具結果支持的結論。

    因此,Function Calling 的可靠性不僅取決於工具執行是否成功,也取決於參數驗證、資料品質、結果解釋與最終答案檢查。

    總結

    Function Calling 是連接大語言模型與外部軟體系統的重要機制,使 LLM 能依據自然語言請求生成結構化工具呼叫,並透過應用程式執行外部函數。

    一個完整的 Function Calling 流程通常包含工具定義、使用者意圖識別、函數選擇、參數生成、應用程式驗證、外部執行、結果回傳與答案生成。

    與 RAG 主要解決外部知識檢索不同,Function Calling 更側重讓模型存取即時資料並請求執行特定功能。兩者可結合使用,為企業 AI 助手與 AI Agent 提供知識取得與業務操作能力。

    Function Calling 的核心價值不是讓 LLM 自行執行所有任務,而是讓模型負責理解意圖,讓受控的軟體系統負責可靠執行。

    對於企業而言,真正可用的 Function Calling 架構需要同時考量工具設計、參數驗證、存取權限、操作確認、錯誤處理與持續評估。只有明確區分模型決策與實際執行權限,才能把自然語言互動安全地擴展到真實業務系統。

    FAQ

    Function Calling 是否需要對 LLM 進行 Fine-Tuning?

    通常不需要。支援工具呼叫的模型可以根據開發者提供的函數定義生成呼叫請求。對於複雜或高度專業化的任務,Fine-Tuning 可能改善特定行為,但並不是使用 Function Calling 的必要條件。

    Function Calling 可以同時呼叫多個函數嗎?

    可以,實際取決於模型介面與應用程式設計。部分系統支援一次生成多個工具呼叫請求,也可以根據前一次執行結果繼續呼叫其他工具。涉及相依關係或副作用的操作需要控制執行順序。

    Function Calling 一定需要連接外部 API 嗎?

    不一定。工具可以是本地計算函數、資料庫查詢、檔案處理程式或其他應用程式邏輯。外部 API 是常見實作方式,但不是唯一選擇。

    Function Calling 和 MCP 有什麼差別?

    Function Calling 是模型請求呼叫工具的機制,而 Model Context Protocol(MCP)是一種用於連接 AI 應用與外部工具及資料來源的開放協定。MCP 可以協助標準化工具發現與互動,但模型是否呼叫工具仍需要相應的工具呼叫機制與應用程式控管。

    Function Calling 能夠直接修改企業資料庫嗎?

    可以透過受控工具請求執行資料庫寫入操作,但模型本身不應直接獲得無限制的資料庫權限。應用程式需要驗證身分、檢查權限、限制可執行操作,並針對高風險修改設定必要的確認機制。

    相關文章