摘要
當您在 Astra 中建立 AI 代理程式時，系統不會僅產生它然後讓您自行處理。系統會自動生成測試案例，以協助您從一開始評估和改進您的代理程式。
本文將說明自動化測試、提示最佳化和評估儀表板如何協同作用，幫助您以更少的手動工作推出可靠、高效能的代理程式。
說明
自動代理程式評估如何運作
一旦您的代理程式建立完成，Astra 就會自動生成測試案例。這消除了手動設定測試的需求，並減少了在試誤上花費的時間。
當您開啟「評估」頁面時，您將看到一組根據您的代理程式目前指示自動生成的測試案例。
這些測試案例建立了一個效能基線。它們有助於您了解您的代理程式在不同對話類型、極端情況和風險情境中的反應。這些情境涵蓋了從標準查詢到複雜問題的各種情況。
如何執行評估並檢視結果
您可以從清單中選取特定的測試案例來執行評估，或按一下「全部執行」來一次評估所有可用的測試案例。
評估完成後，系統將向您顯示代理程式的實際執行情況。這有助於您快速識別模糊、不完整或相互衝突的指示。
您將看到「整體評估結果」，包括：
效率分數 – AI 代理程式處理問題的程度。
準確性 – AI 代理程式的回應正確程度。
延遲 – AI 代理程式回應的速度。
您也可以在「評估摘要」中檢視下列詳細資訊：
問題 – 用於評估 AI 代理程式的測試問題。
類別 – 問題的類型，例如「標準查詢」、「隱含問題」或「離題問題」。
預期答案 – AI 代理程式預期提供的回應。
AI 回應 – AI 代理程式產生的實際回應。
指標 – 顯示回應的「效率分數」。
狀態 – 指出 AI 代理程式在評估中「通過或失敗」。
備註 – 顯示關於測試案例的額外資訊，例如問題是否為「自動生成」、「透過 CSV 上傳」或「手動新增」。
您可以按一下任何個別的測試案例來檢視詳細結果，包括：
評估摘要 – 代理程式如何回應及其通過或失敗的原因的詳細說明。
預期行為 – 代理程式應提供的正確或理想的回應。
每項結果都包含代理程式如何解釋使用者輸入的詳細說明，以及它是否正確回應。這使得更容易發現不足之處並精確地調整您的指示。
您需要做的事情：
檢閱每個測試案例的結果。
將代理程式的回應與評估摘要進行比較。
檢查回應是否符合預期行為。
如何檢視 AI 分析和建議
按一下「分析結果」以檢閱評估結果。系統可能需要幾分鐘時間來處理分析。
分析完成後，按一下「檢視建議」以查看「AI 驅動的最佳化建議」。
系統會總結主要問題，並提供實用建議以改進代理程式的準確性和可靠性。
請仔細檢閱「高優先順序建議」。這些可能包括為特定請求新增清晰的規則，或為訂單追蹤等複雜任務定義逐步說明。
如何更新代理程式指示
檢閱建議後，按一下「更新指示」以自動套用改進。此功能有助於簡化使用實際測試和分析的見解來優化代理程式的流程。這將需要幾分鐘時間並顯示結果。
檢閱和套用變更
「檢閱更新的指示」畫面將顯示建議的變更。在這裡，您可以查看新規則和指南如何新增到代理程式的現有指示中。
最佳化後：
入口網站會醒目標示建議的更新。
您可以清楚地看到已修改的部分以及原因。
請仔細檢閱建議的改進。
捲動檢閱更新的指示，以確保它們符合您的需求。
確認 AI 建議符合您的「品牌語氣」和「業務流程」。
按一下「接受」以完成更新。
再次執行評估
儲存變更後，再次按一下「全部執行」以使用相同的測試案例重新評估代理程式。系統將使用更新的指示執行評估。測試完成後，您應該會看到所有情境都通過。
此流程顯示了「分析和建議功能」如何幫助您迭代地改進和最佳化 AI 代理程式的效能。