如何比較 AI 模型，並估算實際工作流程的成本？
結合小型評測集、目前模型價格與實際用量記錄，檢查品質、完整性及總費用，避免憑單次回答選擇模型。
把模型選擇與具體任務及驗收規則連繫起來，決定才容易覆核。先從目前 GetRun 模型目錄選出符合條件的模型，再以相同輸入比較。目標是找出適合目前流程的品質與成本組合，而非宣布某個模型在所有任務上都最好。
先篩選任務需要的接口與能力
比較價格前，先寫清輸入類型及必要的 API 行為。文字擷取、圖片操作，以及要求特定協定的用戶端，有不同限制。核對模型目錄與相應接口文件，使用準確的公開模型識別碼，不按其他平台的顯示名稱猜測。
確認目標 Key 可使用所選模型。如果舊會話的模型不可用，重新選擇可用模型，並以小請求驗證設定。請求失敗應先排查設定或服務狀態，不能直接當作模型回答品質差的證據。
建立小樣本與明確評分規則
從實際工作選幾個常見例子，再加入至少一個困難情況。整理簡報時，可加入欠缺日期的筆記及互相矛盾的描述；擷取結構化資料時，可加入欄位缺失的樣本。在看模型輸出前，先寫下期望的處理方法。
為候選模型提供相同輸入，使用同一組標準。記錄它有否遺漏必要事實、加入無依據的內容、遵守輸出格式。重複執行若有波動，也要納入判斷，不只保留最好的一次。
- 準確性：結果是否與原始資料一致？
- 完整性：必要欄位或決定是否全部列出？
- 不確定性：缺失與矛盾是否如實表示？
- 可用性：結果是否需要大量人手重排才可使用？
核對整個任務的費用，而非只看一次回應
在即時模型頁查看目前價格與計價單位。輸入、輸出及快取相關用量可能分別定價，其他操作亦可能使用不同單位。不能只按模型名稱或一項 Token 單價推斷整個任務的成本。
每輪測試後，在控制台用量記錄核對模型、接口、Token 數與實際費用。Agent 任務可能包含多次模型呼叫，一次回應的費用不等於整個流程的費用。每次重試均為新呼叫，可能產生額外用量與費用。
例子只用假設值解釋算術：若一次完整測試在所用記帳貨幣下的總費用為 0.02，100 個相近任務的基線就是 2.00，再考慮波動與重試。這不是 GetRun 報價，應換成你的實測總額，並使用一致單位。
記錄選擇理由，約定重新評估時機
保留簡單記錄：任務版本、模型識別碼、驗收結果、實際總費用及人手修正內容。選擇能通過必要檢查、總成本亦可接受的模型。單次回應便宜卻需要大量返工，對這項任務未必划算。
當任務、提示詞、模型可用性或價格明顯改變，重新比較。新流程先做小批量，再按用量擴展。遇到異常失敗時，依文件排查錯誤與重試行為，不要連續盲目重送相同請求。
- 固定原始測試輸入與評分規則。
- 估算預算時計入失敗嘗試及重試。
- 記錄查價日期，不在教學中寫死長期價格。
一份簡潔的比較記錄
任務：從三份筆記擷取專案決定。 候選：模型目錄的準確識別碼。 檢查：來源準確、缺失欄位、矛盾日期、輸出格式。 結果：通過與否，以及需要的人手修正。 用量：包含重試在內的所有呼叫實際費用。 決定：保留模型、調整任務，或測試另一個符合條件的模型。