全部指南

怎样比较 AI 模型,并估算一个真实工作流的成本?

结合小型评测集、当前模型价格和实际用量记录,检查质量、完整性与总费用,避免凭单次回答选择模型。

把模型选择与具体任务、验收规则联系起来,决定才容易复核。先从当前 GetRun 模型目录中选出符合条件的模型,再用相同输入比较。目标是找到适合当前工作流的质量与成本组合,而不是宣布某个模型在所有任务上都最好。

先筛选任务需要的接口与能力

比较价格之前,先写清输入类型和必要的 API 行为。文本提取、图片操作,以及要求特定协议的客户端,有不同的限制。核对模型目录和对应接口文档,使用准确的公开模型标识,不根据其他平台的展示名称猜测。

确认目标 Key 可以使用所选模型。如果旧会话中的模型不可用,重新选择可用模型,并用小请求验证配置。请求失败应先排查配置或服务状态,不能直接当作模型回答质量差的证据。

建立一组小样本和明确评分规则

从实际工作中选几个常见例子,再加入至少一个困难情况。整理简报时,可加入缺少日期的笔记和互相冲突的描述;提取结构化信息时,可加入字段缺失的样本。在看模型输出之前,先写下希望它如何处理。

给候选模型相同输入,使用同一组标准。记录它是否遗漏必要事实、添加无依据的内容、遵守输出格式。重复运行如果出现波动,也要纳入判断,不只保留表现最好的一次。

  • 准确性:结果是否与原始材料一致?
  • 完整性:必要字段或决定是否都已列出?
  • 不确定性:缺失和冲突是否被如实表示?
  • 可用性:结果是否需要大量手工重排才能使用?

核对整个任务的费用,而不只看一次响应

在实时模型页查看当前价格与计价单位。输入、输出、缓存相关用量可能分别定价,其他操作也可能使用不同计费单位。不能只凭模型名称或一个 Token 单价推断整个任务的成本。

每轮测试后,在控制台用量记录中核对模型、接口、Token 数与实际费用。Agent 任务可能包含多次模型调用,一次响应的费用不等于整个工作流的费用。每次重试都是新的调用,可能产生新的用量和费用。

举例时只用假设值说明算术:若一次完整测试在所用记账币种下的合计费用为 0.02,100 个相近任务的基线就是 2.00,再考虑波动和重试。这不是 GetRun 报价,应替换成你的实测合计值,并保持单位一致。

记录选择理由,约定重新评估的时机

保留一张简单记录:任务版本、模型标识、验收结果、实际总费用和人工修正内容。选择能通过必要检查、总成本也能接受的模型。单次响应便宜但需要大量返工,在这个任务上未必划算。

任务、提示词、模型可用性或价格明显变化后,重新比较。新流程先做小批量,再根据用量扩展。遇到异常失败时按文档排查错误和重试语义,不要连续盲目重发同一请求。

  • 固定原始测试输入和评分规则。
  • 估算预算时计入失败尝试与重试。
  • 记录查价时间,不在教程中固化长期价格。

一份简洁的比较记录

任务:从三份笔记提取项目决定。
候选:模型目录中的准确标识。
检查:来源准确、缺失字段、冲突日期、输出格式。
结果:通过或未通过,以及需要的人工修正。
用量:包含重试在内的全部调用实际费用。
决定:保留模型、调整任务,或测试另一个符合条件的模型。

接着开始使用