以编程方式测试可验证的输出。

示例:像 1 + 1 = 2 这样的算术问题。

优点

  • 可验证。
  • 成本低,可规模化。
  • 一致性强:可多次运行。
  • 易于理解。
  • 数据集现成可用,且可迭代改进质量。

缺点

  • 许多通用问题无法转化为可验证的格式。
  • 如果数据集是公开的,可能会被污染。

格式建议

  • 对于某些 LLM,输出可能需要附加系统提示词。需要识别出哪些模型需要这样做。
  • 对于某些 LLM,遵循用户与助手的对话模板可能会有所帮助。