要达到 SoTA，该评判系统应：
- 超越 CLIP 风格和纯图像评判器的基线，
- 超越 ImageReward 风格的偏好预测器，
- 并在人类相关性或成对一致性上超过 Eval3D。
目标是建立一个衡量真实 3D 结构正确性而不仅仅是 2D 合理性的评判器。
研究空白
- Janus 问题与视角不一致性
- 3D 输出可能在单个视角下看起来合理，但在跨视角时失败。
- 数据稀缺
- 高质量的 3D 数据稀缺、昂贵且范围狭窄。
- 基准测试不足
- 当前指标过度依赖图像-文本相似度，对真实 3D 正确性的衡量不足。
- 计算与表示限制
- 3D 模型在 token、计算和表示开销方面仍然昂贵。
- 文献中普遍存在的局限
- 现有系统在鲁棒的结构验证方面仍然困难重重。
基准测试
- Eval3D
- 新型 3D 评判器的主要基准。
- 包含 160 个提示词、生成的 3D 资产和人工评分。
- 主要目标：超越常被引用的 83% 到 88% 的人类一致性范围。
- T3-Bench
- 较旧的多视角图像-文本评估器的辅助基线。
- 核心评分维度
- 几何一致性：检测漂浮物、噪点表面和纹理-几何不匹配。
- 结构一致性：检测 Janus 错误、重复部件和不可能的形态布局。
- 语义一致性：检测跨视角身份变化的物体。
- 提示对齐：检测缺失的提示关键细节。
- 3D MM-Vet
- 仅在评判器为 MLLM 时有用。
- 验证基本的 3D 空间和视觉基础能力。