刚读了Generalization in LLM Problem Solving论文，最短路径问题真的能测试AI泛化能力吗？

这篇arXiv论文研究了LLM在解决最短路径问题时的泛化能力，发现模型在训练数据之外的表现存在显著差异。作为产品经理，我在想：这种泛化测试能否帮助我们预测AI功能在真实用户场景中的可靠性？如果模型在结构化问题上都表现不稳定，用户对更复杂AI功能的信任度会更低。