刚读了GSQ论文，Gumbel-Softmax采样真的能提升LLM量化精度吗？

GSQ论文提出使用Gumbel-Softmax采样进行LLM标量量化，声称在低精度下保持高精度。我正在评估该方法是否适合我们的生产模型部署，特别是对推理延迟和内存占用的实际改进。需要讨论具体实现细节和版本兼容性。