智谱创始人谈 GLM-5.3:扩展定律不止参数规模,后训练成为关键变量
来源:
x.com
智谱创始人唐杰发文表示,大模型扩展不应只关注参数数量,还需同时考虑数据规模、计算资源分配、推理成本与实际运行条件。文章回顾了从 Kaplan 扩展定律到 Chinchilla 计算最优理论的变化,指出早期“参数增长快于数据增长”的路线曾导致部分超大模型资源错配,而后续研究表明模型参数与训练数据应更均衡增长。