智譜創始人談 GLM-5.3:擴展定律不止參數規模,後訓練成爲關鍵變量
來源:
x.com
智譜創始人唐傑發文表示,大模型擴展不應只關注參數數量,還需同時考慮數據規模、計算資源分配、推理成本與實際運行條件。文章回顧了從 Kaplan 擴展定律到 Chinchilla 計算最優理論的變化,指出早期“參數增長快於數據增長”的路線曾導致部分超大模型資源錯配,而後續研究表明模型參數與訓練數據應更均衡增長。