2025-02-17   星期一

月之暗面：一年前就验证过长思维链，因成本高先搞了长文本

月之暗面研究员Flood Sung近日分享了k1.5模型背后的完整思考过程，并透露称，2024年9月12号OpenAI o1发布带来的震撼效果，令自己陷入了Long-CoT的有效性反思中。因为Long-CoT的有效性，其实在一年多前月之暗面Kimi联合创始人Tim周昕宇就验证过，使用很小的模型，训练模型做几十位的加减乘除运算，将细粒度的运算过程合成出来变成很长的CoT数据做SFT，就可以获得非常好的效果。Flood Sung表示，公司意识到Long Context的重要性，所以率先考虑把Context搞长，但却对Long-CoT这件事情不够重视，其实主要还是考虑了成本问题。（新浪科技）