Seed 渴望实现跨越式的进步。
文丨陈佳惠 高洪浩
编辑丨高洪浩
《晚点 LatePost》得到独家消息,字节跳动正在探讨构建一个参数量超过5万亿的模型,这个规模超过了阿里的Qwen 3.8-Max(2.4万亿参数)和月之暗面的K3(2.8万亿参数),同时它也是目前国内已公开的参数规模最大的模型。一般而言,模型的规模增大往往意味着智能水平会有所提升。不过,此项目尚处萌芽阶段,不能确定最终一定会成型发布。
这个新模型将由Seed Foundation的负责人项亮主持,与担任大语言模型预训练数据负责人的沈科协同合作。为此,Seed正在进行组织上的调整,重新分配职责,配置资源。
项亮和沈科都是字节跳动人工智能及大模型研发体系中的核心成员,两者都来自于字节的“搜广推”体系。项亮本科从中国科学技术大学毕业,随后在中科院自动化所攻读博士学位,2016年加入字节,曾担任机器学习中台AML团队的负责人,之后调任豆包大模型Foundation团队出任带头人。沈科2018年从清华大学毕业后,加入字节跳动,目前主要负责LLM预训练数据工作。
自字节踏入大模型领域以来,Seed一直被看作是国内最有潜力的团队之一。豆包如今拥有超过2亿日活的用户基数,很大程度上得益于Seed的努力。但今年,一些质疑的声音开始流传。
2月中旬,吴永辉领导下的Seed发布的Seed 2.0模型正式推出,然而市场的反应并不热烈。几乎在同期,智谱开源的GLM-5被市场看作是国内首个能与Anthropic Opus系列相提并论的产品;到了7月,月之暗面的Kimi K3问世,多项第三方评估指出,它在性能上已经接近了海外的一些闭源顶尖模型。
一些在字节工作的人告诉笔者,今年上半年,Seed的多个团队都在进行反思。这就是字节考虑研发超5万亿参数模型的一个原因,他们觉得与其在现有的尺寸上不断追赶他人,不如一次性将参数规模扩大到同行数倍,从而确立领先地位。“这就像一场赌博。”一位接近Seed的人士说。
就在两个星期以前,字节跳动的创始人张一鸣与Seed的负责人吴永辉一同举行了一场Seed全员会议(All Hands)。久未露面的张一鸣也表达了对于seed的支持。我们独家获知:
- 张一鸣在会议中对Seed的成员进行了安慰。他认为,训练大模型是一件极具挑战性的工作,团队无需过分担忧。他强调,在较长的时期内,Seed的模型可以落后于行业水平,希望大家致力于追求智能的高峰,期待Seed的模型能力能跻身世界顶尖的行列。
- 他承认编程(Coding)是现阶段的关键领域,因此需要整合火山引擎、飞书和豆包的资源,以此构筑在计算能力和数据上的优势。但他也提醒,编程只是当前的热点之一,不应完全被其左右,编程之外还存在更多更大的机遇。
- 他称赞了Seedance,认为这个模型在市场上有其独特之处,也具备领先的技术优势。比起跟随其他领先模型的现有路线,他更鼓励Seed打造具有自身特色的模型。
- 张一鸣还分享了他对模型蒸馏的看法。他反对蒸馏,认为蒸馏能够在短期内提升模型表现,但本质上是在复刻Claude已有的能力。沿着这种道路前进,最多只能不断靠近对方,很难实现真正的超越。他也希望Seed可以从更深层次的维度去建立自己在AGI上的护城河。
- 过去几年,字节已经在AI领域投入了大量的资源;未来的计划中,还将有更多投入。
Seed在过去的半年:多模态取得突破、大语言模型紧追不舍
在过去的半年里,Seed的多模态模型取得了显著的成就:今年2月推出的视频生成模型Seedance2.0和图片生成模型Seedream 5.0 Lite一度收获了超过行业内其他同类产品的关注度。Seedance2.0成为了火山引擎MaaS业务的重要收入来源。
同一时期发布的语言模型Seed 2.0,在市场上的反馈却相对平淡。它在春节期间较好地应对了C端需求的激增,因此在内部得到了一些好评。但春节过后,









