Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率
2025-04-07 09:35:35 小编:施密特手游网
本站 4 月 6 日消息,Meta现已发布旗下最新Llama 4 系列AI 模型,包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth,Meta 透露相应模型都经过了“大量未标注的文本、图像和视频数据”的训练,以使它们具备“广泛的视觉理解能力”。
目前,Meta 已将系列模型中的 Scout 和Maverick 上架到Hugging Face(点此访问),而 Behemoth 模型则还在训练中。其中 Scout 可以在单个英伟达H100 GPU 上运行,而Maverick 则需要英伟达H100 DGX AI 平台或“同等性能的设备”。
Meta 表示,Llama 4 系列模型是该公司旗下首批采用混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,所谓“混合专家架构”基本上是将数据处理任务分解为子任务,然后将它们委派给更小的、专门的“专家”模型。
例如,Maverick 总共有4000 亿个参数,但在128 个“专家”模型中只有170 亿个活跃参数(参数数量大致与模型的问题解决能力相对应)。Scout 有170 亿个活跃参数、16 个“专家”模型以及总计1090 亿个参数。
不过值得注意的是,Llama 4 系列中没有一个模型是像OpenAI 的o1 和o3-mini 那样真正意义上的“推理模型”。作为比较,“推理模型”会对其答案进行事实核查,并且通常能更可靠地回答问题,但因此也比传统的“非推理”模型花费更长的时间来给出答案。
Meta 内部测试显示,Maverick 模型最适合用于“通用AI 助手和聊天”等应用场景,该模型在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试中表现超过了OpenAI 的GPT-4o 和谷歌的Gemini 2.0 等模型。然而 Maverick 与谷歌的 Gemini 2.5 Pro、Anthropic 的Claude 3.7 Sonnet 和OpenAI 的GPT-4.5 等功能更强大的最新模型相比仍有一定进步空间。
而 Scout 的优势则是总结文档、基于大型代码库进行推理。该模型支持 1000 万个词元(“词元”代表原始文本的片段,例如单词“fantastic”可拆分为“fan”、“tas”和“tic”),因此一次可以处理“多达数百万字的文本”。
本站注意到,Meta 还进一步预告了其 Behemoth 模型,据该公司称,Behemoth 有2880 亿个活跃参数、16 个“专家”模型,总参数数量接近2 万亿个。Meta 的内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth 的表现优于GPT-4.5、Claude 3.7 Sonnet 和Gemini 2.0 Pro,但不如Gemini 2.5 Pro。
- 猜你喜欢
-
爱玩酱安卓版9.9MB手游下载
-
大鱼影视app安卓最新纯净版v2.0.0下载9.9MB手游下载
-
国外火种app(Tinder)9.9MB手游下载
-
我哪敢吱声游戏安卓最新版v1.0.09.9MB手游下载
-
单身酒馆最新版9.9MB手游下载
-
狂怒游戏安卓最新免费版9.9MB手游下载
-
乐聊交友软件9.9MB手游下载
-
觅见派对9.9MB手游下载
-
聊悦交友平台9.9MB手游下载
- 相关手机游戏
-
小兔爱聊9.9MB手游下载
-
鱼水聊欢交友软件9.9MB手游下载
-
音贝交友9.9MB手游下载
-
momo约2022官方版9.9MB手游下载
-
找老伴(交友神器)9.9MB手游下载
-
音泡语音交友9.9MB手游下载
-
轻觅app9.9MB手游下载
-
游离星交友软件9.9MB手游下载
-
曦恩之城游戏安卓最新免费版v5.3下载9.9MB手游下载
- 推荐手游资讯
- 特斯拉美国焕新 Model Y / 3 新增“钻石黑”车漆,选配价 1500 美元
- 笔趣阅电子书小说app去广告版下载-笔趣阅电子书小说(纯净界面)去广告版下载v1.0
- 持续畅销 30 多年,佳能 EF 50mm F1.4 USM 单反镜头已停产
- 财经杂志app下载_财经杂志手机版下载v6.1.4
- 长佩阅读下载_长佩阅读手机版下载v1.0_98
- 蔚来纯电小车萤火虫内饰细节公布,提供多款磁吸式配件
- 追书神器畅读版app下载安装_追书神器畅读版安卓版下载v1.5.1
- Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率
- 书圈全本小说电子阅读最新版app下载安装-书圈全本小说电子阅读(在线看书)最新版下载v1.0.1
- 消息称任天堂 Switch 2 实体版游戏“并不完整”,玩家需联网兑换下载二代游戏升级包
- 最新手机精选
-
鲁鲁社APP官方下载(噜噜)2025-01-24手游下载 | 9.9MB
-
微微草交友软件官方下载2025-02-12手游下载 | 9.9MB
-
男女生app最新版下载2025-02-22手游下载 | 9.9MB
-
千缘社交平台app下载2025-02-15手游下载 | 9.9MB
-
赏金星球app官方版下载2025-02-24手游下载 | 9.9MB
-
嗨咩app安卓最新版下载2025-03-01手游下载 | 9.9MB