最强端侧开源 AI 模型 Zamba2-mini 登场:12 亿参数
[实时快报] 时间:2024-10-24 10:19:53 来源:生龙活虎网 作者:娱乐闲谈 点击:97次
bxitgil">IT之家 8 月 29 日消息,最强Zyphra 于 8 月 27 日发布博文,端侧i登宣布推出 Zamba2-mini 1.2B 模型,开源共有 12 亿参数,模型声称是场亿参数端侧 SOTA 小语言模型,在 4bit 量化下内存占用低于 700MB。最强IT之家注:SOTA全称为 state-of-the-art,端侧i登并不是开源特指某个具体的模型,而是模型指在该项研究任务中,目前最好 / 最先进的场亿参数模型。Zamba2-mini 1.2B 虽然尺寸不大,最强但媲美包括谷歌 Gemma-2B、端侧i登Huggingface 的开源 SmolLM-1.7B、苹果的模型 OpenELM-1.1B 和微软的 Phi-1.5 等更大模型。在推理任务中,场亿参数Zamba2-mini 的卓越性能尤为显著,与 Phi3-3.8B 等模型相比,Zamba2-mini 的首次令牌时间(从输入到输出第一个 token 的延迟)是此前的二分之一,内存占用减少了 27%。Zamba2-mini 1.2B 主要通过高度优化的架构实现,融合了不同神经网络设计的优势,既能保持大型密集变压器的高质量输出,又能以更小模型的计算和内存效率运行。与前代 Zamba1 相比,Zamba2-mini 的关键进步之一是集成了两个共享注意力层(attention layers)。这种双层方法增强了模型在不同深度保持信息的能力,从而提高了整体性能。在共享注意力层中加入旋转位置嵌入也略微提高了性能,这表明 Zyphra 致力于在模型设计中进行渐进而有影响力的改进。Zamba2-mini 是在一个包含三万亿个 token 的海量数据集上进行预训练的,该数据集来自 Zyda 和其他公开来源。这个庞大的数据集经过了严格的过滤和重复处理,以确保获得最高质量的训练数据,并在退火(annealing)阶段对其进一步完善,其中包括在 1000 亿个质量极高的 tokens 上进行训练。Zyphra 已承诺使 Zamba2-mini 成为 Apache 2.0 许可下的开源模型。IT之家附上参考地址
(责任编辑:每日趣闻)
相关内容
精彩推荐
- 成都天气(cf签名)
- 山东潍焦控股集团有限公司(关于山东潍焦控股集团有限公司介绍)
- 山东皇菴堂药业有限公司(关于山东皇菴堂药业有限公司介绍)
- 山东盛阳集团有限公司(关于山东盛阳集团有限公司介绍)
- 魔方第一步怎么操作(魔方第一步)
- 屡(关于屡介绍)
热门点击
- 如何在跳跃技能上得高分? views+
- 星野达鲁克(关于星野达鲁克介绍) views+
- 星辰贵族学院(关于星辰贵族学院介绍) views+
- 武汉周边一日自驾游推荐(深圳周边自驾游有什么好玩的地方) views+
- 少儿益智动画片大全推荐(少儿益智动画片有哪些) views+
- 星辰战界(关于星辰战界介绍) views+
- 星罗锤(关于星罗锤介绍) views+
- 裘千丈是怎么死的(裘千丈是怎么死的) views+
- 什么盎然的成语有什么(什么盎然的成语) views+
- 中国古代官职金吾职责(中国古代官职金吾职责是什么) views+