当前位置:首页 / 新闻资讯 / 行业资讯

苹果发布语言模型OpenELM:基于开源训练和推理框架

发布日期:2024-04-26     54 次

4月25日消息,苹果公司于日前发布一个名为OpenELM的高效语言模型,具有开源训练和推理框架。

苹果方面表示,“大型语言模型的可重复性和透明性对于推进开放研究、确保结果的可信度以及调查数据和模型偏差以及潜在风险至关重要。为此,我们发布了 OpenELM。”

据介绍,OpenELM使用分层缩放策略,可以有效地分配Transformer模型每一层的参数,从而提高准确率。例如,在参数量约为10亿的情况下,OpenELM与OLMo 相比准确率提升了2.36%,同时所需的预训练 tokens 数量为原来的50%。

“与以往只提供模型权重和推理代码并在私有数据集上进行预训练的做法不同。”苹果官方指出,“我们发布的版本包含了在公开数据集上训练和评估语言模型的完整框架,包括训练日志、多个检查点和预训练配置。我们还发布了将模型转换为 MLX 库的代码,以便在苹果设备上进行推理和微调。此次全面发布旨在增强和巩固开放研究社区,为未来的开放研究工作铺平道路。”

据悉,这是一项开源语言模型,其源码及预训练的模型权重和训练配方可在苹果 Github库中获取。


为您精选

寻找更多销售、技术和解决方案的信息?

关于绿测

广州绿测电子科技有限公司(简称:绿测科技)成立于2015年11月,是一家专注于耕耘测试与测量行业的技术开发公司。绿测科技以“工程师的测试管家”的理念向广大客户提供专业的管家服务。绿测科技的研发部及工厂设立于广州番禺区,随着公司业务的发展,先后在广西南宁、深圳、广州南沙、香港等地设立了机构。绿测科技经过深耕测试与测量领域多年,组建了一支经验丰富的团队,可为广大客户提供品质过硬的产品及测试技术服务等支持。

绿测工场服务号
绿测工场服务号
绿测科技订阅号
绿测科技订阅号
020-2204 2442
Copyright @ 2015-2024 广州绿测电子科技有限公司 版权所有 E-mail:Sales@greentest.com.cn 粤ICP备18033302号