47 次中国 2024年04月28日——人工智能芯片研发及基础算力平台公司爱芯元智宣布，近日，Meta、Microsoft相继发布具有里程碑意义的Llama 3系列和Phi-3系列模型。为了进一步给开发者提供更多尝鲜，爱芯元智的NPU工具链团队迅速响应，已基于AX650N平台完成 Llama 3 8B和Phi-3-mini模型适配。
Llama 3
上周五，Meta发布了Meta Llama 3系列语言模型（LLM），具体包括一个8B模型和一个70B模型在测试基准中，Llama 3模型的表现相当出色，在实用性和安全性评估中，与那些市面上流行的闭源模型不相上下。
在架构层面，Llama 3选择了标准的仅解码（decoder-only）式Transformer架构，采用包含128K token词汇表的分词器。Llama 3使用了超过15T的公开数据进行训练，其中5%为非英文数据，涵盖30多种语言，训练数据量是前代Llama 2的七倍。
根据Meta的测试结果，Llama 3 8B模型在MMLU、GPQA、HumanEval等多项性能基准上均超过了Gemma 7B和Mistral 7B Instruct，70B模型则超越了名声在外的闭源模型Claude 3的中间版本Sonnet，和谷歌的Gemini Pro 1.5相比三胜两负。
实际上板结果：目前AX650N已经完成了Llama 3 8B Int8版本的适配，若采用Int4量化，每秒token数还能再翻一倍，能满足正常的人机交流。
Phi-3
Llama 3刚发布没多久，竞争对手就来了，而且是可以在手机上运行的小体量模型。
本周二，微软发布了自研小尺寸模型Phi-3。尽管Phi-3-mini被优化至可部署在手机上，但它的性能可以与Mixtral 8x7B和GPT-3.5等模型相媲美。微软表示，该创新主要在于用了质量更好的训练数据集。
实际上板结果：目前AX650N已经完成了Phi-3-mini Int8版本的适配，已能满足正常的人机交流。
其他成果
AX650N能第一时间完成Llama 3和Phi-3的适配，源于今年以来相关团队悄悄完成了现有NPU工具链针对大语言模型的支持和调优。目前除了Llama 3之外，已经完成了Llama 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等国内外主流的开源大语言模型适配。
后续计划
今年是AIPC的元年，爱芯元智将针对AIPC的常见应用提供更多的解决方案。充分发挥爱芯通元NPU高能效比的技术优势，让各种有趣的大模型实现高性价本地化部署，做到“人人都用得起大模型”，深入实践“普惠AI，造就美好生活”。
174 次
165 次
217 次
286 次
发布日期: 2023-07-04
发布日期: 2024-05-07
发布日期: 2024-04-11
发布日期: 2024-04-24
发布日期: 2024-05-08
发布日期: 2023-11-21
发布日期: 2024-05-20
发布日期: 2024-05-11
发布日期: 2024-05-20
发布日期: 2024-05-20
发布日期: 2024-05-20
发布日期: 2024-05-20
发布日期: 2024-05-20
寻找更多销售、技术和解决方案的信息？
广州绿测电子科技有限公司（简称：绿测科技）成立于2015年11月，是一家专注于耕耘测试与测量行业的技术开发公司。绿测科技以“工程师的测试管家”的理念向广大客户提供专业的管家服务。绿测科技的研发部及工厂设立于广州番禺区，随着公司业务的发展，先后在广西南宁、深圳、广州南沙、香港等地设立了机构。绿测科技经过深耕测试与测量领域多年，组建了一支经验丰富的团队，可为广大客户提供品质过硬的产品及测试技术服务等支持。
技术工程师
销售经理
020-22042442
广东公司：冯经理
020-2204 2442-9-822
广西公司：何经理
020-2204 2442-9-880
测试系统
无线通信与车联网测试
新能源与电动汽车测试
半导体与功率器件测试
有源医疗器械测试
电磁兼容（EMC）及场强测试
环境可靠性测试
高速串行接口测试
光通信与光器件测试
音频与声学测试
广播电视与视频测试
光和色彩测量
物理与化学分析测试
新能源与电动汽车
电磁兼容性EMC
半导体与器件
实验室建设方案
无线通信与车联网
医疗器械
自动化测试
高速串行接口测试