首页 > 人工智能 >摩尔线程:MUSA 成功适配 llama.cpp,直通全球 AI 生态圈

摩尔线程:MUSA 成功适配 llama.cpp,直通全球 AI 生态圈

来源:ithome 2025-08-06 17:29:59
感谢xiayx网友 Dima、HlandJinLi 的线索投递!

xiayx 8月6日消息,摩尔线程 MUSA 架构是 MT GPU 支持的通用计算架构,摩尔线程刚刚确认 llama.cpp 已经适配了这种计算架构,“直通全球 AI 生态圈”。

xiayx注:llama.cpp 是一个纯 C / C++ 实现的项目,旨在简化大语言模型 (LLM) 的推理过程,并在多种硬件环境下提供最先进的性能支持,无论是本地部署还是云端运行。其主要目标是以最小的设置和依赖,让用户在广泛的硬件平台上轻松进行 LLaMA 等大模型的推理。

大语言模型因其出色的自然语言理解和生成能力而迅速被广泛使用,llama.cpp 大幅降低了进行大语言模型推理的门槛,能够充分利用硬件的性能来助力用户的大语言模型应用。

摩尔线程:MUSA 成功适配 llama.cpp,直通全球 AI 生态圈

llama.cpp 支持多种语言模型,包括 LLaMA、Mistral、Falcon、Gemma、Qwen、Baichuan、Aquila 等主流模型,以及各种多模态模型如 LLaVA 和 MobileVLM,覆盖广泛的推理需求。

摩尔线程 MUSA 架构是 MT GPU 支持的通用计算架构,llama.cpp 适配了这种计算架构。在 MTT S80 / S3000 / S4000 GPU 上,用户可以通过 llama.cpp 官方提供的一系列容器镜像来使用。

摩尔线程:MUSA 成功适配 llama.cpp,直通全球 AI 生态圈

今年 4 月,MUSA SDK 升级到了 4.0.1 版本,支持 Intel 处理器+Ubuntu 操作系统、海光处理器+Kylin 麒麟操作系统组成的平台。

侠游戏发布此文仅为了传递信息,不代表侠游戏网站认同其观点或证实其描述

热游推荐

更多
湘ICP备14008430号-1 湘公网安备 43070302000280号
All Rights Reserved
本站为非盈利网站,不接受任何广告。本站所有软件,都由网友
上传,如有侵犯你的版权,请发邮件给xiayx666@163.com
抵制不良色情、反动、暴力游戏。注意自我保护,谨防受骗上当。
适度游戏益脑,沉迷游戏伤身。合理安排时间,享受健康生活。