摩尔线程宣布,正式开源高性能线性代数模板库mutlass,以便开发者能够更高效地针对摩尔线程gpu musa core、tensor core等单元进行编程,加速基于国产gpu的算子开发以及算法创新。
在此之前,摩尔线程已经相继开源opencv-musa计算机视觉库、mooer音频理解大模型、vllm-musa大语言模型高速推理框架。
▼ mutlass开源地址:
在数值计算和深度学习领域,矩阵乘法(gemm)及其变种,比如flashattention、convolution,是构建复杂上层应用的基石。
不够,为了追求更高的算子融合效率,或者更创新的算法,开发者们往往需要超越标准化计算接口的限制,如标准blas接口以及芯片厂商的计算库接口,以实现高性能的定制化算子。
mutlass(musa templates for linear algebra subroutines)正是为满足这一需求而设计。
作为摩尔线程专为自研musa架构优化的高性能计算库,mutlass是基于开源模板库cutlass进行的musa适配和定制化开发、优化。
针对矩阵乘法及相关变种,mutlass提供了一系列高性能的c 模板组件,并采用了与mudnn库类似的分层分解及数据搬运策略,以确保性能的充分发挥。
在本次开源的版本中,摩尔线程适配了cute后端库,为其增加了第三代musa架构的mma计算原语,支持tf32/fp16/bf16/int8等多种数据精度,并以此为基础,初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。
借助mutlass,开发者们既可以灵活复用不同层级的模板组件,也可以按需修改各种模板组件的实现细节,以较低的开发成本实现定制化的高性能算子,从而在摩尔线程全功能gpu上充分释放性能,并尝试更多的算法创新。
摩尔线程将持续优化mutlass的性能,并不断引入新的功能。