Tensor Core:张量核心;一种专门用于加速张量运算/矩阵乘加(GEMM)的硬件计算单元,常见于 NVIDIA GPU 中,用于提升深度学习训练与推理等高吞吐计算的速度。(在不同架构与精度格式下,支持细节会有所差异。)
/ˈtɛn.sɚ kɔːr/
Tensor cores can speed up matrix multiplication in neural networks.
张量核心可以加速神经网络中的矩阵乘法。
By using tensor cores with mixed precision, the model trained faster without a noticeable drop in accuracy.
通过使用张量核心进行混合精度计算,模型训练速度更快且准确率没有明显下降。
tensor 原指“张量”,来自拉丁语 tendere(“拉、伸展”)相关词根,现代数学与机器学习中常用来表示多维数组;core 意为“核心/内核”。合起来 Tensor Core 字面即“用于张量计算的核心单元”,属于随 GPU 深度学习加速需求发展而形成的技术复合词。