难怪华为鸿蒙5.0 6.0手机平板电脑两三端都能用上ai超分超帧，用npu都能做到
难怪A卡都没有fsr4，原来是AI性能太烂了，甚至还不如华为自主研发的达芬奇架构npu
老黄都说华为强
RDNA3除了翻倍 fp32浮点计算，AMD 还将矩阵 (AI) 吞吐量提高了一倍，并且 AI 矩阵加速器共享许多shader执行资源。AMD不像NVIDIA，有单独tensor core单元，用于矩阵乘运算（家里毕竟不富裕啊，要节俭度日）。在RDNA3 上，我们看到的还是利用专有的WMMA指令，以vector方式完成矩阵运算。
矩阵运算，拆解到底层运算就是乘累加运算，针对fp16/bf16/int8，支持64个dot2操作，也就是w**e64。dot2 其实可以看成是下面两个矩阵乘：
A[1×2]*B[2×1] = C[1×1]
也就是 1x2x1 = 2MAC / thread, 总共64个，也就是128个MAC/cycle，256 ops/cycle。
对比华为D**inci Cube架构，可以用一条指令完成两个16*16矩阵的相乘运算（标记为16^3，也是Cube这一名称的来历），等同于单cycle进行了16^3=4096个MAC运算，8192 ops/cycle。
从资源使用上，AMD只使用了相当于华为1/32，代价是为了得到两个16*16矩阵的执行结果，需要连续执行32个cycle。从能效上肯定是输的。当然从商业角度讲，RDNA3 作为主打游戏卡来说，对AI计算的支持已然是非常大的提升了，毕竟那些买了NV显卡的小伙伴来说是额外付了tensor core 的钱，可能有些人会反驳，NV DLSS技术可以充分发挥tensor core的价值，但我相信大多数游戏是用不到这个技术的。
华为达芬奇架构的框图。从大的结构上看，数据从L1预取到L0后，依次发射到Cube中进行2D matrix运算，结果写到buffer C中，可以通过Vector单元进行卷积和全连接之后的后处理运算（operation fusion，和TPU以及NVDLA的结构类似），然后写回到United Buffer中等待下一次调度。最下方是控制通路，指令经Icache取得后，译码分发到Scalar，Vector和MTE三个单元中进行对应的运算。整体数据通路和寒武纪的“DINANAO”是很类似的，通过显式的内存管理调度数据进入主运算cube或后处理单元，各buffer内部空间划分出ping-pong存储块，保证数据存取的连续性。下方的控制加上scalar和vector运算，相当于集成了一个通用CPU在其中，这样的话支持任何算法都没有问题了。scalar负责控制流和简单运算，vector来解决MAC矩阵所不擅长的pooling，activation等操作，这几部分相互配合补充，很好的实现对AI算法全场景的支持。可以明显看出，最核心的运算还是在cube，主要面向流行的深度学习算法，在其他AI算法上使用vector和scalar运算，算力比cube低不少，因此这类算法的性能是低于SIMT结构的GPU的。
不同于传统的支持通用计算的CPU和GPU，也不同于专用于某种特定算法的专用芯片ASIC，达芬奇架构本质上是为了适应某个特定领域中的常见的应用和算法，通常称之为“特定域架构（Domain Specific Architecture，DSA）”芯片。
昇腾AI芯片的计算核心主要由AI Core构成，负责执行标量、向量和张量相关的计算密集型算子。AI Core采用了达芬奇架构，其基本结构如图所示，从控制上可以看成是一个相对简化的现代微处理器的基本架构。它包括了三种基础计算资源：矩阵计算单元（Cube Unit）、向量计算单元（Vector Unit）和标量计算单元（Scalar Unit）。这三种计算单元分别对应了张量、向量和标量三种常见的计算模式，在实际的计算过程中各司其职，形成了三条独立的执行流水线，在系统软件的统一调度下互相配合达到优化的计算效率。此外在矩阵计算单元和向量计算单元内部还提供了不同精度、不同类型的计算模式。AI Core中的矩阵计算单元目前可以支持INT8、INT4和FP16的计算；向量计算单元目前可以支持FP16和FP32的计算。
为了配合AI Core中数据的传输和搬运，围绕着三种计算资源还分布式的设置了一系列的片上缓冲区，比如用来放置整体图像特征数据、网络参数以及中间结果的输入缓冲区（Input Buffer，IB）和输出缓冲区（Output Buffer，OB），以及提供一些临时变量的高速寄存器单元，这些寄存器单元位于各个计算单元中。这些存储资源的设计架构和组织方式不尽相同，但目的都是为了更好的适应不同计算模式下格式、精度和数据排布的需求。这些存储资源和相关联的计算资源相连，或者和总线接口单元（Bus Interface Unit，BIU）相连从而可以获得外部总线上的数据。
在AI Core中，输入缓冲区之后设置了一个存储转换单元（Memory Transfer Unit，MTE）。这是达芬奇架构的特色之一，主要的目的是为了以极高的效率实现数据格式的转换。比如前面提到GPU要通过矩阵计算来实现卷积，首先要通过Im2Col的方法把输入的网络和特征数据重新以一定的格式排列起来。这一步在GPU当中是通过软件来实现的，效率比较低下。达芬奇架构采用了一个专用的存储转换单元来完成这一过程，将这一步完全固化在硬件电路中，可以在很短的时间之内完成整个转置过程。由于类似转置的计算在深度神经网络中出现的极为频繁，这样定制化电路模块的设计可以提升AI Core的执行效率，从而能够实现不间断的卷积计算。
AI Core中的控制单元主要包括系统控制模块、标量指令处理队列、指令发射模块、矩阵运算队列、向量运算队列、存储转换队列和事件同步模块。系统控制模块负责指挥和协调AI Core的整体运行模式，配置参数和实现功耗控制等。标量指令处理队列主要实现控制指令的译码。当指令被译码并通过指令发射模块顺次发射出去后，根据指令的不同类型，将会分别被发送到矩阵运算队列、向量运算队列和存储转换队列。三个队列中的指令依据先进先出的方式分别输出到矩阵计算单元、向量计算单元和存储转换单元进行相应的计算。不同的指令阵列和计算资源构成了独立的流水线，可以并行执行以提高指令执行效率。如果指令执行过程中出现依赖关系或者有强制的时间先后顺序要求，则可以通过事件同步模块来调整和维护指令的执行顺序。事件同步模块完全由软件控制，在软件编写的过程中可以通过插入同步符的方式来指定每一条流水线的执行时序从而达到调整指令执行顺序的目的。
在AI Core中，存储单元为各个计算单元提供转置过并符合要求的数据，计算单元返回运算的结果给存储单元，控制单元为计算单元和存储单元提供指令控制，三者相互协调合作完成计算任务。
