高性能计算（High Performance Computing, HPC）以超高的计算性能广泛应用于国民经济的各个领域，不仅用于气候模拟、石油勘探等传统产业，在生命科学、大数据等领域成为研究和解决挑战性问题的重要工具。

高性能计算主要致力于开发超级计算机和运行在高性能计算机上的应用软件，提升并行计算效率，用于处理复杂的科学计算问题。

随着军民科技等不同领域对数据处理需求的不断提高，多个国家研究者相继提出运算速度达到每秒百亿亿次浮点运算的计算目标，Summit、神威太湖之光、天河二号等超级计算机应运而生。

存储系统是计算机体系结构中重要的组成部分，处理器核中计算所需要的数据以及处理后的数据都需要存储到存储系统中。

处理器核与存储系统之间需要传输各种数据信息和指令信息，所以存储访问通信极大程度影响着整个计算系统的性能。

在未来高性能计算系统中，处理器核的数量，处理器核的计算速度，存储系统的容量，以及存储系统的带宽等方面都在不断增长，新型存储的出现相对于传统存储有优势，也有挑战。

对各类存储系统组织形式、内部结构的研究有利于我们设计更匹配的存储访问互连网络，有效提高访存带宽优势，降低访问时延，降低整体功耗等。

目前，国内外高性能微处理器的学术研究和工业实践都在不断改进创新，存储系统的组织结构、存储介质、存储方式等方面也在不断发展突破。

一、传统存储系统

传统存储系统主要以DRAM构成，DRAM cell是存储系统中最基本的存储单元。

存储单元在存储系统内部按照行（row）和列（column）的形式进行排布形成一个bank。 一个存储模块（memory module）内部可以包含多个 bank。

Rank 是存储系统中对于一个或多个存储模块所组成集合的统称。

Rank 中存储模块的数量由单个存储模块位宽以及存储系统的数据位宽决定，例如一个存储系统的数据位宽为64位，每一个存储模块的数据位宽为16位，则在一个rank 中需要使用4个存储模块进行并行访问，实现存储系统中数据读写需求。

在搭建存储系统中，除了需要考虑存储模块的位宽以外，还需要考虑存储模块的存储容量以及系统总容量之间的匹配关系。

在对存储系统进行一次访问时，存储访问控制器会根据存储访问地址首先会决定访问哪一个 rank，其次决定访问的bank、row 和 column。

(二)新型存储系统

目前出现的新型存储可以分为两类：

一类是在传统 DRAM 基础上，利用三维集成技术堆叠而成的三维存储，诸如 HMC、HBM 等，本质上还是 DRAM 阵列堆叠， 属于易失性存储介质；

HMC 由 DRAM 层（DRAM layer，4 层或 8 层）和逻辑层（logic layer，1 层）构成。

传统 DRAM 中基本概念包括 rank，bank，column，row，HMC 将 DRAM 进 行三维堆叠后，用 vault 代替了 rank，每个 vault 在功能上和操作上都是独立的。

每个 vault 在逻辑层都设置了一个对应的存储控制器（即 vault controller），用于管理 vault 内的所有存储操作（memory reference operations），决定该 vault 的时序要求。

刷新操作也由vault controller 控制，而不再是主存储控制器中进行控制。每个 vault 控制器有一个缓冲查询操作的队列，查询操作的处理不再是按序而是按需求进行。因此，响应信息从vault 操作返回外部串行 I/O 接口有可能是乱序的。而请求信息从同一条外部串行链路到同一个 vault/bank 是按序处理，请求信息从不同的外部串行链路到同一个 vault/bank 不能保证是按序处理，所以都需要经过主控制器进行管理。

(三)HBM(High Bandwidth Memory)

HBM 是另一种典型的三维堆叠 DRAM 存储，AMD, Nvidia 以及 Hynix 等公司针对 HBM 都进行了相关技术研究。

一般有 4 到 8 个 DRAM die 堆叠而 成。每个存储控制器都是独立定时和控制。HBM 是成本和带 宽方面的“中间”选项，专为高性能 GPU 环境设计，较 HMC 成本低，因此具有较高的研究价值。

（四）相变存储器（Phase Change Memory，PCM）

另一类是非易失性存储 NVM，诸如 PCM、RRAM 等，存储基本单元结构发生改变，存储状态以及存取方式也相应改变，不同 NVM 之间的差异性也较大。

相变存储器（Phase Change Memory，PCM）其存储原理为利用硫化物材料在“非结晶态和结晶态两种状态间阻值的变化进行数据存储，其读取速度与 DRAM 相近， 常用于代替或与 DRAM 混合构成计算机存储，目前，工业界的公司如 Intel、美光、 IBM、惠普、Numonyx、三星、STMicroelectronics 等都相继投入研究并生产。

(五)电阻式存储器（Resistive Random Access Memory, RRAM）

电阻式存储器（Resistive Random Access Memory, RRAM）的存储原理为通过对中间的金属氧化物加压的方式改变阻值进行数据存储，属于另外一类非易失性存储。

实现不同的存储性能，可以应用在计算机系统的各级存储中，目前 Rambus、Panasonic、 Adesto Technologies、SHAPP、IMEC，Unity 等公司陆续投入到 RRAM 的研究与开发中。

(六)新型混合存储的研究

随着高性能计算系统对运算能力需求的不断提升，计算系统面临处理器核到存储系统（各级缓存和主存）的访问带宽、时延、能耗、存储系统的处理时间、系统并行计算的可扩展性等巨大的技术瓶颈。

针对高性能计算类应用计算数据量大、计算复杂性高、访存压力大及访存功耗高等问题，出现了一种面向新型三维存储的互连网络架构，利用2.5D集成技术，将高带宽存储HBM集成在基底层上，且在同一基底层上集成计算层，在存储层与计算层通过光互连网络层进行互连，如图所示。

计算层中包括各个计算节点与缓存节点，高带宽存储HBM作为主存，与计算层共同集成在基底层上。

通过合理配置光互连结构布局，分配合适数量的光波长资源，提供计算节点与存储模块间高效的通信可行性。同时，电控制单元负责控制光互连网络的资源配置及光电器件的状态。

(七)先进存储技术解决办法

国内外研究人员针对存储访问瓶颈采取的解决思路可分为三种：

第一种是采用新型缓存机制，充分利用片上缓存资源，通过更高效的缓存数据管理机制解决访存瓶颈，例如非一致性缓存访问（Non-Uniform Cache Access, NUCA），反应性非均匀缓存访问（Reactive Non-Uniform Cache Access, R-NUCA）等结构。

第二种是采用近存储计算（Processing in Memory, PIM），将片上处理器核的部分计算功能转移到存储系统端，通过减少远距离访存读写数据量解决访存瓶颈。

第三种是设计高性能存储访问互连架构，通过访存高效互连架构的构建，提升处理器核访问存储系统的并行性，降低访问时延、功耗、能耗等。

根据不同应用需求，不同系统架构需求，三种思路的解决方式各有不用的特点与优势。

采用新型的缓存机制与近存储计算所受到的应用类型限制较大，设计处理器核与存储系统之间高性能互连架构，更具有普遍性优势。

随着硅光技术、三维集成技术、光通信技术的不断发展，更有利于处理器核与存储系统间访存互连架构的设计，突破高性能计算中的访存瓶颈。

好了，关于半导体存储的相关知识就介绍到这儿，欢迎阅读本公众号其他文章！