減少向量暫存器數量之 RISC-V V 向量擴展 (RVV)

Kernkonzepte

減少 RISC-V 向量擴展 (RVV) 中向量暫存器的數量，可在保持良好效能的同時，顯著縮減小型處理器的面積。

Zusammenfassung

減少向量暫存器數量之 RISC-V V 向量擴展 (RVV) 研究論文摘要

文獻資訊:

Jacobs, E., Utyansky, D., Hassan, M., & Roecker, T. (2024). RISC-V V Vector Extension (RVV) with reduced number of vector registers. arXiv preprint arXiv:2410.08396v1.

研究目標:

本研究旨在探討減少 RISC-V 向量擴展 (RVV) 中向量暫存器數量對小型處理器面積和效能的影響。

研究方法:

作者分析了數個常見的數位訊號處理核心，包括矩陣乘法、向量累加、點積和矩陣向量乘法，比較了不同向量暫存器數量和不同資料塊大小對這些核心執行效率的影響。

主要發現:

研究發現，將向量暫存器數量減少到 16 個甚至 8 個，可以顯著縮減處理器面積，同時在許多應用中仍能保持良好的效能。例如，對於矩陣乘法核心，使用 10 個向量暫存器可以達到 89% 到 100% 的乘法累加單元利用率，而使用 4 個向量暫存器則可以達到 44% 到 50% 的利用率。

主要結論:

作者建議將向量暫存器數量減少到 16 個或 8 個作為 RVV 標準的一部分，以滿足小型嵌入式系統的需求。

研究意義:

此研究為小型嵌入式系統的 RISC-V 向量擴展設計提供了新的思路，有助於在有限的資源下實現更高的效能和更低的功耗。

研究限制與未來方向:

本研究主要關注定點運算核心，未來可以進一步探討減少向量暫存器數量對浮點運算核心的影響。此外，還可以研究更高記憶體頻寬對核心效能的影響。

Statistiken

標準的「V」擴展需要 32 個向量暫存器，本文建議將其減少到 16 個或 8 個暫存器。
在小型處理器設計中，完整的 RVV 1.0 向量暫存器檔案（32 個 64 位元向量暫存器）約佔整體邏輯面積的 30%。
將向量暫存器檔案減半（16 個 64 位元向量暫存器）或減少到四分之一大小（8 個 64 位元向量暫存器）可以分別節省 15% 到 23% 的處理器面積。
8 個 64 位元向量暫存器的向量暫存器檔案總共有 512 個暫存器位元。這與 RV32E 版本的 RISC-V 中具有 16 個 32 位元暫存器的純量暫存器檔案中的位元數相同。

Zitate

"Reducing the number of vector registers does not generate a completely new programming model: although the resulting core does not have binary code compatibility with the standard RVV, compiling for it just requires parameterization of the vector register file size in the compiler."
"Many useful signal processing kernels require few registers."
"Our analysis shows that important kernels can be efficiently implemented with fewer than 32 vector registers, the number required by the RVV 1.0 standard."

Wichtige Erkenntnisse aus

RISC-V V Vector Extension (RVV) with reduced number of vector registers

by Eino Jacobs,... um arxiv.org 10-14-2024

https://arxiv.org/pdf/2410.08396.pdf

Tiefere Fragen

除了減少向量暫存器數量，還有哪些其他方法可以縮減 RVV 處理器的面積和功耗？

除了減少向量暫存器數量，還有其他幾種方法可以縮減 RVV 處理器的面積和功耗：

降低向量長度 (VLEN)： 標準 RVV 規範允許可調整的 VLEN。 縮短向量長度可以減少向量暫存器檔案的大小，以及向量處理單元中所需的邏輯閘數量。 然而，這也會降低每個向量指令可以處理的數據量，因此需要在面積/功耗節省和效能之間取得平衡。
簡化向量處理單元： 可以通過減少支援的數據類型或指令來簡化向量處理單元。 例如，如果應用程序不需要浮點運算，則可以移除浮點向量指令和相關的硬件。
使用混合精度運算： 某些應用程序可以使用較低精度的數據類型來執行部分計算，而不會顯著影響結果的準確性。 RVV 可以通過使用較窄的數據路徑和處理單元來支援混合精度運算，從而節省面積和功耗。
動態電壓和頻率調整 (DVFS)： DVFS 技術可以根據處理器的負載動態調整其工作電壓和頻率。 在低負載情況下，可以降低電壓和頻率以節省功耗。
時脈閘控： 時脈閘控是一種通過在閒置邏輯電路時關閉其時脈信號來降低功耗的技術。 可以將其應用於 RVV 處理器的各個部分，例如向量暫存器檔案和向量處理單元。
總之，縮減 RVV 處理器的面積和功耗需要綜合考慮多種因素，並在設計空間中進行權衡。

對於需要大量向量暫存器的應用程式，例如科學計算，減少向量暫存器數量是否會嚴重影響效能？

是的，對於需要大量向量暫存器的應用程式，例如科學計算，減少向量暫存器數量會嚴重影響效能。 主要原因如下：

增加暫存器溢出： 向量暫存器數量減少後，編譯器更難將所有資料都分配到暫存器中。 這會導致更多的資料需要存取記憶體，造成記憶體頻寬成為效能瓶頸。
降低指令級平行度： RVV 的指令集設計允許在同一個向量指令中同時處理多個資料元素。 然而，如果向量暫存器數量不足，編譯器可能需要將向量指令拆分成多個較小的指令，降低指令級平行度，進而影響效能。
增加軟體開銷： 為了彌補向量暫存器數量不足的問題，編譯器可能需要插入額外的指令來管理資料在記憶體和暫存器之間的移動，增加軟體開銷，降低程式執行效率。
對於科學計算等需要大量向量暫存器的應用程式，通常需要較大的向量暫存器檔案來滿足效能需求。

未來，隨著嵌入式系統對機器學習的需求不斷增長，RVV 是否需要新的指令集擴展來更好地支援這些應用？

是的，隨著嵌入式系統對機器學習的需求不斷增長，RVV 需要新的指令集擴展來更好地支援這些應用。
目前 RVV 主要針對傳統的向量和矩陣運算進行優化，而機器學習應用通常需要其他類型的運算，例如：

低精度運算： 機器學習模型可以使用低精度數據類型（例如 INT8、FP16）進行訓練和推理，以減少計算量和記憶體需求。 RVV 需要新的指令來高效地處理這些低精度數據類型。
稀疏矩陣運算： 機器學習模型中經常使用稀疏矩陣，其中大部分元素為零。 RVV 需要新的指令和數據結構來有效地存儲和處理稀疏矩陣，避免浪費計算資源和記憶體空間。
非線性函數： 機器學習模型通常使用非線性函數（例如 ReLU、Sigmoid）來引入非線性關係。 RVV 需要新的指令來高效地計算這些非線性函數。
為了更好地支援機器學習應用，RVV 可以參考其他架構的設計，例如：

ARM 的 SVE 和 MVE 指令集： SVE 和 MVE 指令集針對機器學習應用進行了優化，支援低精度運算、稀疏矩陣運算和非線性函數。
Google 的 TPU 架構： TPU 是一款專為機器學習設計的處理器，具有專用的矩陣乘法單元和低精度運算能力。
通過引入新的指令集擴展，RVV 可以更好地滿足嵌入式系統中不斷增長的機器學習需求，並在功耗、效能和成本方面取得更好的平衡。