GPU是什么 GPU常見計算精度

GPU的歷史

目前GPU 虛擬化市場有三個大玩家，分別是核彈廠、農企和牙膏廠（NVIDIA、AMD 和Intel）。 1981:? IBM PC Monochrome Display Adapter (2D) 1996:? 3D graphics (e.g., 3dfx Voodoo) 1999:? register combiner (NVIDIA GeForce 256) 2001:? programmable shaders (NVIDIA GeForce 3) 2002:? floating-point (ATI Radeon 9700) 2005:? unified shaders (ATI R520 in Xbox 360) 2006:? compute (NVIDIA GeForce 8800) GPU最早是用來處理圖像的，為什么要想到用GPU做計算呢？GPU比CPU使用更大比例的芯片占比用作計算。在峰值性能下，GPU每次操作消耗的能量比CPU少一個數量級。 GPU 最大的組成部分是著色器（Shader），負責所有的模型和3D 渲染工作。也就是說，著色器越多，GPU 能同時做的事越多，著色器越快，GPU 的運行速度也就越快。著色器不僅僅可以用在圖形渲染上，也可以用作GPGPU(General Purpose GPU 通過GPU)。因為GPU 中有很多的著色器，著色器也就是浮點運算處理器，所以GPU 可以同時處理大量的計算工作。不管是物理GPU 還是虛擬GPU，不同的生產廠商在這方面的支持不一樣。你可能聽說過CUDA 或者OpenCL，這些就是可以API調用來實現利用著色器進行GPGPU 任務的庫。除了著色器外，GPU 中還包含視頻解碼器和編碼器。通常來說，這些只占GPU 的很小一部分。 ?

GPU是什么

圖形處理器（英語：Graphics Processing Unit，縮寫：GPU），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機和一些移動設備（如平板電腦、智能手機等）上圖像運算工作的微處理，是顯卡或GPU卡的“心臟”。

其中Control是控制器、ALU算術邏輯單元、Cache是cpu內部緩存、DRAM就是內存。可以看到GPU設計者將更多的晶體管用作執行單元，而不是像CPU那樣用作復雜的控制單元和緩存。從實際來看，CPU芯片空間的5%是ALU，而GPU空間的40%是ALU。這也是導致GPU計算能力超強的原因。

GPU主流廠商 ? ?

?英特爾：基本為集成顯卡芯片，用于英特爾的主板和英特爾的CPU。 ? ?

?NVIDIA：NVIDIA是現在最大的獨立顯卡芯片生產銷售商。 ? ?

?AMD(ATI)：AMD是世界上第二大的獨立顯卡芯片生產銷售商，他的前身就是ATI，2006年AMD以54億美元收購ATI。

?GPU通信知識

GPU是協處理器，與CPU端存儲是分離的，故GPU運算時必須先將CPU端的代碼和數據傳輸到GPU，GPU才能執行kernel函數。涉及CPU 與GPU通信，其中通信接口PCI-E的版本和性能會直接影響通信帶寬。

NvLink 技術：提供更高帶寬與更多鏈路，并可提升多 GPU 和多 GPU/CPU 系統配置的可擴展性，因而可以解決這種互聯問題。單個 NVIDIA Tesla V100 GPU 即可支持多達六條 NVLink 鏈路，總帶寬為 300 GB/秒，這是 PCIe 3 帶寬的 10 倍。NVLink提升GPU服務器單機的GPU通信性能

GPUDirect RDMA技術：則提升了不同服務器間GPU的通信性能，其實就是計算機A的GPU可以直接訪問計算機B的GPU內存；深度學習模型越來越復雜，計算數據量暴增，對于大規模深度學習訓練任務，單機已經無法滿足計算需求，多機多卡的分布式訓練成為了必要的需求，這個時候多機間的通信成為了分布式訓練性能的重要指標。