為什麼機器學習使用GPU？

---

GPU（圖形處理單元）現在是AI的基石。GPU最初是為了加速圖形處理而開發的，可以極大地加快深度學習所需的計算操作。許多現代應用都因為機器學習需要更積極、更準確（或兩者兼備）而失敗。大型神經網路從GPU的整合和使用中受益匪淺。

自動駕駛汽車和人臉識別是深度學習如何徹底改變技術的兩個例子。在本文中，我們將討論為什麼GPU對機器學習應用如此有用——

圖形處理單元是如何工作的？

與每個神經網路一樣，深度學習模型的訓練階段是該過程最耗時和耗能的部分。這些晶片的最初目的是處理視覺資訊。為了改進預測，會調整權重以識別模式。但如今，GPU也用於加速其他型別的處理，例如深度學習。這是因為GPU非常適合並行處理，使其成為大規模分散式處理的理想選擇。

圖形處理單元（GPU）的功能

首先，讓我們退一步，確保我們完全理解GPU的工作原理。

1999年釋出的英偉達GeForce 256由於能夠進行諸如變換、光照和三角形裁剪之類的圖形操作，促成了“圖形處理單元”這一短語的普及。由於針對這些任務的特定工程設計，可以最佳化和加快流程。這涉及複雜的計算，有助於三維環境的視覺化。當執行數百萬次計算或使用浮點數時，會產生重複性。這些條件非常適合並行執行任務。

藉助快取和額外的核心，GPU可以輕鬆超越數十個CPU。讓我們舉個例子——

增加更多處理器將線性地提高速度。即使使用100個CPU，該過程仍然需要一週多的時間，並且成本相當高。使用少量GPU上的平行計算，可以在不到一天的時間內解決這個問題。因此，我們能夠透過開發這種裝置來實現不可思議的事情。

機器學習如何透過GPU獲益？

GPU擁有大量的處理器核心，非常適合執行並行程式。圖形處理單元 (GPU) 能夠累積許多消耗更少資源的核心，而不會影響效率或功率。由於能夠同時處理多個計算，GPU特別適合用於人工智慧和深度學習模型的訓練。這允許訓練的去中心化，進而加快機器學習過程。此外，機器學習計算需要處理海量資料，因此GPU的記憶體頻寬非常理想。

GPU的使用

資料量

為了使用深度學習訓練模型，必須收集大量資料。圖形處理單元 (GPU) 是快速進行資料計算的最佳選擇。資料集的大小與GPU在並行方面的可擴充套件性無關，這使得處理大型資料集比在CPU上快得多。

記憶體頻寬

GPU計算速度更快的一個關鍵原因是它們具有更大的頻寬。記憶體頻寬，特別是GPU提供的記憶體頻寬，對於處理大型資料集是可用且必要的。在處理大型資料集的指令過程中，中央處理單元 (CPU) 上的記憶體可能會迅速耗盡。這是因為現代GPU配備了自己的影片RAM (VRAM)，釋放了CPU的資源以用於其他用途。

最佳化

由於涉及大量工作，密集型神經網路中的並行化非常具有挑戰性。GPU的一個缺點是，最佳化長時間執行的單個操作可能比使用CPU更具挑戰性。

機器學習中GPU硬體的選擇

在深度學習應用中可以使用多種GPU，其中英偉達是行業領導者。您可以選擇在託管工作站、為資料中心設計的GPU或面向消費者的GPU之間進行選擇。

家用GPU

這些GPU是現有系統的廉價附加元件，可以幫助進行模型開發和基本測試。

英偉達Titan RTX具有130萬億次浮點運算的處理能力和24GB的記憶體。它基於英偉達的圖靈GPU架構，具有Tensor和RT Core技術。

英偉達Titan V——根據不同的型號，這款GPU的執行速度為110到125萬億次浮點運算，記憶體為12到32TB。它使用了英偉達Volta架構和Tensor Core。

資料中心的圖形處理單元

這些圖形處理單元 (GPU) 專為大型任務而設計，可以提供伺服器級別的效能。

英偉達A100——它提供624萬億次浮點運算的處理能力和40GB的記憶體。憑藉其多例項GPU (MIG) 技術，它能夠進行大規模擴充套件，用於高效能計算 (HPC)、資料分析和機器學習。

英偉達Tesla P100——英偉達Tesla P100擁有16GB的記憶體，可以處理21萬億次浮點運算。它基於Pascal架構，專為高效能計算和機器學習而設計。

英偉達v100——最新的英偉達v100顯示卡支援高達32GB的記憶體和149 TFLOPS的處理能力。英偉達Volta技術構成了這款產品的基礎，它專為HPC、ML和DL而設計。

深度學習的GPU效能指標

由於分配效率低下，許多深度學習專案的GPU資源僅使用了10%到30%的時間。應跟蹤以下KPI，並將其用於確保您的GPU投資得到有效利用。

圖形處理單元的使用

GPU利用率指標跟蹤圖形處理單元核心的使用頻率。這些度量可用於查明管道滯後的位置以及所需的GPU數量。

溫度和功耗

功耗和溫度等指標使您可以衡量系統的負載，從而更好地預測和管理能源需求。功耗是在PSU處測量的，包括CPU、RAM和其他任何冷卻元件所需的功率。

使用和訪問GPU記憶體

GPU記憶體使用和訪問指標計算記憶體控制器的利用率。這些指標可以幫助您確定最佳訓練批次大小並評估高階機器學習軟體的效能。

結論

GPU是快速學習演算法最安全的選擇，因為大部分資料分析和模型訓練包括簡單的矩陣數學運算，如果並行執行這些計算，則可以顯著提高效能。如果您的神經網路需要使用數十萬個引數進行大量計算，請考慮購買GPU。