超立方體互連網路以n維超立方體結構為模型。n維超立方體(n階超立方體)定義為一個無向圖，它具有2ⁿ個頂點，標記為0到2ⁿ - 1，當且僅當它們的地址的二進位制表示只相差一位時，一對頂點之間存在一條邊。在一個基於超立方體的多處理器系統中，處理單元位於圖的頂點上。圖的邊表示處理器之間的點對點通訊鏈路。在4維超立方體中，每個處理器連線到其他四個處理器。在n維超立方體中，每個處理器具有…… 閱讀更多

靜態（固定）互連網路的特點是處理器之間具有固定的路徑，單向或雙向。可以識別出兩種型別的靜態網路。它們是完全連線網路 (CCN) 和有限連線網路 (LCN)。完全連線網路在一個完全連線網路 (CCN) 中，每個節點都連線到網路中的所有其他節點。完全連線網路保證訊息從任何源節點到任何目標節點的快速傳遞（只需要遍歷一個鏈路）。由於網路中的每個節點都連線到其他每個節點，因此節點之間訊息的路由變得非常簡單。然而，完全連線網路是…… 閱讀更多

阻塞網路阻塞網路具有這樣的特性：在存在一對輸入/輸出之間當前建立的互連的情況下，對兩個任意未使用的輸入和輸出之間的新互連請求的到達可能或不可能。阻塞網路的示例包括 Omega、Banyan、Shuffle-Exchange 和 Baseline。例如，考慮圖中所示的 SEN。在輸入 101 和輸出 011 之間存在連線的情況下，輸入 100 和輸出 001 之間的連線是不可能的。這是因為從 101 到 011 的連線使用了從第三個交換機開始的…… 閱讀更多

在這種型別的網路中，處理器和記憶體模組之間的連線是使用簡單的交換機進行的。有三種基本的互連拓撲結構，例如交叉開關、單級和多級。交叉開關網路交叉開關網路定義了對受限單匯流排網路的另一個極端。雖然單匯流排只能提供單個連線，但交叉開關可以同時在其所有輸入和所有輸出之間提供連線。交叉開關在任何兩條水平或垂直擴充套件到交換機內部的線交叉處包含一個交換單元 (SE)。單級網路在這種情況下，在輸入…… 閱讀更多

MIMD代表多指令多資料流。它包括由多個處理器和多個記憶體模組透過某種互連網路連線而成的並行架構。它們分為兩種主要型別：共享記憶體或訊息傳遞。共享記憶體系統通常透過所有處理器共享的全域性記憶體來完成處理器之間的協調。這些通常是透過匯流排和快取記憶體控制器進行通訊的伺服器系統。匯流排/快取架構減輕了對昂貴的多分支記憶體和介面電路的需求，以及在開發應用程式軟體時採用訊息傳遞範例的需求。由於對共享記憶體的訪問是平衡的，因此這些…… 閱讀更多

SIMD 代表單指令多資料流。SIMD 平行計算模型包括兩個部分：一個普通的馮·諾依曼風格的前端計算機和一個如圖所示的處理器陣列。處理器陣列是相同同步處理單元的集合，足以同時對各種資料執行相同的操作。陣列中的每個處理器都有一小部分本地記憶體，分散式資料在並行處理時駐留在其中。處理器陣列連線到前端的記憶體匯流排，以便前端可以隨機建立本地…… 閱讀更多

向量運算元在主記憶體和向量暫存器之間的流動通常是透過各種訪問路徑進行流水線的。在本節中，我們指定向量運算元並描述來自交錯記憶體模組的三種向量訪問方案，這些方案允許重疊記憶體訪問。向量運算元規範 - 向量運算元可以具有任意長度。向量元素不一定儲存在連續的記憶體區域中。例如，矩陣中的條目可以按行優先儲存或按列優先儲存。矩陣的每一行、每一列或對角線都可以用作向量。當行元素以單位步長儲存在連續位置時，列…… 閱讀更多

向量是一組標量資料元素，所有這些元素都是相同型別，儲存在記憶體中。向量元素是有序的，在連續元素之間有一個永久的定址增量，稱為步長。向量處理器是一組硬體資源，例如向量暫存器、功能流水線、處理單元和暫存器計數器，用於執行向量運算。當算術或邏輯運算用於向量時，就會出現向量處理。它與對單個數據或一對資料進行運算的標量處理不同。從標量程式碼到向量程式碼的轉換稱為向量化。向量指令型別有各種…… 閱讀更多

並行演算法是專門為平行計算機設計的演算法。如果未施加物理約束或通訊開銷，則理想的並行演算法是為 PRAM 模型編寫的演算法。在現實世界中，只有當演算法能夠以經濟有效的方式在物理機器上實現時，它才被認為是高效的。從這個意義上講，所有機器可實現的演算法都必須依賴於體系結構。這意味著不能忽略通訊開銷和體系結構約束的影響。並行演算法的特性並行演算法有各種特性，如下所示：確定性與非確定性 - 只有確定性演算法才能在真實機器上實現。我們的研究是…… 閱讀更多

圖中模擬了一個分散式記憶體多計算機系統。該系統包含多個被稱為節點的計算機，它們透過訊息傳遞網路相互關聯。每個節點都是一個獨立的計算機，包括一個處理器、本地記憶體，有時還連線磁碟或I/O外設。訊息傳遞網路支援節點之間的點對點靜態連線。所有本地記憶體都是私有的，僅供本地處理器使用。對於這種方法，傳統的巨型計算機被稱為無遠端記憶體訪問(NORMA)機器。這種狀況將在未來具有分散式共享記憶體的多計算機中不斷被改變。節點間通訊是透過靜態連線網路傳遞訊息來實現的。多計算機發展歷程… 閱讀更多