ChatGPT 如何工作？

人工智慧 (AI) 已成為我們生活、工作以及與周圍世界互動不可或缺的一部分。在 AI 領域，存在多個垂直領域，例如自然語言處理 (NLP)、計算機視覺、機器學習、機器人技術等等。其中，NLP 已成為一個關鍵的研究和開發領域。由 OpenAI 開發的 ChatGPT 是 NLP 進步的最佳例子之一。

閱讀本章，瞭解 ChatGPT 的工作原理、其經歷的嚴格訓練過程以及其生成回覆的機制。

什麼是 GPT？

ChatGPT 的核心是強大的 GPT 技術，它代表 **“生成型預訓練變換器”**。它是由 OpenAI 開發的一種 AI 語言模型。GPT 模型旨在理解和生成自然語言文字，幾乎與人類一樣。

下圖總結了 GPT 的主要要點：

讓我們分解 GPT 的每個組成部分：

簡單來說，“生成型”指的是模型根據從訓練資料中學習到的模式生成新內容（如文字、影像或音樂）的能力。在 GPT 的背景下，它生成聽起來像人類寫的原創文字。

預訓練涉及在一個大型資料集上訓練模型。在這個階段，模型基本上學習資料中的關係。對於 GPT 而言，該模型使用無監督學習在來自書籍、文章、網站等的巨量文字上進行預訓練。這有助於 GPT 學習預測序列中的下一個單詞。

變換器是 GPT 模型中使用的深度學習架構。變換器使用一種稱為自注意力機制的機制來權衡序列中不同單詞的重要性。它使 GPT 能夠理解單詞之間的關係，並使其能夠產生更像人類的輸出。

ChatGPT 使用 GPT 架構的變體進行訓練。以下是訓練 ChatGPT 的階段：

ChatGPT 在網際網路上大量收集的文字資料（例如書籍、文章、網站和社交媒體）上進行了預訓練。此階段涉及訓練模型根據序列中所有之前的單詞來預測文字序列中的下一個單詞。

此預訓練步驟幫助模型學習自然語言的統計特性，並發展對人類語言的一般理解。

預訓練後，ChatGPT 被微調用於對話式 AI 任務。此階段涉及在包含對話記錄或聊天日誌等資料的小型資料集上進一步訓練模型。

在微調期間，模型使用遷移學習等技術來學習生成與使用者查詢相關的上下文響應。

在訓練過程中，模型根據響應一致性、相關性和流暢性等各種指標進行評估。根據這些評估，可以迭代訓練過程以提高效能。

ChatGPT 的回覆生成過程使用神經網路架構、注意力機制和機率建模等元件。藉助這些元件，ChatGPT 可以生成與上下文相關的快速回復。

讓我們瞭解 ChatGPT 回覆生成過程中的步驟：

ChatGPT 的回覆生成過程首先將輸入文字編碼為數字格式，以便模型可以處理它。此步驟使用嵌入將單詞或子詞轉換為模型捕獲使用者輸入語義資訊。

現在將編碼的輸入文字饋送到預訓練的 ChatGPT 模型，該模型透過多層變換器塊進一步處理文字。如前所述，變換器塊使用自注意力機制來權衡每個標記相對於其他標記的重要性。這有助於模型上下文理解輸入。

預處理輸入文字後，ChatGPT 現在會根據序列中下一個單詞生成詞彙表上的機率分佈。此機率分佈包含每個單詞作為序列中的下一個單詞，給定所有之前的單詞。

最後，ChatGPT 使用此機率分佈來選擇下一個單詞。然後將此單詞新增到生成的回覆中。此回覆生成過程持續進行，直到滿足預定義的停止條件或生成序列結束標記。

在本章中，我們首先解釋了 ChatGPT 的基礎，它是一種名為生成型預訓練變換器 (GPT) 的 AI 語言模型。

然後，我們解釋了 ChatGPT 的訓練過程。**語言建模、微調**和**迭代改進**是其訓練過程中的階段。

我們還簡要討論了 ChatGPT 如何生成與上下文相關的快速回復。它包括**編碼、語言理解、機率分佈**和**取樣**，我們在文中進行了詳細討論。

ChatGPT 透過整合 GPT 架構、嚴格的訓練過程和先進的響應生成機制，代表了 AI 驅動對話代理的重大進步。

列印頁面