Python人工智慧——自然語言處理

---

自然語言處理 (NLP) 指的是利用自然語言（例如英語）與智慧系統進行交流的人工智慧方法。

當您希望機器人等智慧系統按照您的指令執行操作時，或者當您想從基於對話的臨床專家系統中聽到決策時，就需要進行自然語言處理。

NLP 領域涉及使計算機能夠使用人類使用的自然語言執行有用的任務。NLP 系統的輸入和輸出可以是：

• 語音
• 書面文字

NLP 的組成部分

在本節中，我們將學習 NLP 的不同組成部分。NLP 有兩個組成部分，如下所述：

自然語言理解 (NLU)

它包括以下任務：

• 將給定的自然語言輸入對映到有用的表示形式。

• 分析語言的不同方面。

自然語言生成 (NLG)

它是從某種內部表示生成有意義的短語和句子的過程。它包括：

• 文字規劃——這包括從知識庫中檢索相關內容。

• 句子規劃——這包括選擇所需的單詞，形成有意義的短語，設定句子的語氣。

• 文字實現——這是將句子計劃對映到句子結構。

NLU 的難點

NLU 形式和結構非常豐富；然而，它也存在歧義。歧義可以存在於不同的層面：

詞彙歧義

它處於非常初級的層面，例如詞級。例如，將“board”一詞視為名詞還是動詞？

句法層面的歧義

一個句子可以以不同的方式解析。“He lifted the beetle with red cap.”——他是用帽子舉起甲蟲還是舉起一隻戴著紅帽子的甲蟲？

指稱歧義

使用代詞指代某事物。例如，麗瑪去了高麗家。她說：“我很累。”——到底是誰累了？

NLP術語

現在讓我們看看 NLP 術語中的一些重要術語。

• 音系學——它是系統地組織聲音的研究。

• 形態學——它是從原始有意義的單元構建單詞的研究。

• 語素——它是語言中意義的基本單位。

• 句法——它指的是安排單詞以構成句子。它還包括確定單詞在句子和短語中的結構作用。

• 語義學——它關注單詞的含義以及如何將單詞組合成有意義的短語和句子。

• 語用學——它處理在不同情況下使用和理解句子以及句子的解釋如何受到影響。

• 語篇——它處理緊接前面的句子如何影響下一個句子的解釋。

• 世界知識——它包括關於世界的常識。

NLP 的步驟

本節介紹 NLP 的不同步驟。

詞法分析

它包括識別和分析單詞的結構。一種語言的詞典是指該語言中單詞和短語的集合。詞法分析是將整塊文字分成段落、句子和單詞。

句法分析（解析）

它包括分析句子中的單詞的語法並以顯示單詞之間關係的方式排列單詞。例如，“The school goes to boy”這樣的句子會被英語句法分析器拒絕。

語義分析

它從文字中提取確切的含義或字典含義。文字會被檢查其是否有意義。這是透過將句法結構和物件對映到任務域來完成的。語義分析器會忽略諸如“熱冰淇淋”之類的句子。

語篇整合

任何句子的含義都取決於其之前的句子的含義。此外，它還會影響其緊隨其後的句子的含義。

語用分析

在此過程中，會重新解釋所說的內容的實際含義。它包括推匯出需要現實世界知識的語言方面。