Robots.txt 簡介與指南

---

您是否厭倦了絞盡腦汁地找出網站的哪些部分可以被搜尋引擎和其他機器人訪問？在配置 robots.txt 檔案中的設定時，您是否感到迷茫？不用擔心 - 這篇博文將引導您瞭解 robots.txt 檔案是什麼、它為什麼對 SEO 至關重要以及如何確保正確設定！無論您是 SEO 新手還是隻是想複習一下機器人排除標準，本指南都將提供您需要的一切。所以繫好安全帶，讓我們開始吧！

什麼是 robots.txt？

機器人排除協議，通常稱為“robots.txt”，是一種與搜尋引擎機器人和爬蟲進行通訊的方式。其主要目的是為這些機器人提供有關應索引或爬取網站上哪些頁面的說明。您可以透過將其命名為“robots.txt”來快速找到此檔案，該檔案位於為此類目的而指定的根目錄中。雖然其主要用途圍繞著讓您更多地控制網站內某些方面的爬取方式，但請記住，使用它不會提供增強的安全措施，也不會隱藏任何敏感資訊不被線上公開；相反，它僅用於防止被認為不相關的低質量內容透過將其包含在所述引擎執行的索引過程中而損害現有的排名。

在爬取網站時，搜尋引擎機器人將尋找可能位於其根目錄中的 robots.txt 檔案。如果找到該文件，機器人將讀取它以識別哪些網頁允許掃描，哪些網頁應避免。此文件中提供的指令指定機器人應該爬取或避免爬取哪些頁面；這些說明嚴格遵守其語法格式，並且還必須考慮大小寫敏感性。

為什麼 robots.txt 很重要？

robots.txt 檔案至關重要，原因如下。首先，它使網站所有者能夠更好地控制搜尋引擎機器人如何爬取其網站。透過使用該檔案，網站所有者可以阻止機器人爬取不相關或低質量的頁面，這可能會對他們的搜尋引擎排名產生負面影響。

其次，robots.txt 檔案可以透過減少伺服器負載來幫助提高網站效能。搜尋引擎機器人可能會向網站傳送大量請求，這可能會給伺服器帶來壓力。透過使用 robots.txt 檔案來限制機器人爬取的頁面數量，網站所有者可以減少伺服器負載並提高網站效能。

第三，robots.txt 檔案可以幫助網站所有者保護敏感資訊。雖然該檔案本身不是安全功能，但它可以阻止機器人爬取包含敏感資訊的頁面，例如登入頁面或個人資料。但是，必須注意的是，robots.txt 檔案不能替代其他安全措施，例如密碼保護或 IP 阻止。

robots.txt 的語法

robots.txt 檔案的語法很簡單，並遵循特定的格式。檔案中的每一行都包含一個指令後跟一個值。指令區分大小寫，必須用小寫字母編寫。一些常用的指令包括：

• User-agent - 此指令指定以下指令適用的搜尋引擎機器人的名稱。如果要將指令應用於所有機器人，請使用星號 (*)。

• Disallow - 此指令告訴機器人不要爬取網站上的特定頁面或目錄。指令後的值為頁面或目錄的 URL 路徑。例如，“Disallow: /admin”將阻止機器人爬取 /admin 目錄中的任何頁面。

• Allow - 此指令告訴機器人爬取網站上的特定頁面或目錄。它用於覆蓋任何先前的 Disallow 指令。指令後的值為頁面或目錄的 URL 路徑。

• Crawl-delay - 此指令指定機器人請求網站上的另一個頁面之前應等待的秒數。這對於防止機器人向伺服器傳送過多請求而導致伺服器過載很有用。

下面是一個名為 robots.txt 的文件示例，該文件用於指示搜尋引擎如何與某人的網站互動。

User-agent: * Disallow: /admin/ Disallow: /cart/ Allow: /blog/ Crawl-delay: 10

在這種情況下，User-agent 指令後帶有星號，這意味著所有搜尋引擎機器人均受以下指令約束。Disallow 指令阻止機器人爬取 /admin/ 和 /cart/ 目錄中的任何頁面。Allow 指令允許機器人爬取 /blog/ 目錄中的任何頁面。Crawl-delay 指令告訴機器人每次請求之間等待十秒鐘。

建立 robots.txt 檔案

建立 robots.txt 檔案是一個簡單的過程。開啟文字編輯器並建立一個名為“robots.txt”的新檔案。將必要的指令和值新增到檔案中，儲存它，然後將其上傳到網站的根目錄。需要注意的是，如果 robots.txt 檔案使用不當，也可能產生意想不到的後果。例如，如果網站所有者意外阻止了應爬取和索引的頁面，則可能會對網站的搜尋引擎排名產生負面影響。此外，某些搜尋引擎機器人可能不遵循 robots.txt 檔案中的指令，這意味著該檔案不能保證頁面不會被索引。

因此，擁有網站的個人必須謹慎使用 robots.txt 文件，並在公開發布之前驗證其準確性。應考慮 robots.txt 檔案不能替代其他 SEO 方法，包括增強頁面標題和描述或生成高質量的反向連結以及有價值的內容。

瞭解侷限性

在建立或編輯 robots.txt 檔案之前，應瞭解此 URL 阻止技術的限制。根據您的目標和情況，您可能需要考慮其他方法來確保您的 URL 無法線上找到。

• 特定搜尋引擎可能不支援 robots.txt 限制

爬蟲是否遵循 robots.txt 檔案中的指令取決於爬蟲本身；它們無法強迫爬蟲在您的網站上執行行為。雖然像 Googlebot 和其他一些信譽良好的網路爬蟲會遵守 robots.txt 檔案中的指令，但其他爬蟲可能不會。因此，如果希望保護敏感材料免受數字爬蟲和蜘蛛的侵害，建議使用其他阻塞方法。

• 不同的爬蟲理解語法的程度各不相同

信譽良好的網路爬蟲會遵守 robots.txt 檔案中的指令，儘管不同的爬蟲可能會有不同的解釋。為了避免混淆不同的網路爬蟲，在向它們發出指令時，您應該瞭解正確的語法。

• 即使被 robots.txt 阻止，頁面仍可能被索引，前提是連結到其他網站

即使 robots.txt 檔案阻止了黑名單 URL，Google 仍可能找到並對其進行索引，因為它可能連結到其他網站。因此，URL 地址以及可能的其他公開可訪問資料（例如指向網站的連結中的錨文字）可能會繼續顯示在 Google 搜尋結果中。使用 noindex 元標記或響應標頭、對伺服器上的檔案進行密碼保護或完全刪除頁面以防止您的 URL 出現在 Google 搜尋結果中。