在 Python 中開啟檔案時，如何指定緩衝區大小？

---

檔案處理是計算機程式設計領域中無縫資料管理的關鍵方面。在處理檔案時，有時選擇緩衝區大小至關重要，尤其是在處理大型檔案或執行需要有效記憶體利用的某些操作時。由於其整合的檔案處理功能，強大而靈活的程式語言 Python 使開發人員能夠在開啟檔案時自由選擇緩衝區大小。本文將深入探討在 Python 中開啟檔案時如何設定緩衝區大小。為了闡明這些概念，我們將逐步講解它們，並提供一些實際的程式碼示例。

瞭解 Python 中的檔案緩衝

在繼續介紹程式碼示例之前，瞭解 Python 中的檔案緩衝概念至關重要。檔案緩衝是一種控制如何從檔案讀取和寫入資料的技術。預設情況下，Python 使用緩衝 I/O 從檔案讀取和寫入資料，它以塊或塊的形式讀取和寫入資料，而不是逐位元組讀取和寫入資料。

緩衝透過減少所需的系統呼叫次數來提高效率，因為以塊或塊的形式讀取和寫入資料可能效率較低。但是，在某些情況下，控制用於 I/O 操作的緩衝區大小至關重要。

使用 open() 函式指定緩衝

在 Python 中開啟檔案時，設定緩衝區大小的最簡單方法是使用 open() 方法和 buffering 選項。可以透過 buffering 引數中的整數指定緩衝區大小。

示例

在此示例中，我們建立了一個名為 read_file_with_custom_buffer 的函式，它接受兩個引數：檔案路徑和所需的緩衝區大小。使用 open() 方法，我們以讀取模式 ('r') 開啟檔案，並且 buffering 引數用於設定緩衝區的大小。

file.read() 方法將檔案的全部內容讀入 file_contents 變數中。

def read_file_with_custom_buffer(file_path, buffer_size):
   with open(file_path, 'r', buffering=buffer_size) as file:
      file_contents = file.read()
   return file_contents

# Example usage
file_path = 'large_file.txt'
buffer_size = 4096
file_contents = read_file_with_custom_buffer(file_path, buffer_size)
print(file_contents)

輸出

對於某個檔案，輸出如下

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

緩衝模式

使用 buffering 引數定義緩衝區大小時，可以使用不同的值來控制緩衝模式 -

buffering=0 - 此處不使用緩衝。直接讀取和寫入檔案的資料可能會增加系統呼叫的次數。此模式適用於互動式應用程式或處理少量資料的情況。

buffering=1 - 此處使用行緩衝。由於資料以單行大小的塊讀取或寫入檔案，因此每一行都被視為一個單獨的緩衝區。此模式適用於使用行作為處理單元的文字檔案。

buffering>1 - 大於 1 的正整數表示緩衝區的大小（以位元組為單位）。檔案以等於給定緩衝區大小的塊讀取或寫入。此模式適用於管理大型檔案或記憶體使用最佳化。

buffering=-1（預設） - 作業系統和底層 I/O 庫自動選擇緩衝區大小。

即時資料的行緩衝

在處理即時資料流或依賴於基於行的​​資料處理的應用程式時，行緩衝特別有用。讓我們看看如何應用行緩衝 -

示例

在這裡，我們定義了一個名為 process_real_time_data 的函式，它接受檔案的路徑作為輸入。使用 open() 方法，我們以讀取模式 ('r') 開啟檔案，並使用 buffering=1 設定行緩衝。

下一步是使用 for 迴圈遍歷檔案中的每一行。對於每一行，我們執行一個唯一的 process_line() 方法來處理資料。在此示例中，我們僅在使用 strip() 函式去除任何前導或尾隨空格後列印該行。

行緩衝確保逐行處理資料，這使得此方法適用於資料以基於行的塊到達的即時資料流。

def process_real_time_data(file_path):
   with open(file_path, 'r', buffering=1) as file:
      for line in file:
         process_line(line)

def process_line(line):
   # Your custom data processing logic here
   print(line.strip())

# Example usage
file_path = 'real_time_data.log'
process_real_time_data(file_path)

輸出

對於某個日誌檔案，輸出如下

127.0.0.1 - "" - [01/Feb/2016:19:12:22 +0000] "GET
/s3/SmokeS3/2d9482ead66d4e748ff06ea4a0bb98490000 HTTP/1.1" 200 3145728 "-" "aws-sdk-java/1.7.5
Linux/3.14.0-0.clevos.1-amd64 OpenJDK_64-Bit_Server_VM/25.45-b02/1.8.0_45-internal" 50
127.0.0.1 - - [01/Feb/2016:18:00:00 +0000] "POST /cnc/command/dump-log
HTTP/1.1" 200 - "-" "Apache-HttpAsyncClient/4.0.2 (java 1.5)" - 15
127.0.0.1 - - [02/Feb/2016:18:27:46 +0000] "GET /state HTTP/1.1" 200 - "-"
"curl/7.43.0" - 539

使用自定義緩衝寫入檔案

指定緩衝區大小不僅限於讀取檔案；在寫入檔案時它也很有用，尤其是在處理大型資料集時。讓我們探討一個使用自定義緩衝寫入檔案的示例 -

示例

在此程式碼片段中，我們定義了一個名為 write_large_data_to_file 的函式，它接受檔案的路徑、所需的緩衝區大小以及要寫入的資料作為引數。透過使用 open() 方法和 buffering=buffer_size 引數，我們以寫入模式 ('w') 開啟檔案。

使用 file.write() 函式將資料寫入檔案。

透過選擇緩衝區大小，我們可以最佳化大型資料集的寫入過程，從而提高效能和記憶體效率。

def write_large_data_to_file(file_path, buffer_size, data):
   with open(file_path, 'w', buffering=buffer_size) as file:
      file.write(data)

# Example usage
file_path = 'large_output_file.txt'
buffer_size = 8192
data_to_write = "This is a large amount of data that needs to be written to the file."
write_large_data_to_file(file_path, buffer_size, data_to_write)

緩衝二進位制資料

緩衝不僅限於文字資料；它也可以應用於二進位制資料。在處理二進位制檔案時，指定緩衝區大小尤其有利。讓我們看看如何將緩衝與二進位制資料一起使用 -

示例

在此示例中，定義了一個名為 write_binary_data_to_file 的函式，其引數為檔案的路徑、所需的緩衝區大小以及要寫入的二進位制資料。使用 open() 方法，我們以二進位制寫入模式 ('wb') 開啟檔案，並將緩衝區大小指定為 buffering=buffer_size。

使用 file.write() 函式將二進位制資料寫入檔案。請注意，二進位制資料前面有字母“b”，表示它是位元組物件。

在寫入大型二進位制檔案（如影像、音訊或影片檔案）時，緩衝二進位制資料對於最佳化寫入操作至關重要。

def write_binary_data_to_file(file_path, buffer_size, binary_data):
   with open(file_path, 'wb', buffering=buffer_size) as file:
      file.write(binary_data)

# Example usage
file_path = 'binary_output_file.bin'
buffer_size = 4096
binary_data_to_write = b'\x00\x01\x02\x03\x04\x05\x06\x07\x08\x09\x0A'
write_binary_data_to_file(file_path, buffer_size, binary_data_to_write)

結論

總之，Python 允許開發人員在開啟檔案時指定緩衝區大小，從而微調檔案 I/O 操作以滿足其獨特需求。透過管理緩衝區大小，我們可以最佳化記憶體使用、提高速度並更有效地處理大型資料集。Python 中的 buffering 引數和 open() 方法使您可以自由自定義讀取和寫入操作的緩衝行為。

請記住，正確的緩衝區大小取決於正在處理的資料型別、檔案大小以及可用的 RAM 量。仔細選擇緩衝區大小將使您的 Python 應用程式執行得更快、更流暢。無論您是處理文字資料還是二進位制資料，Python 的檔案處理功能和緩衝管理都為您提供了快速處理各種檔案相關任務所需的工具。