在 Python 中打开文件时，如何指定缓冲区大小？

---

文件处理是计算机编程领域中无缝数据管理的关键方面。在处理文件时，有时选择缓冲区大小至关重要，尤其是在处理大型文件或执行需要有效内存利用的某些操作时。由于其集成的文件处理功能，强大而灵活的编程语言 Python 使开发人员能够在打开文件时自由选择缓冲区大小。本文将深入探讨在 Python 中打开文件时如何设置缓冲区大小。为了阐明这些概念，我们将逐步讲解它们，并提供一些实际的代码示例。

了解 Python 中的文件缓冲

在继续介绍代码示例之前，了解 Python 中的文件缓冲概念至关重要。文件缓冲是一种控制如何从文件读取和写入数据的技术。默认情况下，Python 使用缓冲 I/O 从文件读取和写入数据，它以块或块的形式读取和写入数据，而不是逐字节读取和写入数据。

缓冲通过减少所需的系统调用次数来提高效率，因为以块或块的形式读取和写入数据可能效率较低。但是，在某些情况下，控制用于 I/O 操作的缓冲区大小至关重要。

使用 open() 函数指定缓冲

在 Python 中打开文件时，设置缓冲区大小的最简单方法是使用 open() 方法和 buffering 选项。可以通过 buffering 参数中的整数指定缓冲区大小。

示例

在此示例中，我们创建了一个名为 read_file_with_custom_buffer 的函数，它接受两个参数：文件路径和所需的缓冲区大小。使用 open() 方法，我们以读取模式 ('r') 打开文件，并且 buffering 参数用于设置缓冲区的大小。

file.read() 方法将文件的全部内容读入 file_contents 变量中。

def read_file_with_custom_buffer(file_path, buffer_size):
   with open(file_path, 'r', buffering=buffer_size) as file:
      file_contents = file.read()
   return file_contents

# Example usage
file_path = 'large_file.txt'
buffer_size = 4096
file_contents = read_file_with_custom_buffer(file_path, buffer_size)
print(file_contents)

输出

对于某个文件，输出如下

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

缓冲模式

使用 buffering 参数定义缓冲区大小时，可以使用不同的值来控制缓冲模式 -

buffering=0 - 此处不使用缓冲。直接读取和写入文件的数据可能会增加系统调用的次数。此模式适用于交互式应用程序或处理少量数据的情况。

buffering=1 - 此处使用行缓冲。由于数据以单行大小的块读取或写入文件，因此每一行都被视为一个单独的缓冲区。此模式适用于使用行作为处理单元的文本文件。

buffering>1 - 大于 1 的正整数表示缓冲区的大小（以字节为单位）。文件以等于给定缓冲区大小的块读取或写入。此模式适用于管理大型文件或内存使用优化。

buffering=-1（默认） - 操作系统和底层 I/O 库自动选择缓冲区大小。

实时数据的行缓冲

在处理实时数据流或依赖于基于行的​​数据处理的应用程序时，行缓冲特别有用。让我们看看如何应用行缓冲 -

示例

在这里，我们定义了一个名为 process_real_time_data 的函数，它接受文件的路径作为输入。使用 open() 方法，我们以读取模式 ('r') 打开文件，并使用 buffering=1 设置行缓冲。

下一步是使用 for 循环遍历文件中的每一行。对于每一行，我们执行一个唯一的 process_line() 方法来处理数据。在此示例中，我们仅在使用 strip() 函数去除任何前导或尾随空格后打印该行。

行缓冲确保逐行处理数据，这使得此方法适用于数据以基于行的块到达的实时数据流。

def process_real_time_data(file_path):
   with open(file_path, 'r', buffering=1) as file:
      for line in file:
         process_line(line)

def process_line(line):
   # Your custom data processing logic here
   print(line.strip())

# Example usage
file_path = 'real_time_data.log'
process_real_time_data(file_path)

输出

对于某个日志文件，输出如下

127.0.0.1 - "" - [01/Feb/2016:19:12:22 +0000] "GET
/s3/SmokeS3/2d9482ead66d4e748ff06ea4a0bb98490000 HTTP/1.1" 200 3145728 "-" "aws-sdk-java/1.7.5
Linux/3.14.0-0.clevos.1-amd64 OpenJDK_64-Bit_Server_VM/25.45-b02/1.8.0_45-internal" 50
127.0.0.1 - - [01/Feb/2016:18:00:00 +0000] "POST /cnc/command/dump-log
HTTP/1.1" 200 - "-" "Apache-HttpAsyncClient/4.0.2 (java 1.5)" - 15
127.0.0.1 - - [02/Feb/2016:18:27:46 +0000] "GET /state HTTP/1.1" 200 - "-"
"curl/7.43.0" - 539

使用自定义缓冲写入文件

指定缓冲区大小不仅限于读取文件；在写入文件时它也很有用，尤其是在处理大型数据集时。让我们探讨一个使用自定义缓冲写入文件的示例 -

示例

在此代码片段中，我们定义了一个名为 write_large_data_to_file 的函数，它接受文件的路径、所需的缓冲区大小以及要写入的数据作为参数。通过使用 open() 方法和 buffering=buffer_size 参数，我们以写入模式 ('w') 打开文件。

使用 file.write() 函数将数据写入文件。

通过选择缓冲区大小，我们可以优化大型数据集的写入过程，从而提高性能和内存效率。

def write_large_data_to_file(file_path, buffer_size, data):
   with open(file_path, 'w', buffering=buffer_size) as file:
      file.write(data)

# Example usage
file_path = 'large_output_file.txt'
buffer_size = 8192
data_to_write = "This is a large amount of data that needs to be written to the file."
write_large_data_to_file(file_path, buffer_size, data_to_write)

缓冲二进制数据

缓冲不仅限于文本数据；它也可以应用于二进制数据。在处理二进制文件时，指定缓冲区大小尤其有利。让我们看看如何将缓冲与二进制数据一起使用 -

示例

在此示例中，定义了一个名为 write_binary_data_to_file 的函数，其参数为文件的路径、所需的缓冲区大小以及要写入的二进制数据。使用 open() 方法，我们以二进制写入模式 ('wb') 打开文件，并将缓冲区大小指定为 buffering=buffer_size。

使用 file.write() 函数将二进制数据写入文件。请注意，二进制数据前面有字母“b”，表示它是字节对象。

在写入大型二进制文件（如图像、音频或视频文件）时，缓冲二进制数据对于优化写入操作至关重要。

def write_binary_data_to_file(file_path, buffer_size, binary_data):
   with open(file_path, 'wb', buffering=buffer_size) as file:
      file.write(binary_data)

# Example usage
file_path = 'binary_output_file.bin'
buffer_size = 4096
binary_data_to_write = b'\x00\x01\x02\x03\x04\x05\x06\x07\x08\x09\x0A'
write_binary_data_to_file(file_path, buffer_size, binary_data_to_write)

结论

总之，Python 允许开发人员在打开文件时指定缓冲区大小，从而微调文件 I/O 操作以满足其独特需求。通过管理缓冲区大小，我们可以优化内存使用、提高速度并更有效地处理大型数据集。Python 中的 buffering 参数和 open() 方法使您可以自由自定义读取和写入操作的缓冲行为。

请记住，正确的缓冲区大小取决于正在处理的数据类型、文件大小以及可用的 RAM 量。仔细选择缓冲区大小将使您的 Python 应用程序运行得更快、更流畅。无论您是处理文本数据还是二进制数据，Python 的文件处理功能和缓冲管理都为您提供了快速处理各种文件相关任务所需的工具。