详解read_csv函数

UQPAT • 2025-01-20 14:11 • 编程

一、概述

read_csv函数是pandas库中的一个重要函数，用于从csv文件、文本文件和URL中读取数据，并返回一个DataFrame对象。该函数具有许多参数和选项，可以根据特定需求进行配置。

下面将从文件路径、分隔符、列名、缺失值、数据类型和内存使用等方面对read_csv函数做详细阐述。

read_csv函数从文件中读取数据，首先需要指定文件路径。文件路径可以是本地文件，也可以是远程URL。

例如：从本地文件中读取名为file.csv的数据文件

import pandas as pd
df = pd.read_csv('file.csv')

若读取远程URL数据，可直接将URL作为文件路径传递给read_csv函数

url = 'https://example.com/file.csv'
df = pd.read_csv(url)

csv文件通常使用逗号或制表符分隔数据，但也可能使用其他字符作为分隔符。在read_csv函数中，sep参数可以指定数据的分隔符。

df = pd.read_csv('file.csv', sep=';')

上述代码将文件中的数据以分号作为分隔符进行读取。

从csv文件中读取数据时，往往需要指定每个列的名称。在read_csv函数中，header参数用于指定是否将第一行作为列名，若不将第一行作为列名则需要使用names参数手动指定列名。

例如：从文件中读取无列名的数据并手动指定列名

df = pd.read_csv('file.csv', header=None, names=['col1', 'col2', 'col3'])

在数据处理中，经常遇到缺失值问题，比如csv文件中的某些值是空值或NaN。在read_csv函数中，可以使用na_values参数指定哪些值被认为是缺失值，将其转换为NaN并进行处理。

例如：从文件中读取空值被认为是缺失值，将其转换为NaN

df = pd.read_csv('file.csv', na_values=['', 'null', 'n/a'])

在读取数据时，read_csv函数会自动猜测每个列的数据类型。但是，如果需要将某列转换为特定的数据类型，可以使用dtype参数手动指定数据类型。

df = pd.read_csv('file.csv', dtype={'col1': 'int', 'col2': 'str', 'col3': 'float'})

上述代码将列’col1’的数据类型指定为整数，将列’col2’的数据类型指定为字符串，将列’col3’的数据类型指定为浮点数。

当读取大型csv文件时，可能会导致内存占用过高的问题。为了解决这个问题，read_csv函数提供了一些参数用于控制内存使用。

例如：使用chunksize参数分块读取，以节省内存空间

chunk_iter = pd.read_csv('huge_file.csv', chunksize=100000)
df = pd.concat(chunk_iter, ignore_index=True)

上述代码将文件’huge_file.csv’分成大小为100000的块逐块读取，最后将所有块合并成一个DataFrame对象。

原创文章，作者：UQPAT，如若转载，请注明出处：https://www.506064.com/n/332078.html