2026-10-25 19:19:26
在Python数据分析中,读取文本数据是数据获取的重要环节。以下是针对不同格式文本数据的读取方法及示例:
一、CSV文件读取CSV(逗号分隔值)文件是常见的数据存储格式,可通过pandas库高效读取。
基础读取使用pd.read_csv()直接读取文件,默认以逗号为分隔符:
import pandas as pddf = pd.read_csv('D:/python数据分析/数据/shuju1.csv')指定分隔符若文件使用其他分隔符(如分号),需通过sep参数指定:
df = pd.read_csv('data.csv', sep=';')设置行索引通过index_col指定某列为行索引,提升数据操作效率:
df = pd.read_csv('data.csv', index_col='id')TXT文件可能包含非结构化文本或固定格式数据,需根据分隔符调整读取方式。
通用读取方法使用pd.read_table(),默认以制表符分隔,适合简单文本:
df = pd.read_table('data.txt')正则表达式分隔若数据以多个空格或其他复杂符号分隔,可用正则表达式(如s+匹配任意空白字符):
df = pd.read_table('data.txt', sep='s+')自定义分隔符针对特定符号分隔的数据(如竖线|):
df = pd.read_table('data.txt', sep='|')处理后的数据可保存为CSV或TXT文件,支持多种格式配置。
默认存储使用to_csv()保存数据,默认包含行索引和逗号分隔:
df.to_csv('output.csv')自定义分隔符通过sep指定分隔符(如问号?):
df.to_csv('output.csv', sep='?')控制索引存储若不需要行索引,设置index=False:
df.to_csv('output.csv', index=False)文件路径建议使用原始字符串(如r'D:datafile.csv')或正斜杠(/)避免转义字符问题。
编码格式处理中文或特殊字符时,指定编码(如encoding='utf-8'):
df = pd.read_csv('data.csv', encoding='utf-8')大文件优化对于大型文件,使用chunksize参数分块读取:
for chunk in pd.read_csv('large_file.csv', chunksize=1000): process(chunk)通过以上方法,可灵活应对不同格式的文本数据读取与存储需求,为后续的数据清洗和分析奠定基础。