Python数据分析,文本数据如何读取?

大哥帮我教下,Python数据分析,文本数据如何读取?
最新回答
夏日梧桐雨

2026-10-25 19:19:26

在Python数据分析中,读取文本数据是数据获取的重要环节。以下是针对不同格式文本数据的读取方法及示例:

一、CSV文件读取

CSV(逗号分隔值)文件是常见的数据存储格式,可通过pandas库高效读取。

  • 基础读取使用pd.read_csv()直接读取文件,默认以逗号为分隔符:

    import pandas as pddf = pd.read_csv('D:/python数据分析/数据/shuju1.csv')
  • 指定分隔符若文件使用其他分隔符(如分号),需通过sep参数指定:

    df = pd.read_csv('data.csv', sep=';')
  • 设置行索引通过index_col指定某列为行索引,提升数据操作效率:

    df = pd.read_csv('data.csv', index_col='id')
二、TXT文件读取

TXT文件可能包含非结构化文本或固定格式数据,需根据分隔符调整读取方式。

  • 通用读取方法使用pd.read_table(),默认以制表符分隔,适合简单文本:

    df = pd.read_table('data.txt')
  • 正则表达式分隔若数据以多个空格或其他复杂符号分隔,可用正则表达式(如s+匹配任意空白字符):

    df = pd.read_table('data.txt', sep='s+')
  • 自定义分隔符针对特定符号分隔的数据(如竖线|):

    df = pd.read_table('data.txt', sep='|')
三、文本数据存储

处理后的数据可保存为CSV或TXT文件,支持多种格式配置。

  • 默认存储使用to_csv()保存数据,默认包含行索引和逗号分隔:

    df.to_csv('output.csv')
  • 自定义分隔符通过sep指定分隔符(如问号?):

    df.to_csv('output.csv', sep='?')
  • 控制索引存储若不需要行索引,设置index=False:

    df.to_csv('output.csv', index=False)
关键注意事项
  1. 文件路径建议使用原始字符串(如r'D:datafile.csv')或正斜杠(/)避免转义字符问题。

  2. 编码格式处理中文或特殊字符时,指定编码(如encoding='utf-8'):

    df = pd.read_csv('data.csv', encoding='utf-8')
  3. 大文件优化对于大型文件,使用chunksize参数分块读取:

    for chunk in pd.read_csv('large_file.csv', chunksize=1000): process(chunk)
示例代码整合import pandas as pd# 读取CSV文件df_csv = pd.read_csv('data.csv', index_col='id')# 读取TXT文件(空格分隔)df_txt = pd.read_table('data.txt', sep='s+')# 存储数据(无行索引)df_csv.to_csv('output.csv', index=False)

通过以上方法,可灵活应对不同格式的文本数据读取与存储需求,为后续的数据清洗和分析奠定基础。