一、编码问题
在处理文件时，常常会遇到编码问题。就像我们常听到的Unicode、UTF-8、GBK等编码方式，它们在不同的场景下有不同的应用。如果用一个编码方式打开一个用另一种编码方式保存的文件，就会出现乱码或者解析错误的情况。
下面是一个示例，将不同编码方式下的汉字“测试”写入同一个txt文件中：
#coding:utf-8
import codecs
str1 = u"测试".encode('utf-8')
str2 = u"测试".encode('gbk')
str3 = u"测试".encode('unicode_escape')
with codecs.open('encode.txt', 'w', 'utf-8') as f:
f.write(str1)
f.write(str2)
f.write(str3)
如果直接读取这个文件：
#coding:utf-8
import codecs
with codecs.open('encode.txt', 'r', 'utf-8') as f:
lines = f.readlines()
print(lines)
输出结果就会是这样的：[b’\xe6\xb5\x8b\xe8\xaf\x95′, b’\xb2\xe2\xca\xd4′, b’\\u6d4b\\u8bd5′]，这个结果显然无法被解析成我们所需要的数据，因为在写入和读取时使用的编码方式不一致。
解决这个问题的方法是在读入文件之前要知道文件的编码方式，然后指定编码方式来读取文件。可以使用chardet等工具来自动检测文件的编码方式，例如：
#coding:utf-8
import codecs
import chardet
with open('encode.txt', 'rb') as f:
data = f.read()
encoding = chardet.detect(data)['encoding']
print(encoding)
with codecs.open('encode.txt', 'r', encoding) as f:
lines = f.readlines()
print(lines)
运行后输出结果为：utf-8。可以看到，我们使用了chardet自动检测编码方式，并在读取文件时指定了该编码方式，这样就能读取正确的数据了。
二、数据格式问题
在读取文件时，还需要考虑数据格式的问题。有些数据是固定格式的，比如csv文件，每行数据都是由逗号分隔的固定格式，而某些文本数据可能是自由格式的，数据之间没有规定的分隔符，无法以固定格式解析。
下面是一个示例，将两条数据以不同的方式写入同一个文件中：
#coding:utf-8
with open('format.txt', 'w') as f:
f.write('data1: 1 2 3\n')
f.write('data2: 4 5 6\n')
如果我们试图以“空格”作为分隔符来解析这些数据：
#coding:utf-8
with open('format.txt', 'r') as f:
lines = f.readlines()
for line in lines:
data = line.strip().split(' ')
print(data)
输出结果为：[‘data1:’, ‘1’, ‘2’, ‘3’], [‘data2:’, ‘4’, ”, ”, ‘5’, ”, ‘6’]。可以看到，第二条数据由于数据之间的空格数不固定，解析的结果是不正确的。
正确的方法是在写入数据时就要规范化数据格式，比如在数据之间添加固定分隔符，或者统一数据长度等。如果无法进行规范化处理，则需要根据实际情况编写针对特定数据格式的解析器，例如：
#coding:utf-8
import re
with open('format.txt', 'r') as f:
lines = f.readlines()
for line in lines:
match = re.match(r'data(\d+): (\d+)\s+(\d+)\s+(\d+)', line.strip())
if match:
data = match.groups()
print(data)
这个示例用正则表达式匹配了数据格式，然后提取出了实际数据，输出结果为：(‘1’, ‘2’, ‘3’), (‘2’, ‘4’, ‘5’, ‘6’)。
三、数据结构问题
在读取文件时，还需要考虑数据结构的问题。如果文件中的数据是以二进制或者其他不规则结构保存的，就需要对数据进行解析，才能得到正确的数据。
下面是一个示例，将一个字典对象写入二进制文件中：
#coding:utf-8
import pickle
data = {'a': 1, 'b': 2, 'c': 'hello'}
with open('struct.dat', 'wb') as f:
pickle.dump(data, f)
如果我们直接读取这个文件：
#coding:utf-8
import pickle
with open('struct.dat', 'rb') as f:
data = pickle.load(f)
print(data)
输出结果为：{‘a’: 1, ‘b’: 2, ‘c’: ‘hello’}，这个数据已经被正确地读取了。
另外，如果读取到的数据需要进一步处理，可以将读取到的数据保存成中间文件，然后再对这个中间文件进行处理，这样能够更加方便有效地进行数据处理。
四、文件本身问题
在读取文件时，还需要考虑文件本身的问题。比如，文件不存在、文件损坏、文件权限等问题都可能导致读取文件失败。
下面是一个示例，演示了读取文件时发生文件不存在的情况：
#coding:utf-8
import os
path = 'not_exist.txt'
if os.path.exists(path):
with open(path, 'r') as f:
lines = f.readlines()
print(lines)
else:
print('File not exists.')
如果文件不存在，就会输出提示信息“File not exists.”。
针对文件本身问题，需要在读取文件之前进行判断，以避免出现不必要的错误。
原创文章，作者：USHCH，如若转载，请注明出处：https://www.506064.com/n/332748.html
微信扫一扫 
支付宝扫一扫 