Python大文件切割

""" 例如:一个1T文件,需要切割成10小文件,可采用均匀洒水方式进行切割. 完美运行! """ import ossource_file_path = r'bigfile.csv' target_file_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'splits') target_file_count = 10 target_file_list = [open(target_file_dir + '/%s.csv' % x, 'a+', encoding='utf-8-sig') for x in range(target_file_count)] # print(target_file_list)with open(source_file_path, 'r', encoding='utf-8-sig') as source_file: # 打开原始文件for index, source_file_line in enumerate(source_file): # 读原始文件每一行target_file_index = index % 10 # 任何一个数 %10 产生 0-9的数,刚好为target_file_list下标target_file_list[target_file_index].write(source_file_line)

 

总结

以上是生活随笔为你收集整理的Python大文件切割的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。