问题描述

假设文件夹下有n个csv文件，需要将其合并后存入一个新的csv文件之中。

解决思路

获得文件绝对地址列表（每个元素是一个文件的绝对地址）后，循环读取csv文件，把读入数据暂存到df数据框中。之后把df追加写入的新的csv文件。在下一个循环中重置df并覆盖。这样可以实现内存数据df在每一次循环都放在外存，不会导致内存占用过多出bug。

如果要批量读取csv文件，只需对下面的代码稍加修改。

代码

library(readr)
library(data.table)

dir = "……"  # 搜索指定文件夹下文件，……填写为你的文件夹路径，注意使用/做目录分隔符
#获得csv文件列表
file_list = list.files(path = dir, pattern = "*.csv$",recursive = TRUE,full.names = TRUE)  #获得csv文件列表     
#生成新的存储地址，用于csv文件存储。为dir的上层目录，也可以自行修改paste(dir,"new.csv")部分为绝对路径
store_csv = paste(dir,"new.csv")       

for(i in 1:length(file_list))     #循环绝对地址的列表
{
  df = fread(file = file_list[i],encoding = 'UTF-8')         #读取csv文件
  #如果不存在csv文件则创建，追加写入新csv文件
  write_csv(df,path = store_csv,append = TRUE, col_names = FALSE)              
  
}

特别解释list.files()函数

list.files(path = ".", pattern = NULL, all.files = FALSE,
           full.names = FALSE, recursive = FALSE,
           ignore.case = FALSE, include.dirs = FALSE, no.. = FALSE)

pattern = "*.csv$"表示搜索以.csv后缀名结束的所有文件
full.names 为True，返回全路径；反之只返回文件名