BufferedReader方式的关键代码
通过桥接器InputStreamReader将FileInputStream文件字节输入流转为字符流
由BufferedReader设置缓冲区并包装InputStreamReader的read()操作，调用readLine()方法逐行读取。
// 创建path文件的文件字节输入流
FileInputStream fileInputStream = new FileInputStream(path);
// 创建从字节流到字符流的桥接器
InputStreamReader isr = new InputStreamReader(fileInputStream, "UTF-8");
// 创建一个使用指定大小输入缓冲区的缓冲字符输入流，用于包装InputStreamReader的read()操作
BufferedReader reader = new BufferedReader(isr, 5*1024*1024);
// 通过reader.readLine()逐行读取
while ((tem = reader.readLine()) != null) {
// 处理读取的数据
}
// 关闭相关流
reader.close();
isr.close();
fileInputStream.close();
FileChannel方式的关键代码
基于文件通道的nio方式，判断是否含有换行符，从而实现逐行读取数据。
可以考虑通过fileChannel.position(startIndex);将该方式扩展为多线程操作，此时暂时不再展开。
// 分配一个新的字节缓冲区。
ByteBuffer rbuf = ByteBuffer.allocate(1024);
// 创建path文件的文件字节输入流
FileInputStream fileInputStream = new FileInputStream(path);
// 获取通道
FileChannel fileChannel = fileInputStream.getChannel();
// 获取此通道文件的当前大小，作为文件结束位置
long endIndex = fileChannel.size();
// 当前处理字节所在位置
long endLineIndex = startIndex;
// 用于判断数据是否读取完
boolean isEnd = false;
// 换行符，目前需手动指定
int CF = "\n".getBytes()[0];
// 循环读取通道中的数据并放入rbuf中
while (fileChannel.read(rbuf) != -1) {
// 创建与rbuf容量一样大的数组
byte[] rbyte = new byte[rbuf.position()];
// 读/写指针position指到缓冲区头部,并设置了最大读取长度
rbuf.flip();
// 将rbuf中的数据传输到rbyte中
rbuf.get(rbyte);
// 每行的起始位下标，相当于当前所读取到的byte数组
int startNum = 0;
// 循环读取rbyte，判断是否有换行符
for (int i = 0; i
endLineIndex++;
// 当存在换行符时
if (rbyte[i]== CF) {
// 创建临时数组用于保存整行数据
byte[] line = new byte[temp.length + i - startNum +1];
// 将上次读取剩下的部分存入line
System.arraycopy(temp, 0, line, 0, temp.length);
// 将读取到的当前rbyte中的数据追加到line
System.arraycopy(rbyte,startNum, line, temp.length, i- startNum +1);
// 更新下一行起始位置
startNum = i + 1;
// 初始化temp数组
temp = new byte[0];
// 处理数据,此时line即为要处理的一整行数据
String lineStr = new String(line,ENCODE);
// 略过具体处理步骤
// ......
}
}
// 说明rbyte最后还剩不完整的一行
if (startNum < rbyte.length) {
byte[] temp2 = new byte[temp.length+rbyte.length - startNum];
System.arraycopy(temp,0 ,temp2, 0, temp.length);
System.arraycopy(rbyte, startNum, temp2, temp.length, rbyte.length - startNum);
temp = temp2;
}
rbuf.clear();
}
// 兼容最后一行没有换行的情况
if (temp.length>0) {
// 处理数据,此时line即为要处理的一整行数据
String lineStr = new String(temp,ENCODE);
// 略过具体处理步骤
// ......
}
// 关闭通道
fileChannel.close();
参考资料
java读取大文件并添加入库，按行读取
使用 java nio 实现按行读写文件