我一直在做一些涉及读取CSV文件的工作,而我一直在使用OpenCSV ,而我的最初方法是逐行读取文件,解析内容并将其保存到地图列表中。
当文件的内容适合内存时,此方法有效,但对于较大的文件来说是个问题,在这种情况下,我需要流式传输文件并逐行处理每一行,而不是在加载文件后处理所有行。
最初,我在totallazy的Strings#lines上编写了一个变体来做到这一点,尽管能够流传输文件,但我在某个地方犯了一个错误,这意味着堆上的映射数一直在增加。
在花了几个小时尝试修复此问题之后, Michael建议使用迭代器会更容易些,而我最终得到以下代码:
public class ParseCSVFile {
public static void main(String[] args) throws IOException
{
final CSVReader csvReader = new CSVReader( new BufferedReader( new FileReader( "/path/to/file.csv" ) ), '\t' );
final String[] fields = csvReader.readNext();
Iterator<Map<String, Object>>() lazilyLoadedFile = return new Iterator<Map<String, Object>>()
{
String[] data = csvReader.readNext();
@Override
public boolean hasNext()
{
return data != null;
}
@Override
public Map<String, Object> next()
{
final Map<String, Object> properties = new HashMap<String, Object>();
for ( int i = 0; i < data.length; i++ )
{
properties.put(fields[i], data[i]);
}
try
{
data = csvReader.readNext();
}
catch ( IOException e )
{
data = null;
}
return properties;
}
@Override
public void remove()
{
throw new UnsupportedOperationException();
}
};
}
}
尽管此代码有效,但它并不是我编写过的最具可读性的函数,因此,欢迎提供有关如何以更简洁的方式执行此操作的任何建议。
翻译自: https://www.javacodegeeks.com/2013/10/java-incrementally-readstream-a-csv-file.html