Java:逐步读取/流式传输CSV文件

我一直在做一些涉及读取CSV文件的工作,而我一直在使用OpenCSV ,而我的最初方法是逐行读取文件,解析内容并将其保存到地图列表中。

当文件的内容适合内存时,此方法有效,但对于较大的文件来说是个问题,在这种情况下,我需要流式传输文件并逐行处理每一行,而不是在加载文件后处理所有行。

最初,我在totallazy的Strings#lines上编写了一个变体来做到这一点,尽管能够流传输文件,但我在某个地方犯了一个错误,这意味着堆上的映射数一直在增加。

在花了几个小时尝试修复此问题之后, Michael建议使用迭代器会更容易些,而我最终得到以下代码:

public class ParseCSVFile {
    public static void main(String[] args) throws IOException
    {
        final CSVReader csvReader = new CSVReader( new BufferedReader( new FileReader( "/path/to/file.csv" ) ), '\t' );
        final String[] fields = csvReader.readNext();

        Iterator<Map<String, Object>>() lazilyLoadedFile = return new Iterator<Map<String, Object>>()
        {
            String[] data = csvReader.readNext();

            @Override
            public boolean hasNext()
            {
                return data != null;
            }

            @Override
            public Map<String, Object> next()
            {
                final Map<String, Object> properties = new HashMap<String, Object>();
                for ( int i = 0; i < data.length; i++ )
                {
                    properties.put(fields[i], data[i]);
                }

                try
                {
                    data = csvReader.readNext();
                }
                catch ( IOException e )
                {
                    data = null;
                }

                return properties;
            }

            @Override
            public void remove()
            {
                throw new UnsupportedOperationException();
            }
        };
    }	
}

尽管此代码有效,但它并不是我编写过的最具可读性的函数,因此,欢迎提供有关如何以更简洁的方式执行此操作的任何建议。


翻译自: https://www.javacodegeeks.com/2013/10/java-incrementally-readstream-a-csv-file.html