有巨大TXT文件，现如今要压缩数据中的两列
cat test*.txt | awk '{print $3, $NF}' >out.txt第一步，先从数据中提取需要的列（比如我这里第3列和最后一列）
sort out.txt | uniq >sortlist.txt
第二步，对第一步的结果进行去重，得到自己想要的结果。
版权声明：本文为joanagle原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。
有巨大TXT文件，现如今要压缩数据中的两列
cat test*.txt | awk '{print $3, $NF}' >out.txt第一步，先从数据中提取需要的列（比如我这里第3列和最后一列）
sort out.txt | uniq >sortlist.txt
第二步，对第一步的结果进行去重，得到自己想要的结果。