LogStash手动全量导入MySQL数据到ES只有一条问题解决

最近在捣鼓ES,使用的是Elasticsearch Head来可视化数据。在通过Logstash 从MySQL中导读数据到ES的时候,明明好几万的数据最后却只有显示一条:

在这里插入图片描述
显示只有一条
在这里插入图片描述

这是logstash配置文件
在这里插入图片描述

后面发现原来是配置中的 document_id的原因,导致每次导入的数据都会被覆盖,以至于只有最后一条数据得以保留。而仍会显示占用很大的内存是因为ES删除数据不是实时同步的。将上述配置去掉之后就能够正常显示了:
在这里插入图片描述


版权声明:本文为Mr_Xyong原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。