logstash读取Oracle导入到elasticsearch中

1.下载

• 下载logstash
• 下载ojdbc6.jar

2.配置文件

• 解压好的logstash文件目录下新建文件driver，把ojdbc6.jar放入
• 在解压好的logstash文件目录下新建oracle.conf，编辑文件

input {
        jdbc {
                #驱动包路径
                jdbc_driver_library => "F:/logstash/logstash-7.15.1/dirver/ojdbc6.jar"
                #驱动类
                jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
                #jdbc url
                jdbc_connection_string => "jdbc:oracle:thin:@192.168.2.12:1522/mhdb"
                jdbc_user => "账号"
                jdbc_password => "密码"
                schedule => "*/5 * * * *"
				# 如果不设置，会从头开始再查询一次
				clean_run => "false"
				# 记录上次执行结果, 将会把上次执行到的 tracking_column 字段的值记录下来,保存到 last_run_metadata_path 指定的文件中
				record_last_run => "true"
				last_run_metadata_path => "F:/logstash/logstash-7.15.1/logs/last_id"
                statement => "select * from 表名 t WHERE ID > :sql_last_value"
                #增量标识字段名
                tracking_column => "ID"
                #是否使用字段值作为增量标识
                use_column_value => true
                #源表字段名导入ES后是否忽略大小写
                lowercase_column_names=> false
                #分页
                jdbc_paging_enabled => "true"
                #每页数据量
                jdbc_page_size => "10000"
                #默认时区
                jdbc_default_timezone => "UTC"
        }
}
output{
        elasticsearch {
                hosts =>["http://127.0.0.1:9200"]
                index => "小写表名"
                document_type => "小写表名"
                document_id => "%{ID}"
        }
}

3.执行命令

在logstash文件目录下执行

"bin/logstash.bat" -f ./oracle.conf  -w 3