solr 整合java oracle_Solr7使用Oracle数据源导入+中文分词

安装目录假设为#solr_home,本文的#solr_home为apps/svr/solr

一、Oracle数据导入

1. 在#solr_home/server/solr下新建文件夹,假设为mjd;

2. 将#solr_home/server/solr/configsets/_default下的conf文件夹拷贝到#solr_home/server/solr/mjd;

3.打开mjd/conf下的solrconfig.xml添加节点;

4. 同样上面那个文件,增加节点;

data-config.xml

5. 下载ojdbc6.jar到#solr_home/contrib/dataimporthandler/中,我是在http://vdisk.weibo.com/s/z8ZZMoqsgpNFH中下载的;

6. 在#solr_home/server/solr/mjd/conf下新建文件data-config.xml,打开,将下列配置复制;

deltaImportQuery="SELECT * FROM userinfo where spuid='${dih.delta.spuid}'"deltaQuery="select bless_id from bless where bless_time > '${dataimporter.last_index_time}'">

7. 进入web管理页面 localhost:8983/solr/#,点击Core Admin菜单,点击AddCore,将name和instanceDir设置为刚才我们第一步新建的文件夹名称;

8. 在菜Thread Dump下方有一个下拉框,选择刚新建的Core,点击Schema 里的Add field菜单,name输入刚才配置的查询语句中的某个字段(假设该字段为字符串类型),点击field type,选择text_gerneral,点击下面的添加按钮;

9. 回到左侧菜单,选择Dataimport,点击Execute菜单;

10. 回到左侧菜单,选择Query,点击Execute Query,如果右侧查询出数据,恭喜你,你已经配置好了;

可根据第八步继续添加自己想要的字段,重复9 10步骤;

二、中文分词

Solr7之前好像大部分使用的是IK中文分词器,但是我试了好几个方法,都没有成功,而且跟网上经验描述的目录结构也很多不一样,比如大部分说要修改Schema.xml文件,可是后来发现Solr7其实已经不使用Schema了,而是使用的Managed-Schema文件,

而且这里有个问题就是,当重启Solr服务器后,项目中的这个文件会被覆盖掉,目前还没有找到是从哪里拷贝过来的模板。进入正题:

1. 进入#solr_home/contrib/analysis-extras/lucene-libs,找到lucene-analyzers-smartcn-7.0.1.jar,复制到#solr_home/server/solr-webapp/webapp/WEB-INF/lib下;

2. 打开#solr_home/server/solr/configsets/_default/conf下的managed-schema,在文件后面加上如下节点

3.重启solr服务;

4.在第一部分第8步的时候,Add Field的时候,看是否有text_cn_splitting类型可选,如果有的话,那在add field的时候将需要进行中文分词的字段选择该类型即可;

定时任务:

使用系统的定时任务执行 curl

这里clean参数如果是true,会把之前的数据清空掉,然后导入差异的数据,在差异性导入时注意这个参数,不然会把solr里的数据清空,然后导入差异性的数据(这个差异是清空前的差异),导致数据缺失;

建议访问低频时重建全量索引,如每天凌晨4点做一次全量导入,每10分钟做一次差异导入

FQA:

1.增量导入是以主键作为增量差异,默认这个主键是id,需要在managed-schema里修改uniqueKey节点成需要的主键,且在该文件里定义的主键必须是string类型的,如下图

bd8bb7168b06284c6bbe9d03aaa40232.png

749993fe1658061bc29d051816229d6e.png

2. 如果需要设置单字段索引,而不每个字段都去检索,比如有数据字段author,title,keywords,body,搜索的时候想搜索这四个字段,可以使用copyField字段,具体方法,在managed-schema中添加如下节点

2e4dc24ce37637217746223051e7395f.png

06db3c25d694acb90e21dea05f3c6cd1.png

3. Solr7中已经不再支持defaultSearchField默认搜索字段了。需要设置默认搜索字段需要在solrconfig.xml中配置,

1b4cf65a6a6a0278f3762c1572ea98cb.png

参考资料:

http://archive.apache.org/dist/lucene/solr/ref-guide/apache-solr-ref-guide-7.0.pdf

https://wiki.apache.org/solr/DataImportHandler

本文原创,转载请注明出处。


版权声明:本文为weixin_35275073原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。