深度学习-gloVe模型

下面几篇是deeplearning4j在文本方面的例子，文本方面我还没有实战经验，只是大概看过spark-ml中word2vector等的源码，word2vector是比较传统的模型，本质上可以把它理解成词的降维，而gloVe是和word2vector功能相似的模型，把句子的信息和全局的信息结合，目的是在语义和语句上都获得更好的表达效果，下面我们仅从使用的角度上看gloVe模型的代码

public class GloVeExample {

    private static final Logger log = LoggerFactory.getLogger(GloVeExample.class);//获取日志

    public static void main(String[] args) throws Exception {
        File inputFile = new ClassPathResource("raw_sentences.txt").getFile();//获取文件名称并打印绝对地址
        System.out.println(inputFile.getAbsolutePath());

        // creating SentenceIterator wrapping our training corpus
        SentenceIterator iter = new BasicLineIterator(inputFile.getAbsolutePath());//通过基础的行迭代器，构建句子迭代器

        // Split on white spaces in the line to get words
        TokenizerFactory t = new DefaultTokenizerFactory();//创建切分实例，用空格切分单词
        t.setTokenPreProcessor(new CommonPreprocessor());//预处理，把逗号都去掉并且转成小写字母

        Glove glove = new Glove.Builder()//构建一个单机Glove模型，Glove继承了
SequenceVectors，SequenceVectors继承结构也比较复杂public class SequenceVectors<T extends SequenceElement> extends WordVectorsImpl<T> implements WordVectors {
                .iterate(iter)//装入迭代的句子                .tokenizerFactory(t)//装入切分器                .alpha(0.75)//这个是权重函数的指数参数，默认0.75                .learningRate(0.1)//学习率                // number of epochs for training                .epochs(25)//训练的步数                // cutoff for weighting function                .xMax(100)//损失函数里有个概率函数，概率函数是个截断函数，防止高频词对模型的影响，这个100就是截断阈值                // training is done in batches taken from training corpus                .batchSize(1000)//批大小                // if set to true, batches will be shuffled before training                .shuffle(true)//如果设置成true,训练前批会随机排序                // if set to true word pairs will be built in both directions, LTR and RTL                .symmetric(true)//symmetric是对称的意思，如果设置成true，会考虑从左到右，从右到左双向的共现频率                .build();//构建模型类        glove.fit();//模型定型        double simD = glove.similarity("day", "night");//然后可以计算词的相似度了        log.info("Day/night similarity: " + simD);        Collection<String> words = glove.wordsNearest("day", 10);//计算和day最相似的10个词        log.info("Nearest words to 'day': " + words);        System.exit(0);    }}