混合编码网络

https://blog.csdn.net/u013567842/article/details/57190362

本文提出了一种端到端的学习模型，称为混合编码网络（HCNs）解决这些问题。除了学习RNN，HCNs也允许开发者表示领域知识通过软件和操作模板。实验表 明，相比现有的回归的端到端的技术，HCNs达到相同的性能，较少的训练数据，同时保留了端到端的可训练性的关键利益。此外，神经网络可以训练与监督 学习或强化学习，通过改变梯度更新应用。

步骤

1. 用户输入指令(2-5步将其信息特征化）
2. 特征化输入信息，形成bag of words vector
3. 预先设计好的话语嵌入模型（utterance embedding）
4. 命名实体识别（exp：识别姓名，地名等）
5. 实体跟踪，映射实体到数据库中的特定行
6. 将1-5整合成一个特征向量（使用LSTM或GRU）
7. RNN计算隐藏层向量
8. 由RNN保留
9. 通过一个 a dense layer with a softmax activation，输出不同模型的指令（细节在4-6部分）
10. 归一化函数
11. 产生不同行动的概率分布
12. 选择执行哪一动作
13. 接下来选定的操作传递给“实体输出”开发者代码，可以在实体中进行替换，比如特定指令
14. 根据动作的类型控制分支：转到15 or 17
15. 如果它是API操作，则调用开发代码中的相应API调用
16. 添加向量，返回特征向量（第6步）
17. 如果该动作是文本，则将其呈现给用户