|
BPE（Byte Pair Encoding），即字节对编码，通过BPE编码后得到的subward词汇
1. 能有效减少词汇表的单词数量，
2. 其粒度在词与字符之间，能够较好的平衡未登录词或罕见词问题，从而提高神经机器翻译的质量。
友情链接：https://zhuanlan.zhihu.com/p/86965595
https://blog.csdn.net/jmh1996/article/details/89286898
原论文：https://arxiv.org/abs/1508.07909 | 
转播
