lstm & attention & Transformer in nmt

Posted on

lstm & attention & Transformer in nmt

lstm相关的一些整理：

lstm.png
lstm应用在en-fr进行nmt的代码在：https://www.kaggle.com/code/sarlren/lstm-machine-translation

nmt的一些相关整理（其实seq2seq很多内容也在这里）：
nmt.png

注意力机制的一些整理：
attention.png
multihead.png

transformer的一些整理：
transformer.png

transformer-nmt的代码在：https://www.kaggle.com/code/sarlren/transformer-machine-translation