LSTM(Long Short-Term Memory)是一种特殊的循环神经网络(RNN),专门设计用于解决长序列依赖问题。以下是LSTM的核心概念:
1. 记忆单元(Memory Cell)
- LSTM的核心是记忆单元,能够在长时间步中保持信息。
- 记忆单元通过门控机制控制信息的流动,确保重要信息被保留,无关信息被丢弃。
2. 门控机制
LSTM通过三种门控机制来控制信息的流动:
-
遗忘门(Forget Gate)
- 决定哪些信息从记忆单元中丢弃。
- 通过sigmoid函数输出0到1之间的值,0表示完全丢弃,1表示完全保留。
-
输入门(Input Gate)
- 决定哪些新信息存入记...