python neural Entrée dans le flux tensoriel du réseau LSTM



recurrent neural network tutorial (1)

Votre intuition est correcte. ce dont vous avez besoin (et ce que vous avez décrit) est une incorporation pour traduire votre vecteur d'entrée à la dimension de l'entrée de votre LSTM. Il y a trois façons principales que je connais pour accomplir cela.

  • Vous pouvez le faire manuellement avec une matrice de poids supplémentaire W et un vecteur de polarisation b comme vous l'avez décrit.
  • Vous pouvez créer automatiquement la matrice de pondération et les vecteurs de biais à l'aide de la fonction linear() de la bibliothèque rnn_cell.py de TensorFlow . Passez ensuite la sortie de cette couche linéaire en tant qu'entrée de votre LSTM lorsque vous créez votre LSTM via la fonction rnn_decoder() dans la bibliothèque seq2seq.py de Tensorflow ou autrement.
  • Ou vous pouvez demander à Tensorflow de créer cette intégration et de l'accrocher automatiquement aux entrées de votre LSTM, en créant le LSTM via la fonction embedding_rnn_decoder() à la ligne 141 de la même bibliothèque seq2seq. (Si vous tracez le code de cette fonction sans argument optionnel, vous verrez qu'il s'agit simplement de créer un calque linéaire pour l'entrée ainsi que le LSTM et de les accrocher ensemble.)

À moins que vous n'ayez besoin d'accéder aux composants individuels que vous créez pour une raison quelconque, je recommanderais la troisième option pour garder votre code à un niveau élevé.

https://ffff65535.com

J'ai une série temporelle de longueur t (x0, ..., xt) chacun des xi est un vecteur de dimension d, c'est-à-dire xi = (x0i, x1i, ...., xdi). Ainsi, mon entrée X est de forme [taille_batch, d]

L'entrée pour le LSTM tensorflow doit être de taille [batchSize, hidden_size]. Ma question est comment dois-je entrer ma série temporelle à la LSTM. Une solution possible à laquelle je pensais est d'avoir une matrice de poids additionnelle, W, de taille [d, taille_machine] et de saisir le LSTM avec X * W + B.

Est-ce correct ou devrais-je entrer quelque chose d'autre au netwo ר k?

Merci





recurrent-neural-network