概述
with tf.device("/gpu:1"):
losses = []
for target,output in zip(targets,lstm_outputs):
logits = tf.matmul(W,output) + b
loss = tf.nn.sparse_softmax_cross_entropy_with_logits(logits,target)
losses.append(loss)
total_loss = tf.add_n(losses)在为此图层分配渐变时,我收到OOM错误,因为每个矩阵乘法在图形记忆中是不同的操作.有没有办法阻止TensorFlow同时分配所有这些操作？
例如,您可以尝试以下操作：
optimizer = tf.train.AdagradOptimizer(...) # Or another optimization algorithm.
train_op = optimizer.minimize(
total_loss,aggregation_method=tf.AggregationMethod.EXPERIMENTAL_ACCUMULATE_N)此选项会急切地聚合反复使用的变量的渐变,而不是将它们全部保留在内存中,直到计算出所有渐变为止.如果这不起作用,tf.AggregationMethod.EXPERIMENTAL_TREE可能会更好.
如果您也喜欢它,动动您的小指点个赞吧
602392714
清零编程群