您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

如何在TF2.0中使用自定义渐变创建keras图层?

如何在TF2.0中使用自定义渐变创建keras图层?

首先,在keras下对API(如您所称的)的“统一”并不能阻止您像在TensorFlow 1.x中那样做。会话可能消失了,但是您仍然可以像定义任何python函数一样定义模型,并在没有keras的情况下积极地训练模型(即通过tf.GradientTape

现在,如果要使用执行 ***

a)编写执行自定义操作并定义自定义渐变的函数。有关如何执行此操作的更多信息,请参见此处

@tf.custom_gradient
def custom_op(x):
    result = ... # do forward computation
    def custom_grad(dy):
        grad = ... # compute gradient
        return grad
    return result, custom_grad

请注意,在函数中,您应将xdy视为张量而 numpy数组(即执行张量操作)

b)创建一个执行您的的定制keras图层custom_op。对于此示例,我假设您的图层没有任何可训练的参数或更改其输入的形状,但是如果有的话,它并没有多大区别。为此,您可以参考发布的指南,检查指南。

class CustomLayer(tf.keras.layers.Layer):
    def __init__(self):
        super(CustomLayer, self).__init__()

    def call(self, x):
        return custom_op(x)  # you don't need to explicitly define the custom gradient
                             # as long as you registered it with the prevIoUs method

现在,您可以在keras模型中使用此层,它将起作用。例如:

inp = tf.keras.layers.Input(input_shape)
conv = tf.keras.layers.Conv2D(...)(inp)  # add params like the number of filters
cust = CustomLayer()(conv)  # no parameters in custom layer
flat = tf.keras.layers.Flatten()(cust)
fc = tf.keras.layers.Dense(num_classes)(flat)

model = tf.keras.models.Model(inputs=[inp], outputs=[fc])
model.compile(loss=..., optimizer=...)  # add loss function and optimizer
model.fit(...)  # fit the model
其他 2022/1/1 18:31:13 有372人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶