自适应的偏好注意力

  • 打印
  • 收藏
收藏成功


打开文本图片集

摘 要:目前,大多数注意力机制是通过一系列不同的卷积等操作来生成权重的,而少数注意力机制则基于规律自定义函数来推断权重,两者各有优劣。在无参注意力机制(SimAM)的理论框架下,考虑到优化能量函数在某些情况下的局限性,提出通过在权重中引入少量参数来进行权重调整,从而提高模块的适应性。为了验证这一方法的可行性,在CIFAR数据集和ImageNet-100数据集上进行了图像识别实验。(剩余218字)

monitor
客服机器人