11月24日消息，国际网络与信息安全领域顶会ACM CCS 2022于近日在洛杉矶召开，阿里达摩院联合武汉大学、伍斯特理工学院、印第安纳大学的研究成果获最佳论文提名奖，该论文揭示了深度文本排序模型潜在的安全隐患，并探讨了检索系统的安全防御优化策略。
 
 
 
ACM CCS与IEEE S&P、USENIX Security、NDSS被业界称为网络安全领域“四大顶级会议”， 至今已有近30年的历史，该会议引领了国际信息安全领域研究的潮流。近年来，针对神经网络模型的对抗攻击成为业界研究的热点，攻防研究成果也不断涌现。
 
搜索引擎的鲁棒性问题一直是业界研究的热点，由于深度文本排序模型较易受到对抗攻击的影响，即在图像上的一些像素扰动或者文本中几个字符的改变就可能会引发预测结果的极大变化，这种弱点可能被用来操纵排序结果，甚至引导观点。攻防对抗的模拟是发现系统潜在风险并增强鲁棒性的主要途径之一，然而业界在该领域的攻防研究主要集中在图像排序、文本分类和机器翻译等模型上，面向深度文本排序模型的探索较少。
 
基于不同神经网络之间对抗样本的可迁移特性，达摩院在论文中提出通过采样目标排序模型的结果列表，无需白盒访问权限，即可训练一个模仿排序模型来产生对抗攻击文本，然后迁移到目标排序模型上验证攻击效果。通过大量的自动检测和人工评测实验证明，该方法能够以黑盒方式有效实施攻击。该论文研究成果可用于检测、评价排序模型的鲁棒性，并且为检索系统的防御优化策略提供重要参考价值。
 
该论文作者、达摩院高级算法专家康杨杨表示：“神经网络模型鲁棒性不足的问题由来已久，我们希望通过探索对抗攻击方法来推动模型的改进。未来，团队还将进一步探索完善的防御方法。”
 
据介绍，ACM CCS 2022共收到971篇有效投稿论文，最终218篇被收录，共有15篇论文获得最佳论文提名奖。本次大会，阿里巴巴共有3篇论文被收录，是论文收录数量最多的中国科技公司之一。
文章来源:互联网