Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval

一.研究内容

目前，多模态hash的研究主要是为了学习兼容的二进制码，以保留标签给出的语义信息。作者认为这些方法忽略了哈希学习过程中哈希码的判别性，这导致来自不同类别的哈希代不易区分，从而降低了最近邻检索的准确性与鲁棒性，因此提出了MBDE

二.研究贡献

在分类方面制定哈希函数学习，学习更具判别性的哈希码。

学习异构数据内的共享结构，并保留用于哈希码的学习结构。

语义标签代替成对相似度，以更好地保留散列代码的判别性，并降低存储消耗和计算成本。

三、研究框架

首先得到图像的特征矩阵，将图像的特征矩阵转化为哈希码输入分类器进行分类，与标签做分类损失，目的是学习到具有类间判别性的哈希码。将标签转化为哈希码与图像特征转化得到的哈希码做均方误差，目的是为了使类内样本得到的哈希码具有一致性。

四、损失函数

学习具有类间判别性的哈希码
image

text

学习类内具有一致性的哈希码

total loss

五、作者的实验结果

六、作者的下一步计划

在本文中，作者选择模型的线性分类器，线性哈希函数和二范数损失。在未来的工作中，我们将纳入其他类型的分类器，哈希函数和损失函数进入框架，以进一步提高性能。

总结

以上是生活随笔为你收集整理的Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval--2016.10高新波团队的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。