平潭迁移库是什么意思_迁移学习》第四章总结---基于模型的迁移学习

基于模型的迁移学习可以简单理解为就是基于模型参数的迁移学习，如何使我们构建的模型可以学习到域之间的通用知识。

1. 基于共享模型成分的迁移学习

在模型中添加先验知识。

1.1 利用高斯过程的迁移学习

正态分布的概率函数的均值为

, 方差为 :

复习：如果一个随机变量

服从这个分布，写作 , 如果均值为0，方差为1，则简化成：

设有标签的数据集

，定义 隐变量 的高斯先验：

. 是协方差函数，或者说核函数。接下来的事同样也是构建似然函数，然后解答(借这个协方差矩阵)。

1.2 利用贝叶斯模型的知识迁移

顾名思义，还是逃不开贝叶斯的应用啊！

1.3 利用深度模型的模型迁移

知识蒸馏，也称为软标签。在基于模型的迁移学习中，通过计算类别

所有源样本的激励函数的 平均值，可以提取类别 的软标签 . 基于软标签的类别间关系知识的损失定义如下：

到底软标签什么意思呢？其实很简单，举个例子我们的软标签

是一个 维向量，就是有 个类别，那么 水杯的类别可能就有：外观，颜色，长度，价钱等等。我们计算每一个类别的输出，经过softmax看一下那个权重占比是最大的。同样地我们可以看看bottle和cup，chair输出是多少，一对比就知道是杯子与瓶子更贴近。

2. 基于正则化的迁移

如何通过正则化来对共享知识进行迁移？

模型中标准的正则化形式：

这个式子表明该正则化使用正则权重 正则化 . 其中 . 利用任务间的不变特征(模型迁移学习中被迁移的部分、源域模型中的任务无关参数)，提高目标模型的泛化性能。

2.1 基于SVM的正则化

侠肝义胆陈浩天：SVM原理简单推导​zhuanlan.zhihu.com

在此基础上加上正则项进行优化。

2.3 Fine tune

往期文章：

侠肝义胆陈浩天：《迁移学习》第二章总结---基于样本的迁移学习

侠肝义胆陈浩天：《迁移学习》第三章总结---基于特征的迁移学习

与50位技术专家面对面20年技术见证，附赠技术全景图

总结

以上是生活随笔为你收集整理的平潭迁移库是什么意思_迁移学习》第四章总结---基于模型的迁移学习的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。