Self-Paced Learning with Diversity_NIPS14

这一篇文章的思想其实很简单,就是让SPL在选择样本的时候不单单只考虑样本的难易程度,还要考虑样本的多样性。这个多样性通过group lasso的优化项来体现。

首先,我们的样本$X=(x_1,…,x_n) \in R^{m_n}$被分成$b$组:$X^{(1)},…,X^{(b)},X^{(j)}\in R^{m_n_j}$,$n_j$是第$j$组的样本数目;这个分组要么是给定的,要么可以用一些无监督的方法,比如聚类得到;相应的定义每个组的难易度系数向量$v=[v^{(1)},…,v^{(b)}],\ v^{(j)}=(v^{(j)}_1,…,v^{(j)}_{n_j})^T\in [0,1]^{n_j}$。这样子得到我们新的优化模型:
\begin{equation}
min_{w,v}E(w,v;\lambda, \gamma)=\sum_{i=1}^nv_iL(y_i,f(x_i,w))-\lambda\sum_{i=1}^nv_i-\gamma|v|_{2,1},\quad s.t. v\in[0,1]^n
\end{equation}
这里新引入的负$l_{2,1}-norm$项就是为了得到样本的多样性。具体得
$$-|v|_{2,1}=-\sum_{j=1}^b|v^{(j)}|_2$$
本来$l_{2,1}-norm$是为了得到组稀疏的,现在加了个负号,就能得到和组稀疏相反的效果,也即多样性。