论文信息

[Single Image Super-Resolution via Locally Regularized Anchored Neighborhood Regression and Nonlocal]-Junjun Jiang, 2017, IEEE Transactions on Multimedia

前置内容

邻域嵌入(Neighbor Embedding, NE)是“样本-样本”映射,在训练样本中寻找测试样本的相似邻居特征样本,计算量略大。

稀疏编码(Sparse Coding)重建的过程是从字典中自适应的选择一个或者多个字典原子,这些字典原子适合当前输入低分辨率图像块特征,最后利用这些字典原子的线性组合来得到相应的高频细节特征。需要在重建过程计算LR到HR图的原子投影矩阵,计算复杂度高。

锚点邻域回归(Anchored Neighborhood Regression, ANR)改进SC算法,SC的原子投影矩阵需要在重建过程进行在线处理,耗时很大。ANR算法提出找一个投影矩阵可以在训练阶段离线计算,映射关系确定后在重建过程直接使用,可以实时重建高分辨率图像。

稀疏表示的思想在于LR字典与HR字典可以共用一套稀疏系数矩阵

LR: 低分辨率;HR:高分辨率

LANR-NLM算法

Junjun Jiang提出LANR-NLM算法,处理learning the mapping functions问题,使用非局部自相似性和局部几何先验(with nonlocal self-similarity and local geometry priors)加入LR-HR映射关系中。

非局部自相似先验利用了自然图像中相似块的冗余,而数据空间的局部几何先验可用于规范LR和HR空间之间非线性关系的建模。基于以上两个考虑,在正则化patch表示之前应用局部几何,然后利用非局部均值滤波器来改善超分辨率结果。

在重建阶段用NLM增强细节,会增加重建时间

实验

指标:peak signal to noise ratio (PSNR), structure similarity (SSIM) index and feature similarity (FSIM)

图像:Set5” and “Set14

参数:HR 图用 7x7的模板的高斯滤波标准偏差1.6(standard deviation of 1.6),下采样3倍

HR patch 9x9, LR patch 3x3 overlap of 2 pixels

特征提取:LR images, four 1-D fifilters,同Yang,Zeyde

$$ (f_1 = [−1, 0,1], f2 =,f_1^T , f_3 = [1, 0, −2,0, 1], f_4 = f_3^T ) $$

降维:应用PCA降维法将提取的特征投影到一个低维子空间上,同时保持总方差的99.9%。

30维的特征用于采样

HR patch特征 :从HR图像中减去插值的LR图像来

训练数据:91个训练图像,生成135581 patch对,最后得到1024个字典

λ1 = 1e 5,

K = 200, and α = 11

λ2=0.005

总体来说较对比算法 指标更好

算法步骤

在训练阶段,先收集大量 LR 和 HR 图像组成的训练集,然后特征提取匹配的patch对,形成 LR 和 HR 特征样本训练集。 通过稀疏编码训练一个紧凑的 LR 字典,并在 LR 和 HR 特征共享相同表示的假设下构建相应的 HR 字典。 然后使用 LANR 模型来学习每个字典原子的投影矩阵。

在重建阶段,我们首先在LR字典中搜索每个patch中最相似的原子,然后使用训练阶段得到的该原子的投影矩阵来预测HR特征。最后,使用一种NLM滤波器增强方法来减少估计的HR图像中的伪影。

改进:1、LANR模型学习投影矩阵,2、NLM滤波减少伪影

规范化的局部正则化锚定领域回归

在训练阶段引入新的约束项得到新的投影矩阵

$$ W^i=argmin_{W_i}∥y_i−N_{i,j}^Lw_i∥_2^2+λ_1∥g_i∙w_i∥_2^2 $$

$$ s.t.1^Tw_i=1 $$

其中 $. $表示点向量积, $\lambda1$是正则化参数。$g_i$是K维惩罚向量,与输入LR块 $y_i$和每个K最接近的字典原子有关,与相关性 $corr(y_i,D_L^k)$成反比。

与Yang 的ANR算法相同,一般不用欧氏距离而用某种相关性,比如向量内积

$$ g_{i,j}={1/corr(y_i,D_L^k)}^{\lambda},k∈C_K(D_L^j) $$

其中 $\alpha$用于调整本地适配器的重量衰减速度,其设置为11

重写目标函数公式,得:

$$ W=argmin_{W}∥Y−N^Lw∥_2^2+λ_1∥G∙w∥_2^2 $$

$N_L$和$G$是块对角矩阵,$N^L = blkdiag(N_{1,j}^L , N_{2,j}^L,..., N_{N,j}^L )$ and $G=blkdiag(g_1 , g_2 ,..., g_N )$

推断,$Y= D_Lw = DHD_H w$

同样,$N^Lw = DHN^H w$

重写目标函数公式,得

$$ W=argmin_{W}∥Y−DHN^Hw∥_2^2+λ_1∥G∙w∥_2^2 $$

非局部相似的自适应正则化

在重建阶段后,得到output 对HR patch进行NLM增强,就是每一个HR patch找到相似得patch然后将相似的patch与HR patch进行相加均值

我的个人博客主页,欢迎访问

我的CSDN主页,欢迎访问

我的GitHub主页,欢迎访问

最后修改:2021 年 06 月 08 日 07 : 46 PM
如果觉得我的文章对你有用,请随意赞赏