自适应滤波器：递归最小二乘（RLS）

本文转载自：http://www.cnblogs.com/xingshansi/p/6664478.html

　　西蒙.赫金的《自适应滤波器原理》第四版第九章：递归最小二乘（Recursive least squares， RLS）。记得看完第一章之后，半个月没有碰这本书，后来想着开了个头，还是该看到第十章的卡尔曼滤波才好，前前后后又花了半个月，总算看到了第九章。回头看看，静下心来，确实容易理清思路，也学到不少知识。虽然前路漫漫，编程水平不够、机器学习的理论还没多少概念、算法基础没多少、收入也很微薄......不过还是该表扬一下自己。既然选择了道路，自己还是该耐心走下去，哪怕上不了山顶，也该看看高处的风景。

　　言归正传，本文主要包括：

　　1）RLS原理介绍;

　　2）RLS应用实例;

内容为自己的学习记录，其中多有借鉴他人的地方，最后一并给出链接。

一、RLS原理介绍

　　A-问题描述

考虑指数加权的优化问题：   

为遗忘因子，这里只讨论平稳情况，取。

从而得到最优解：

其中：

可以看到，对应的就是最小二乘思想。回头看看之前分析的LMS以及NLMS，用的是随机梯度下降的思想，这是RLS与LMS很明显的不同点。

由于、时刻在变换，最优解如何更新呢？

　　B-迭代更新

首先给出文中用到的矩阵求逆引理：

矩阵求逆引理：

定义逆矩阵：

利用矩阵求逆引理：

其中称为增益向量，由上式得出：

借助迭代：

可以得到权重的更新公式：

其中为估计误差：

至此实现RLS的整个步骤。

二、RLS应用实例

　　A-算法步骤

结合上文的推导，给出RLS的迭代步骤：

步骤一：初始化

其中为很小的正数，如1e-7；

步骤二：迭代更新

　　B-代码应用

给出主要代码，可以结合前文的LMS/NLMS对比分析：

可以看出不像NLMS/LMS有一个慢速收敛的过程，RLS在开始阶段就得到较好的降噪。

　　C-与LMS对比

与LMS对比，可以观察到RLS的几点特性：

参考：