Week 07: Online dictionary learning for sparse coding

題目：Online Dictionary Learning for Sparse Coding

作者：Julien Mairal Francis Bach, Jean Ponce

文章概要：

          本篇文章主要使用sparse coding技術，利用sparse coding編碼數據向量，基於某字典，可以通過線性重組獲得向量原始向量。這種方法在圖像處理領域和語音處理領域很常用，本文正是提出了一種新的在線優化的方法，實時訓練更新字典，從而實現online實時更新。

主要算法：

           本文主要有以下算法：

         （1）Online Dictionary Learning ，算法步驟主要如圖1所示。

圖1 Online Dictionary Learning 算法圖 

          核心步驟在第四步計算Sparse Coding和第七步的更新字典步驟。其中5、6還可以利用公式1加速；

公式1

         （2）如上提及的第七步更新字典步驟如圖2所示。

圖2 字典更新算法圖

           對于sparse coding的優化，除了公式1的優化，作者還提出了使用fixed-size的datasets，並且將字典從unused atoms進行purge。

實驗結果：

          實驗結果主要從速度的提升和coding的效果進行了闡述。

          圖3顯示了相比SGD，文中優化的時間提升。

圖3  時間提升結果

          圖4顯示了coding的效果，丟失率較低。

圖4  coding結果

創新之處和心得：

         本文提出了一種online進行sparse coding的方法，在保證正確率的情況下時間也得到了提升，值得參考和學習。