介紹網絡壓縮算法,知識蒸餾

2020年05月30日 02:47:33 拜倫建站 193次

學過化學的都知道蒸餾這個概念,就是利用不同組分的沸點不同,將不同組分從混合液中分離出來。知識蒸餾用于網絡壓縮,也具有類似的性質。具體的講,有一個大的神經網絡充當了“老師”的角色,她將書本上的知識先經過自己的轉化和吸收,然后再傳授給“學生”網絡。學生網絡模型相對較小,但是經過老師將知識提取教授,也可以實現大網絡的功能。

知識蒸餾的方法是大名鼎鼎的Hinton提出的,這種方法實現了大網絡向小網絡的知識遷移,使得應用場景可以擴展到移動端。接下來我們具體看看知識蒸餾的整個過程。

1

原理

表面上看,大網絡應該有更好的表達能力,或者說泛化能力。而小網絡節點數量和大網絡還有很大的差距,它如何能夠做到逼近大網絡的結果呢?首先,這與具體的應用場景范圍有關,在一定的場景下,小網絡可以接近大網絡的分類能力。這就好像對于某個更復雜的函數,當限定某個值域的時候,可以用一些簡單函數來逼近。其次,網絡分類器最終的結果是用概率來表示的,分類結果取決于概率最大的。因此最大概率是90%和最大概率是60%的最終分類結果是一樣的,這點就給了小網絡更靈活的表達方式。最后就是小網絡逼近大網絡的程度和大網絡的冗余程度有關,這類似于對大網絡實行剪枝的結果。

那么如何訓練一個小網絡呢?我們可以先考慮一下在數值分析中,用一個函數S(x)來逼近另外一個函數f(x),那么就可以通過最小化這兩個函數在每個點的平方和來實現。同理,訓練小的網絡也必須使用大網絡的輸入和輸出作為訓練集,而不能再使用訓練大網絡的訓練集了。原始訓練集的標注結果是絕對的(是和不是:1,0),而大網絡的輸出結果是一個概率向量,其包含了每一類的概率大小。這個結果不再僅僅只含有原始訓練集的信息,它還包含了大網絡的信息。比如在原始圖片中,一張貓的圖片結果只有一個,但是經過大網絡后,不僅僅有貓的結果,還有狗,房子,樹等每個類別的概率結果。其他類別的概率實際上告訴了我們不同類別之間存在的差異和共性,比如一張貓的圖片中是狗的概率可能就比是房子的概率大,因為貓和狗相對于貓和房子有更大的共性。

介紹網絡壓縮算法,知識蒸餾

神經網絡通常使用softmax函數來生成分類概率,這個函數形式為:

介紹網絡壓縮算法,知識蒸餾

其中T是溫度,通常設置為1。使用較高的T可以產生更加softer的概率分布。更softer的概率分布提高網絡的泛化能力,有利于小網絡的訓練。

寫到這里小編對softmax函數感到好奇,為什么神經網絡都采用softmax來進行概率計算呢?學過熱力學的會發現,這個softmax函數非常類似不同能級上粒子分布概率,位于能級E的粒子分布概率就是正比于:

而且溫度越高高能級粒子概率也越大,這與softmax函數也有同樣的結果。其實觀察他們的推導過程就會發現,它們之所以有相同的形式來自于它們都是多分類問題,而且概率模型都屬于廣義線性模型。Softmax函數正是在廣義線性函數的假設上推導出來的。現在我們給出其傳統推導,和基于熱力學統計的推導方法。

首先看什么是廣義線性模型,廣義線性模型是用于處理條件概率的一個基本模型,很多常見的分布模型(伯努利,高斯等)都屬于廣義線性模型。定義線性預測算子:

定義y基于x的條件概率分布,這個分布就是廣義線性模型:

分類問題就是求在給定輸入x的條件下,估計y值,即y屬于哪個類的問題。可以通過期望值來作為y的估計。容易得到這個期望值為:

因此一旦知道y的概率分布就知道了y的估計。這個估計就是回歸函數。現在我們來看softmax的傳統推導。

Y有多個可能的分類:

每種分類對應著概率:

定義:

其中有:

于是得到廣義分布:

介紹網絡壓縮算法,知識蒸餾

其中有,

介紹網絡壓縮算法,知識蒸餾

然后可以求出:

上一篇:八年級物理知識點網絡圖分章節整理匯總
下一篇:重新定義企業文件使用方式

聲明:本頁內容由好推網絡科技有限公司通過網絡收集編輯所得,所有資料僅供用戶參考;本站不擁有所有權,也不承認相關法律責任。如您認為本網頁中有涉嫌抄寫的內容,請及時與我們聯系進行舉報,并提供相關證據,工作人員會在5個工作日內聯系您,一經查實,本站將立刻刪除涉嫌侵權內容。

相關資訊 Releva ntnews
  1. 我們的承諾
  2. 我們的實力
  3. 我們的未來

站點地圖

Copyright © 2002-2019 拜倫建站 sh-bilon.com 版權所有

多乐彩开奖数据 青海11选5走势 股票分析 牛市快讯每天推送q 北京11选五前三组奖金 123百家乐投注法 江苏十一选五开奖走势一定牛 长春11选5走势图 排列三真有高手 内蒙古快三下载官网 明天股票行情 七位一尾短打一生肖 北京pk10开奖 快乐10分助手软件 外汇配资 香港九龙图库免费资料大全 南粤风采好彩1 河南快三形态走势一定中