全連接層轉化為卷積層：在兩種變換中，將全連接層轉化為卷積層在實際運用中更加有用。假設一個卷積神經網絡的輸入是 224x224x3 的圖像，一系列的卷積層和下采樣層將圖像數據變為尺寸為 7x7x512 的激活數據體。AlexNet使用了兩個尺寸為4096的全連接層，最后一個有1000個神經元的全連接層用于計算分類評分。我們可以將這3個全連接層中的任意一個轉化為卷積層：

實際操作中，每次這樣的變換都需要把全連接層的權重W重塑成卷積層的濾波器。那么這樣的轉化有什么作用呢？它在下面的情況下可以更高效：讓卷積網絡在一張更大的輸入圖片上滑動，得到多個輸出，這樣的轉化可以讓我們在單個向前傳播的過程中完成上述的操作。

舉個栗子：如果我們想讓224×224尺寸的浮窗，以步長為32在384×384的圖片上滑動，把每個經停的位置都帶入卷積網絡，最后得到6×6個位置的類別得分。上述的把全連接層轉換成卷積層的做法會更簡便。如果224×224的輸入圖片經過卷積層和下采樣層之后得到了[7x7x512]的數組，那么，384×384的大圖片直接經過同樣的卷積層和下采樣層之后會得到[12x12x512]的數組。然后再經過上面由3個全連接層轉化得到的3個卷積層，最終得到[6x6x1000]的輸出((12 – 7)/1 + 1 = 6)。這個結果正是浮窗在原圖經停的6×6個位置的得分！

面對384×384的圖像，讓（含全連接層）的初始卷積神經網絡以32像素的步長獨立對圖像中的224×224塊進行多次評價，其效果和使用把全連接層變換為卷積層后的卷積神經網絡進行一次前向傳播是一樣的。
Evaluating the original ConvNet (with FC layers) independently across 224x224 crops of the 384x384 image in strides of 32 pixels gives an identical result to forwarding the converted ConvNet one time.

如下圖所示，FCN將傳統CNN中的全連接層轉化成卷積層，對應CNN網絡FCN把最后三層全連接層轉換成為三層卷積層。在傳統的CNN結構中，前5層是卷積層，第6層和第7層分別是一個長度為4096的一維向量，第8層是長度為1000的一維向量，分別對應1000個不同類別的概率。FCN將這3層表示為卷積層，卷積核的大小 (通道數，寬，高) 分別為 (4096,1,1)、(4096,1,1)、(1000,1,1)?？瓷先底稚喜]有什么差別，但是卷積跟全連接是不一樣的概念和計算過程，使用的是之前CNN已經訓練好的權值和偏置，但是不一樣的在于權值和偏置是有自己的范圍，屬于自己的一個卷積核。因此FCN網絡中所有的層都是卷積層，故稱為全卷積網絡。

下圖是一個全卷積層，與上圖不一樣的是圖像對應的大小下標，CNN中輸入的圖像大小是同意固定resize成 227x227 大小的圖像，第一層pooling后為55x55，第二層pooling后圖像大小為27x27，第五層pooling后的圖像大小為13*13。而FCN輸入的圖像是H*W大小，第一層pooling后變為原圖大小的1/4，第二層變為原圖大小的1/8，第五層變為原圖大小的1/16，第八層變為原圖大小的1/32（勘誤：其實真正代碼當中第一層是1/2，以此類推）。

經過多次卷積和pooling以后，得到的圖像越來越小，分辨率越來越低。其中圖像到 H/32?W/32 的時候圖片是最小的一層時，所產生圖叫做heatmap熱圖，熱圖就是我們最重要的高維特征圖，得到高維特征的heatmap之后就是最重要的一步也是最后的一步對原圖像進行upsampling，把圖像進行放大、放大、放大，到原圖像的大小。

最后的輸出是1000張heatmap經過upsampling變為原圖大小的圖片，為了對每個像素進行分類預測label成最后已經進行語義分割的圖像，這里有一個小trick，就是最后通過逐個像素地求其在1000張圖像該像素位置的最大數值描述（概率）作為該像素的分類。因此產生了一張已經分類好的圖片，如下圖右側有狗狗和貓貓的圖。

upsampling