本文轉(zhuǎn)自徐飛翔的“貝葉斯之旅||第二講，分類問(wèn)題的兩大過(guò)程，推理和決策”

版權(quán)聲明：本文為博主原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接和本聲明。

分類問(wèn)題

我們?cè)谥暗奈恼轮幸呀?jīng)介紹過(guò)分類問(wèn)題了，簡(jiǎn)單的說(shuō)就是給定一個(gè)樣本，將其劃分到有限的標(biāo)簽集中。通常來(lái)說(shuō)，我們可以將整個(gè)分類問(wèn)題劃分為兩個(gè)獨(dú)立的過(guò)程，分別是**推理（inference）和決策(decision)**階段。在推理階段，我們通過(guò)已有的訓(xùn)練集，學(xué)習(xí)到后驗(yàn)概率，或者也可以通過(guò)學(xué)習(xí)聯(lián)合概率分布，然后也可以得到后驗(yàn)概率。而接下來(lái)，在決策階段，就根據(jù)這個(gè)后驗(yàn)概率，對(duì)樣本的類別進(jìn)行判斷決策。這個(gè)決策過(guò)程可以參考文章[1]的討論。

注意到，很多時(shí)候，這兩個(gè)過(guò)程可以合在一起，將問(wèn)題簡(jiǎn)化為成：學(xué)習(xí)一個(gè)映射 ，直接將樣本映射到類別標(biāo)簽。這個(gè)過(guò)程中，將不會(huì)涉及到任何的后驗(yàn)概率等，而是直接得出預(yù)測(cè)結(jié)果，這個(gè)函數(shù)因此稱之為判別函數(shù)(Discriminant function)。[2] page 43

事實(shí)上，這些討論過(guò)的方法都可以用來(lái)解決分類問(wèn)題，并且在實(shí)際應(yīng)用中都有所應(yīng)用，我們按照復(fù)雜程度進(jìn)行降序排列之后，有：

通過(guò)解決推理問(wèn)題之后，我們可以給每一個(gè)類別估計(jì)出類條件概率，同時(shí)，先驗(yàn)概率也很容易可以估計(jì)出來(lái)，然后通過(guò)貝葉斯公式我們可以得到后驗(yàn)概率：

我們有:

等價(jià)地，我們可以對(duì)聯(lián)合概率密度進(jìn)行建模，然后進(jìn)行標(biāo)準(zhǔn)化后得到后驗(yàn)概率。像這種顯式地或者隱式地對(duì)輸入和輸出進(jìn)行概率分布建模的模型，稱之為生成模型(generative models)，因?yàn)閺倪@個(gè)聯(lián)合分布中進(jìn)行采樣可以生成輸入空間中的一些虛假生成數(shù)據(jù)(synthetic data)。

通過(guò)解決推理問(wèn)題后，得到后驗(yàn)概率，然后通過(guò)決策論進(jìn)行類別判斷。這種模型稱之為判別模型(Discriminative model)。

尋找一個(gè)函數(shù)，稱之為判別函數(shù)，直接將輸入的映射到一個(gè)類別標(biāo)簽上，比如SVM分類器等。在這個(gè)情形下，并沒(méi)有用到任何概率，也就是說(shuō)我們對(duì)預(yù)測(cè)的結(jié)果其實(shí)是沒(méi)有辦法判斷可靠程度的。

我們接下來(lái)分別討論下這三種方法的優(yōu)劣點(diǎn)。

孰優(yōu)孰劣，判別模型和生成模型生成模型

生成模型是對(duì)于數(shù)據(jù)量需求最高的，同時(shí)運(yùn)算量也是最大的，因?yàn)槠湫枰?xùn)練出包含和?的聯(lián)合分布，如果數(shù)據(jù)量不夠，將會(huì)導(dǎo)致嚴(yán)重的過(guò)擬合現(xiàn)象[3]。對(duì)于很多應(yīng)用下來(lái)說(shuō)， 是一個(gè)維度很高的特征向量，因此為了使得類條件概率得到一個(gè)較為合理的精度，就需要很多的數(shù)據(jù)量進(jìn)行計(jì)算。但是，生成模型也有一些很好的性質(zhì)，比如說(shuō)可以從中進(jìn)行采樣生成出一些假數(shù)據(jù)，這個(gè)應(yīng)用目前在很多image inpainting[4]，style transfer[5]任務(wù)中經(jīng)常用到。而且，因?yàn)橥ㄟ^(guò)聯(lián)合概率分布可以通過(guò)式子(1.2)計(jì)算出邊緣概率分布。這個(gè)輸入空間的邊緣概率分布很有用，因?yàn)槠淇梢耘袛噍斎氲男聰?shù)據(jù)是否是一個(gè)所謂的離群點(diǎn)(outlier)，離群點(diǎn)如下圖所示。這個(gè)就是所謂的離群點(diǎn)檢測(cè)(outlier detection)或者稱之為異常檢測(cè)(novelty detection)，這個(gè)在網(wǎng)絡(luò)欺詐預(yù)測(cè)，銀行欺詐預(yù)測(cè)，電子垃圾郵件檢測(cè)中很有用。

判別模型

在分類任務(wù)中，很多時(shí)候你只是做個(gè)分類而已，并不用進(jìn)行離群點(diǎn)檢測(cè)，也不需要生成虛假樣本.這個(gè)時(shí)候，如果還用生成模型去進(jìn)行后驗(yàn)概率的估計(jì)，就浪費(fèi)了很多資源。我們觀察下圖，我們可以發(fā)現(xiàn)，類條件概率其實(shí)和后驗(yàn)概率并沒(méi)有必然的影響。這個(gè)時(shí)候，你就需要采用判別模型。

不僅如此，采用了判別模型還有一個(gè)好處就是，可以利用所謂的**拒絕域(reject option)**把一些過(guò)于邊緣的判斷拒絕掉。比如我們僅有10%的把握判斷某人為癌癥患者，那么我們就情愿不做這個(gè)判斷，交給更為權(quán)威的人或者系統(tǒng)進(jìn)行下一步的處理。如下圖所示，綠色的水平線表示拒絕水平，只有后驗(yàn)概率高于這個(gè)水平線，才能認(rèn)為是可靠的判斷。我們將會(huì)看到，在基于判別函數(shù)的情況下，因?yàn)椴](méi)有概率的存在，因此并不能進(jìn)行這種操作。

判別函數(shù)方法

有比以上倆種方法更為簡(jiǎn)單，計(jì)算量更少的方法，那就是判別函數(shù)法。在這個(gè)情況下，因?yàn)槭侵苯佑糜?xùn)練數(shù)據(jù)擬合一個(gè)函數(shù)對(duì)樣本進(jìn)行分類，因此無(wú)法得到后驗(yàn)概率 。在這個(gè)方法中，只能最小化分類錯(cuò)誤率，而沒(méi)法給不同類型的分類錯(cuò)誤進(jìn)行區(qū)別[1]，采用最小化分類風(fēng)險(xiǎn)，這是個(gè)遺憾的地方。

Reference

[1] 《貝葉斯之旅||第一講，貝葉斯決策》

[2] Bishop C M. Pattern recognition and machine learning (information science and statistics) springer-verlag new york[J]. Inc. Secaucus, NJ, USA, 2006.

[3] 《機(jī)器學(xué)習(xí)模型的容量，過(guò)擬合與欠擬合》

[4] 《基于深度學(xué)習(xí)的Image Inpainting (圖像修復(fù))論文推薦(持續(xù)更新)》

[5] 《Image Style Transfer》