數(shù)學(xué)建模-聚類分析.ppt

第二節(jié)聚類分析,聚類分析（ClusterAnalysis）是研究“物以類聚”的一種多元統(tǒng)計(jì)方法。國內(nèi)有人稱它為群分析、點(diǎn)群分析、簇群分析等。,一、聚類分析的基本概念,研究對(duì)樣品或指標(biāo)進(jìn)行分類的一種多元統(tǒng)計(jì)方法,是依據(jù)研究對(duì)象的個(gè)體的特征進(jìn)行分類的方法。聚類分析把分類對(duì)象按一定規(guī)則分成若干類，這些類非事先給定的，而是根據(jù)數(shù)據(jù)特征確定的。在同一類中這些對(duì)象在某種意義上趨向于彼此相似，而在不同類中趨向于不相似。職能是建立一種能按照樣品或變量的相似程度進(jìn)行分類的方法。,聚類分析的基本思想是認(rèn)為我們所研究的樣本或指標(biāo)（變量）之間存在著程度不同的相似性（親疏關(guān)系）。于是根據(jù)一批樣本的多個(gè)觀測(cè)指標(biāo)，具體找出一些彼此之間相似程度較大的樣本（或指標(biāo)）聚合為一類，把另外一些彼此之間相似程度較大的樣本（或指標(biāo)）又聚合為另一類，關(guān)系密切的聚合到一個(gè)小的分類單位，關(guān)系疏遠(yuǎn)的聚合到一個(gè)大的分類單位，直到把所有樣本（或指標(biāo)）都聚合完畢，把不同的類型一一劃分出來，形成一個(gè)由小到大的分類系統(tǒng)。最后把整個(gè)分類系統(tǒng)畫成一張譜系圖，用它把所有樣本（或指標(biāo)）間的親疏關(guān)系表示出來。這種方法是最常用的、最基本的一種，稱為系統(tǒng)聚類分析。,除此以外，還有動(dòng)態(tài)聚類法、圖論聚類法、模糊聚類法、有序聚類法等。聚類分析有兩種：一種是對(duì)樣本的分類，稱為Q型，另一種是對(duì)變量（指標(biāo)）的分類，稱為R型。,R型聚類分析的主要作用：不但可以了解個(gè)別變量之間的親疏程度，而且可以了解各個(gè)變量組合之間的親疏程度。根據(jù)變量的分類結(jié)果以及它們之間的關(guān)系，可以選擇主要變量進(jìn)行Q型聚類分析或回歸分析。（R2為選擇標(biāo)準(zhǔn)）Q型聚類分析的主要作用：可以綜合利用多個(gè)變量的信息對(duì)樣本進(jìn)行分析。分類結(jié)果直觀，聚類譜系圖清楚地表現(xiàn)數(shù)值分類結(jié)果。聚類分析所得到的結(jié)果比傳統(tǒng)分類方法更細(xì)致、全面、合理。在課堂上主要討論Q型聚類分析,Q型聚類常用的統(tǒng)計(jì)量是距離.,那么Q型系統(tǒng)聚類法則可以表述為：把樣本看成n維空間的點(diǎn)，而把變量看成n維空間的坐標(biāo)軸，m個(gè)樣本開始時(shí)自成一類，然后規(guī)定各類之間的距離，將距離最小的一對(duì)并成一類，然后再計(jì)算距離，直到所有單位全部合并為止。,二、距離和相似系數(shù),在進(jìn)行聚類分析時(shí)，樣本間的相似系數(shù)和距離有多種不同的定義，通常按特性來劃分。變量特征的測(cè)度尺度有三種類型：間隔尺度（由連續(xù)的實(shí)值變量表示）有序尺度（沒有明確的數(shù)量表示，只有次序關(guān)系，如產(chǎn)品等級(jí)）名義尺度（具有某種特性，如性別）,從一組復(fù)雜數(shù)據(jù)產(chǎn)生一個(gè)相當(dāng)簡(jiǎn)單的類結(jié)構(gòu)，必然要求進(jìn)行“相關(guān)性”或“相似性”的度量。在相似性度量的選擇中，常常包含許多主觀上的考慮，但最重要的考慮是指標(biāo)的性質(zhì)或觀測(cè)的尺度（名義、次序、間隔）以及相關(guān)知識(shí)。課堂上主要討論的指標(biāo)測(cè)量為間隔尺度的情況。,距離,每個(gè)樣本有p個(gè)指標(biāo)，因此每個(gè)樣本可以看成p維空間中的一個(gè)點(diǎn)，n個(gè)樣本就組成p維空間中的n個(gè)點(diǎn)，這時(shí)很自然想到用距離來度量n個(gè)樣本間的接近程度。用表示第i個(gè)樣本與第j個(gè)樣本之間的距離。一切距離應(yīng)滿足以下條件：,常見的距離有：,blockdistance絕對(duì)值距離：euclideandistance歐式距離squaredeuclideandistance平方歐式距離chebychevdistance切比雪夫距離minkowskidistance明考斯基距離（明氏距離）當(dāng)q=1,2時(shí)，為絕對(duì)值、歐式距離；若趨近無窮時(shí)，則為切比雪夫距離,明氏距離在實(shí)際的運(yùn)用很多，但有一些缺點(diǎn)。例如觀測(cè)值的單位問題；指標(biāo)間的相關(guān)問題，因此改進(jìn)得到以下兩種距離：,Lanberra蘭氏距離Mahalanobis馬氏距離以上都是樣本間距離的定義。,相似系數(shù),夾角余弦相關(guān)系數(shù)變量間的距離利用相似系數(shù)來定義距離利用樣本協(xié)差陣來定義距離把變量Xi的n次觀測(cè)值看成p維空間的點(diǎn),在p維空間中定義m個(gè)變量間的距離。,夾角余弦兩變量的夾角余弦定義為：,相關(guān)系數(shù)兩變量的相關(guān)系數(shù)定義為：,三、系統(tǒng)聚類法基本步驟,1.選擇樣本間距離的定義及類間距離的定義；2.計(jì)算n個(gè)樣本兩兩之間的距離，得到距離矩陣3.構(gòu)造個(gè)類，每類只含有一個(gè)樣本；4.合并符合類間距離定義要求的兩類為一個(gè)新類；5.計(jì)算新類與當(dāng)前各類的距離。若類的個(gè)數(shù)為1，則轉(zhuǎn)到步驟6，否則回到步驟4;6.畫出聚類圖；7.決定類的個(gè)數(shù)和類。,系統(tǒng)聚類分析的方法,系統(tǒng)聚類法的聚類原則決定于樣品間的距離以及類間距離的定義，類間距離的不同定義就產(chǎn)生了不同的系統(tǒng)聚類分析方法。以下用dij表示樣品X(i)和X(j)之間的距離，當(dāng)樣品間的親疏關(guān)系采用相似系數(shù)Cij時(shí)，令；以下用D(p,q)表示類Gp和Gq之間的距離。,1.最短距離法(SINglemethod),2.最長(zhǎng)距離法(COMpletemethod),最長(zhǎng)距離,最短距離,A,B,C,D,E,F,例,為了研究遼寧等5省1991年城鎮(zhèn)居民生活消費(fèi)情況的分布規(guī)律，根據(jù)調(diào)查資料做類型分類，用最短距離做類間分類。數(shù)據(jù)如下：,將每一個(gè)省區(qū)視為一個(gè)樣本，先計(jì)算5個(gè)省區(qū)之間的歐式距離，用D0表示距離矩陣（對(duì)稱陣，故給出下三角陣）因此將3.4合并為一類，為類6，替代了3、4兩類類6與剩余的1、2、5之間的距離分別為：d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06d(3,4)5=min(d35,d45)=min(3.51,2.21)=2.21,得到新矩陣合并類6和類5，得到新類7類7與剩余的1、2之間的距離分別為：d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.80d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54,得到新矩陣合并類1和類2，得到新類8此時(shí)，我們有兩個(gè)不同的類：類7和類8。它們的最近距離d(7,8)=min(d71,d72)=min(12.80,23.54)=12.80,得到矩陣最后合并為一個(gè)大類。這就是按最短距離定義類間距離的系統(tǒng)聚類方法。最長(zhǎng)距離法類似！,3.重心法(CENtroidmethod),4.類平均法(AVEragemethod),中間距離,5.離差平方和法(WARD),基本思想來源于方差分析。它認(rèn)為：如果分類正確，同類間的類差平方和應(yīng)較小，類與類之間的離差平方和應(yīng)較大.具體做法是，先將n個(gè)樣本分成一類,然后每次縮小一類,每縮小一類離差平方和就要增大.,離差平方和法(WARD),系統(tǒng)聚類方法的統(tǒng)一,系統(tǒng)聚類法參數(shù)表,類的個(gè)數(shù)的確定,由適當(dāng)?shù)拈撝荡_定；根據(jù)數(shù)據(jù)點(diǎn)的散布直觀地確定類的個(gè)數(shù)；根據(jù)統(tǒng)計(jì)量確定分類個(gè)數(shù)；,類的個(gè)數(shù)的確定,根據(jù)譜系圖確定分類個(gè)數(shù)的準(zhǔn)則：各類重心間的距離必須很大；類中保包含的元素不要太多；類的個(gè)數(shù)必須符合實(shí)際應(yīng)用；如果采用幾種不同的聚類方法處理，則在各種聚類圖中應(yīng)該發(fā)現(xiàn)相同的類。,四、系統(tǒng)聚類的參數(shù)選擇聚類類別：統(tǒng)計(jì)圖：樹型譜系圖冰柱譜系圖聚類方法1.Between-groupslinkage類間平均法兩類距離為兩類元素兩兩之間平均平方距離2.Within-groupslinkage類內(nèi)平均法兩類距離為合并后類中可能元素兩兩之間平均平方距離3.Nearestneighbor最短距離法4.Furthestneighbor最長(zhǎng)距離法5.Centroidclustering重心法(歐式距離)6.Medianclustering中間距離法(歐式距離)7.WardMethod離差平方法(歐式距離),SPSS界面指南,五、系統(tǒng)聚類法之例：地區(qū)按經(jīng)濟(jì)效益分類某年全國28個(gè)省區(qū)經(jīng)濟(jì)效益指標(biāo)表，演示,類間平均法,類內(nèi)平均法,最短距離法,最長(zhǎng)距離法,重心法,中間距離法,離差平方法,