聚類分析(數(shù)學建模).ppt

《聚類分析(數(shù)學建模).ppt》由會員分享，可在線閱讀，更多相關《聚類分析(數(shù)學建模).ppt（77頁珍藏版）》請在裝配圖網(wǎng)上搜索。

聚類分析,,,分類,俗語說，物以類聚、人以群分。但什么是分類的根據(jù)呢？比如，要想把中國的縣分成若干類，就有很多種分類法；可以按照自然條件來分，比如考慮降水、土地、日照、濕度等各方面；也可以考慮收入、教育水準、醫(yī)療條件、基礎設施等指標；既可以用某一項來分類，也可以同時考慮多項指標來分類。,一、聚類分析的基本概念,研究對樣品或指標進行分類的一種多元統(tǒng)計方法,是依據(jù)研究對象的個體的特征進行分類的方法。聚類分析把分類對象按一定規(guī)則分成若干類，這些類非事先給定的，而是根據(jù)數(shù)據(jù)特征確定的。在同一類中這些對象在某種意義上趨向于彼此相似，而在不同類中趨向于不相似。職能是建立一種能按照樣品或變量的相似程度進行分類的方法。,聚類分析,對于一個數(shù)據(jù)，人們既可以對變量（指標）進行分類(相當于對數(shù)據(jù)中的列分類)，也可以對觀測值（事件，樣品）來分類（相當于對數(shù)據(jù)中的行分類）。比如學生成績數(shù)據(jù)就可以對學生按照理科或文科成績（或者綜合考慮各科成績）分類，當然，并不一定事先假定有多少類，完全可以按照數(shù)據(jù)本身的規(guī)律來分類。本章要介紹的分類的方法稱為聚類分析（clusteranalysis）。對變量的聚類稱為R型聚類，而對觀測值聚類稱為Q型聚類。這兩種聚類在數(shù)學上是對稱的，沒有什么不同。,聚類分析的基本思想是認為我們所研究的樣本或指標（變量）之間存在著程度不同的相似性（親疏關系）。于是根據(jù)一批樣本的多個觀測指標，具體找出一些彼此之間相似程度較大的樣本（或指標）聚合為一類，把另外一些彼此之間相似程度較大的樣本（或指標）又聚合為另一類，關系密切的聚合到一個小的分類單位，關系疏遠的聚合到一個大的分類單位，直到把所有樣本（或指標）都聚合完畢，把不同的類型一一劃分出來，形成一個由小到大的分類系統(tǒng)。最后把整個分類系統(tǒng)畫成一張譜系圖，用它把所有樣本（或指標）間的親疏關系表示出來。這種方法是最常用的、最基本的一種，稱為系統(tǒng)聚類分析。,飲料數(shù)據(jù)（drink.sav）,16種飲料的熱量、咖啡因、鈉及價格四種變量,如何度量遠近？,如果想要對100個學生進行分類，如果僅僅知道他們的數(shù)學成績，則只好按照數(shù)學成績來分類；這些成績在直線上形成100個點。這樣就可以把接近的點放到一類。如果還知道他們的物理成績，這樣數(shù)學和物理成績就形成二維平面上的100個點，也可以按照距離遠近來分類。三維或者更高維的情況也是類似；只不過三維以上的圖形無法直觀地畫出來而已。在飲料數(shù)據(jù)中，每種飲料都有四個變量值。這就是四維空間點的問題了。,兩個距離概念,按照遠近程度來聚類需要明確兩個概念：一個是點和點之間的距離，一個是類和類之間的距離。點間距離有很多定義方式。最簡單的是歐氏距離，還有其他的距離。當然還有一些和距離相反但起同樣作用的概念，比如相似性等，兩點越相似度越大，就相當于距離越短。由一個點組成的類是最基本的類；如果每一類都由一個點組成，那么點間的距離就是類間距離。但是如果某一類包含不止一個點，那么就要確定類間距離，類間距離是基于點間距離定義的：比如兩類之間最近點之間的距離可以作為這兩類之間的距離，也可以用兩類中最遠點之間的距離作為這兩類之間的距離；當然也可以用各類的中心之間的距離來作為類間距離。在計算時，各種點間距離和類間距離的選擇是通過統(tǒng)計軟件的選項實現(xiàn)的。不同的選擇的結果會不同，但一般不會差太多。,二、距離,用表示第i個樣本與第j個樣本之間的距離。一切距離應滿足以下條件：,每個樣本有p個指標，因此每個樣本可以看成p維空間中的一個點，n個樣本就組成p維空間中的n個點，這時很自然想到用距離來度量n個樣本間的接近程度。,常見的距離有：,minkowskidistance（明氏距離）：,當q=1blockdistance絕對值距離:,當q=2squaredeuclideandistance平方歐式距離,當q=chebychevdistance切比雪夫距離,明氏距離在實際中應用的很多，但也存在一些缺點：,處理辦法：標準化,2、指標間的相關問題；,1、量綱的問題；,Mahalanobis馬氏距離,改進的辦法，采用馬氏距離,⒉相似系數(shù),夾角余弦,相關系數(shù),①夾角余弦兩變量的夾角余弦定義為：,②相關系數(shù)兩變量的相關系數(shù)定義為：,16,系統(tǒng)聚類方法,1、最短距離（NearestNeighbor),,三、系統(tǒng)聚類法基本步驟,1.選擇樣本間距離的定義及類間距離的定義；2.計算n個樣本兩兩之間的距離，得到距離矩陣3.構造個類，每類只含有一個樣本；4.合并符合類間距離定義要求的兩類為一個新類；5.計算新類與當前各類的距離。若類的個數(shù)為1，則轉到步驟6，否則回到步驟4;6.畫出聚類圖；7.決定類的個數(shù)和類。,系統(tǒng)聚類分析的方法,系統(tǒng)聚類法的聚類原則決定于樣品間的距離以及類間距離的定義，類間距離的不同定義就產(chǎn)生了不同的系統(tǒng)聚類分析方法。以下用dij表示樣品X(i)和X(j)之間的距離，當樣品間的親疏關系采用相似系數(shù)Cij時，令；以下用D(p,q)表示類Gp和Gq之間的距離。,3.重心法(CENtroidmethod),,4.類平均法(AVEragemethod),例,為了研究遼寧等5省1991年城鎮(zhèn)居民生活消費情況的分布規(guī)律，根據(jù)調查資料做類型分類，用最短距離做類間分類。數(shù)據(jù)如下：,將每一個省區(qū)視為一個樣本，先計算5個省區(qū)之間的歐式距離，用D0表示距離矩陣（對稱陣，故給出下三角陣）因此將3.4合并為一類，為類6，替代了3、4兩類類6與剩余的1、2、5之間的距離分別為：d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06d(3,4)5=min(d35,d45)=min(3.51,2.21)=2.21,,得到新矩陣合并類6和類5，得到新類7類7與剩余的1、2之間的距離分別為：d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.80d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54,,得到新矩陣合并類1和類2，得到新類8此時，我們有兩個不同的類：類7和類8。它們的最近距離d(7,8)=min(d71,d72)=min(12.80,23.54)=12.80,,得到矩陣最后合并為一個大類。這就是按最短距離定義類間距離的系統(tǒng)聚類方法。最長距離法類似！,26,最長距離（FurthestNeighbor）,,27,,,?,?,?,?,?,?,,,,,,,,,,組間平均連接（Between-groupLinkage),28,組內平均連接法（Within-groupLinkage),,,,,,,29,重心法（Centroidclustering):均值點的距離,,類的個數(shù)的確定,由適當?shù)拈撝荡_定；根據(jù)數(shù)據(jù)點的散布直觀地確定類的個數(shù)；根據(jù)統(tǒng)計量確定分類個數(shù)；,類的個數(shù)的確定,根據(jù)譜系圖確定分類個數(shù)的準則：各類重心間的距離必須很大；類中保包含的元素不要太多；類的個數(shù)必須符合實際應用；如果采用幾種不同的聚類方法處理，則在各種聚類圖中應該發(fā)現(xiàn)相同的類。,聚類分析,1、系統(tǒng)聚類法------（分層聚類）系統(tǒng)聚類法是應用最廣泛的一種（HierarchicalCluster過程）1）、聚類原則：都是相近的聚為一類，即距離最近或最相似的聚為一類。2）、分層聚類的方法可以用于樣本聚類（Q）型，也可以用于變量聚類（R型）。2、非系統(tǒng)聚類法-----（快速聚類法----K-均值聚類法）（K-meansCluster)3、兩步聚類法-----一種探索性的聚類方法（TwoStepCluster）,四、系統(tǒng)聚類的參數(shù)選擇㈠聚類類別：㈡統(tǒng)計㈢圖：樹型譜系圖冰柱譜系圖㈣聚類方法1.Between-groupslinkage類間平均法兩類距離為兩類元素兩兩之間平均平方距離2.Within-groupslinkage類內平均法兩類距離為合并后類中可能元素兩兩之間平均平方距離3.Nearestneighbor最短距離法4.Furthestneighbor最長距離法5.Centroidclustering重心法(歐式距離)6.Medianclustering中間距離法(歐式距離)7.WardMethod離差平方法(歐式距離),數(shù)據(jù)標準化處理：,存儲中間過程數(shù)據(jù),數(shù)據(jù)標準化處理，并存儲。,,指定5類,,收斂標準值,,存儲最終結果輸出情況，在數(shù)據(jù)文件中（QCL-1、QCL-2）,,初始聚心選項，輸出方差分析表,,初始聚類中心表,,具體城市看后表,,最終聚類中心表,,聚類結果：QCL-1說明聚類結果，QCL-2說明聚類的長度情況,,主要城市日照時數(shù),,注：連續(xù)變量,SPSS提供不同類間距離的測量方法1、組間連接法2、組內連接法3、最近距離法4、最遠距離法5、重心法6、中位數(shù)法7、Ward最小偏差平方和法,,觀測量概述表,,聚類步驟，與圖結合看！,,研究各種飲料在市場消費的分配規(guī)律，試確定各種飲料消費類型,聚類分析的第幾步,,哪兩個樣本或小類聚成一類,,相應的樣本距離或小類距離,,指明是樣本(0)還是小類(n),,下面第幾步用到,,垂直冰柱圖顯示層次聚類分析,從冰柱圖最后一行開始觀察，第一列表示類數(shù),,,,,,,,,,,兩步聚類法TwoStepCluster,一種探索性的聚類方法，是隨著人工智能的發(fā)展起來的智能聚類方法中的一種。用于解決海量數(shù)據(jù)或具有復雜類別結構的聚類分析問題。,兩步聚類法特點：1、同時處理離散變量和連續(xù)變量的能力2、自動選擇聚類數(shù)3、通過預先選取樣本中的部分數(shù)據(jù)構建聚類模型4、可以處理超大樣本量的數(shù)據(jù),簡單介紹基本原理分兩步進行第一步：預聚類。對記錄進行初始的歸類，用戶自定義最大類別數(shù)。通過構建和修改特征樹（CTFree）完成。第二步：正式聚類。對第一步完成的初步聚類進行再聚類并確定最終的聚類方案，系統(tǒng)根據(jù)一定的統(tǒng)計標準確定聚類的類別數(shù)目。以后，可以通過傳統(tǒng)的聚類方法進行聚類（SPSS中采用合并型分層聚類法）。,輸出各變量在聚類中比重圖,,輸出出聚類餅分圖,,每個變量做一張條圖,,每一各類別做兩張,分別為連續(xù)與離散聚類,,重要性測度,,1、質心表和頻數(shù)表2、聚類分析表3、自動聚類結果表,,聚類數(shù)目,,數(shù)值越小效果越好,,BIC相鄰兩項差值,,看數(shù)據(jù)的峰值，看聚類效果。4、8、10、14類。,,BIC準則-SchwartzBayesianCriterion,,離散變量頻數(shù)表的圖形表示,,連續(xù)變量在各個類別中的誤差圖,,