SAS中的聚類分析方法總結(jié).docx

SAS中的聚類分析方法總結(jié)（1）聚類分析概述說起聚類分析，相信很多人并不陌生。這篇原創(chuàng)博客我想簡單說一下我所理解的聚類分析，歡迎各位高手不吝賜教和拍磚。 按照正常的思路，我大概會說如下幾個(gè)問題：1. 什么是聚類分析？2. 聚類分析有什么用？3. 聚類分析怎么做？下面我將分聚類分析概述、聚類分析算法及sas實(shí)現(xiàn)、案例三部分來系統(tǒng)的回答這些問題。聚類分析概述1. 聚類分析的定義中國有句俗語叫“物以類聚，人以群分”剔除這句話的貶義色彩。說白了就是物品根據(jù)物品的特征和功用可以分門別類，人和人會根據(jù)性格、偏好甚至利益結(jié)成不同的群體。分門別類和結(jié)成群體之后，同類（同群）之間的物品（人）的特征盡可能相似，不同類（同群）之間的物品（人）的特征盡可能不同。這個(gè)過程實(shí)際上就是聚類分析。從這個(gè)過程我們可以知道如下幾點(diǎn)：1) 聚類分析的對象是物（人），說的理論一點(diǎn)就是樣本2) 聚類分析是根據(jù)物或者人的特征來進(jìn)行聚集的，這里的特征說的理論一點(diǎn)就是變量。當(dāng)然特征選的不一樣，聚類的結(jié)果也會不一樣；3) 聚類分析中評判相似的標(biāo)準(zhǔn)非常關(guān)鍵。說的理論一點(diǎn)也就是相似性的度量非常關(guān)鍵；4) 聚類分析結(jié)果的好壞沒有統(tǒng)一的評判標(biāo)準(zhǔn)；2. 聚類分析到底有什么用？1) 說的官腔一點(diǎn)就是為了更好的認(rèn)識事物和事情，比如我們可以把人按照地域劃分為南方人和北方人，你會發(fā)現(xiàn)這種分法有時(shí)候也蠻有道理。一般來說南方人習(xí)慣吃米飯，北方習(xí)慣吃面食；2) 說的實(shí)用一點(diǎn)，可以有效對用戶進(jìn)行細(xì)分，提供有針對性的產(chǎn)品和服務(wù)。比如銀行會將用戶分成金卡用戶、銀卡用戶和普通卡用戶。這種分法一方面能很好的節(jié)約銀行的資源，另外一方面也能很好針對不同的用戶實(shí)習(xí)分級服務(wù)，提高彼此的滿意度。再比如移動會開發(fā)全球通、神州行和動感地帶三個(gè)套餐或者品牌，實(shí)際就是根據(jù)移動用戶的行為習(xí)慣做了很好的用戶細(xì)分聚類分析；3) 上升到理論層面，聚類分析是用戶細(xì)分里面最為重要的工具，而用戶細(xì)分則是整個(gè)精準(zhǔn)營銷里面的基礎(chǔ)。精準(zhǔn)營銷是目前普遍接納而且被采用的一種營銷手段和方式。3. 聚類分析的流程是怎樣的？比較簡單的聚類分析往往只根據(jù)一個(gè)維度來進(jìn)行，比如講用戶按照付費(fèi)情況分成高端用戶、中端用戶和低端用戶。這 個(gè)只需要根據(jù)商業(yè)目的統(tǒng)計(jì)一下相關(guān)數(shù)據(jù)指定一個(gè)高端、中端和低端的分界點(diǎn)標(biāo)準(zhǔn)就可以。如果是比較復(fù)雜的聚類分析，比如移動里面經(jīng)常會基于用戶的多種行為（通話、短信、gprs流失扥等）來對用戶進(jìn)行細(xì)分，這個(gè)就是比較復(fù)雜的用戶細(xì)分。如果是這樣的細(xì)分通常會作為一個(gè)比較標(biāo)準(zhǔn)的數(shù)據(jù)挖掘項(xiàng)目來執(zhí)行，所以基本上會按照數(shù)據(jù)挖掘的流程來執(zhí)行。具體分如下幾步：1) 業(yè)務(wù)理解主要是了解業(yè)務(wù)目標(biāo)和數(shù)據(jù)挖掘的目標(biāo)及執(zhí)行計(jì)劃2) 數(shù)據(jù)理解主要是弄清楚可已取哪些變量數(shù)據(jù)，具體怎么定義3) 數(shù)據(jù)整理根據(jù)之前的定義提取需要的數(shù)據(jù)，并進(jìn)行檢測異常數(shù)據(jù)，并對變量進(jìn)行挑選及探索，比如最終要用那些變量來執(zhí)行聚類算法、那些變量是離散變量，需要做特殊處理、數(shù)據(jù)大概可以聚成幾類、類別形狀有不規(guī)則的情形嗎？4) 建立模型關(guān)鍵是選用什么樣的距離(相似性度量)和算法：l比如是樣本比較小，形狀也比較規(guī)則，可以選用層次聚類l比如樣本比較大，形狀規(guī)則，各類的樣本量基本相當(dāng)，可以選用k-means算法l比如形狀規(guī)則，但是各類別之間的樣本點(diǎn)的密度差異很大，可以選用基于密度的算法5) 模型評估主要是評估聚類分析結(jié)果的好壞。實(shí)際上聚類分析在機(jī)器學(xué)習(xí)里面被稱之為無監(jiān)督學(xué)習(xí)，是沒有大家公認(rèn)的評估方法的。所以更多會從業(yè)務(wù)可解釋性的角度去評估聚類分析的好壞；6) 模型發(fā)布主要是根據(jù)聚類分析的結(jié)果根據(jù)不同的類的特診去設(shè)計(jì)不同的產(chǎn)品、服務(wù)或者渠道策略，然后去實(shí)施營銷4. 具體在sas里面如何執(zhí)行？通過前面的講解我們已經(jīng)知道，聚類分析涉及到如下6步，對應(yīng)著6步SAS都會有相應(yīng)的過程來執(zhí)行。1) 距離的計(jì)算：proc distance2) 數(shù)據(jù)標(biāo)準(zhǔn)化：proc stdize3) 聚類變量的選擇：proc varclus4) 初始類別數(shù)的選擇：proc mds和proc princomp5) 不規(guī)則形狀的變換：proc aceclus6) 算法的選擇：層次聚類-proc cluster 劃分型聚類-proc fastclus（k-means）和 密度型聚類-proc modeclus7) 類別特征描述：proc means以上四個(gè)部分就從是什么、為什么、怎么樣三個(gè)角度對聚類分析做了簡單的介紹。接下來的帖子我會重點(diǎn)介紹SAS中各種聚類算法的差異、應(yīng)用范圍及實(shí)際的案例。5. 用proc distance做什么？我們知道數(shù)據(jù)變量分四類：名義變量、次序變量、interval變量和ritio變量。但sas里面目前的聚類算法都要求變量時(shí)ratio變量。那想要對離散變量進(jìn)行聚類怎么呢？一種想法自然是講所有的離散變量都轉(zhuǎn)成0-1變量。這會有如下幾個(gè)問題：1) 變量的信息可能會有損失，比如次序型變量轉(zhuǎn)成0-1變量后，次序信息就很難保留；2) 當(dāng)離散變量的取值非常多時(shí)，轉(zhuǎn)成0-1變量后生成的新變量也會非常多，這樣也會造成很多處理上的不便；3) 0-1變量也沒法做標(biāo)準(zhǔn)化等等一些運(yùn)算，因?yàn)檫@種運(yùn)算其實(shí)是沒有意義的那該如何處理離散變量的聚類呢？答案是用proc distance。我們知道聚類過程中首先是從計(jì)算距離或者相似度開始的。一個(gè)很自然的想法就是針對離散變量定義有意義的距離（對離散變量和連續(xù)變量混合類型的數(shù)據(jù)）。Proc distance就是用來算這種距離的一個(gè)很好的過程。距離或者相似度可以看成是連續(xù)數(shù)據(jù)，自然就可以用sas里面的聚類算法了。6. 用proc stdize做什么？前面說過聚類算法首先要算的距離，然后通過距離來執(zhí)行后續(xù)的計(jì)算。在距離計(jì)算的過程方差比較大的變量影響會更大，這個(gè)通常不是我們希望看到。所以非常有必要講參與聚類的變量轉(zhuǎn)換成方差盡量相同。Proc stdize就能實(shí)現(xiàn)這種功能。Proc stdize不僅提供了將變量轉(zhuǎn)換了均值為0，方差轉(zhuǎn)換為1的標(biāo)準(zhǔn)化，還提供了很多其它類型的標(biāo)準(zhǔn)化。比如，range標(biāo)準(zhǔn)化（變量減去最小值除以最大值和最小值得差）7. 用proc varclus做什么？在做回歸分析的時(shí)候，我們知道變量過多會有兩個(gè)問題：1) 變量過多會影響預(yù)測的準(zhǔn)確，尤其當(dāng)無關(guān)緊要的變量引入模型之后；2) 變量過多不可避免的會引起變量之前的共線性，這個(gè)會影響參數(shù)估計(jì)的精度聚類分析實(shí)際上也存在類似的問題，所以有必要先對變量做降維。說到降維，馬上有人會說這個(gè)可以用主成分啊，這個(gè)的確沒錯(cuò)。但是主成分的解釋性還是有點(diǎn)差。尤其是第二主成分之后的主成分。那用什么比較好呢？答案是proc varclus斜交主成分。我們常說的主成分實(shí)際上正交主成分。斜交主成分是在正交主成分的基礎(chǔ)上再做了一些旋轉(zhuǎn)。這樣得到的主成分不僅能保留主成分的優(yōu)點(diǎn)（主成分變量相關(guān)程度比較低）。另外一方面又能有很到的解釋性，并且能達(dá)到對變量聚類的效果。使同類別里面的變量盡可能相關(guān)程度比較高，不同類別里面的變量相關(guān)程度盡可能低。這樣根據(jù)一定的規(guī)則我們就可以在每個(gè)類別里面選取一些有代表性的變量，這樣既能保證原始的數(shù)據(jù)信息不致?lián)p失太多，也能有效消除共線性。有效提升聚類分析的精度。8. 用proc mds 和proc princomp做什么？將原始數(shù)據(jù)降到兩維，通過圖形探測整個(gè)數(shù)據(jù)聚類后大致大類別數(shù)9. 用proc aceclus做什么？聚類算法尤其是k-means算法要求聚類數(shù)據(jù)是球形數(shù)據(jù)。如果是細(xì)長型的數(shù)據(jù)或者非凸型數(shù)據(jù)，這些算法的表現(xiàn)就會相當(dāng)差。一個(gè)很自然的變通想法就是，能不能將非球形數(shù)據(jù)變換成球形數(shù)據(jù)呢？答案是可以的。這就要用到proc aceclus。10. 標(biāo)準(zhǔn)化對聚類分析到底有什么影響？1) 在講影響之前先羅列一下proc stdize里面的標(biāo)準(zhǔn)化方法吧 2014-5-9 15:59:09 上傳下載附件 (140.66 KB) 2) 標(biāo)準(zhǔn)化對聚類分析的影響 從圖1中不太容易看清楚標(biāo)準(zhǔn)化對于聚類分析的影響 2014-5-9 16:02:55 上傳下載附件 (54.14 KB) 從圖2可以清晰的看到標(biāo)準(zhǔn)化對于聚類分析的影響 2014-5-9 16:04:14 上傳下載附件 (30.75 KB) 3) 各種標(biāo)準(zhǔn)化方法的比較一個(gè)模擬數(shù)據(jù)的例子，模擬數(shù)據(jù)有三個(gè)類別，每個(gè)類別有100個(gè)樣本。我們比較了各種標(biāo)準(zhǔn)化方法之后再進(jìn)行聚類的誤判情況，可以大概看出各種標(biāo)準(zhǔn)化方法的差異。但此例并不能說明以下方法中誤分類數(shù)小的方法就一定優(yōu)與誤分類數(shù)大的方法。有時(shí)候還跟數(shù)據(jù)本身的分布特征有關(guān)。這個(gè)例子也提醒我們有時(shí)候我們常用的std和range標(biāo)準(zhǔn)化并不見得是最好的選擇。 2014-5-9 16:07:39 上傳下載附件 (108.54 KB) 附：本節(jié)相關(guān)sas代碼就作為回帖吧。/*/*1.模擬數(shù)據(jù)1;測試標(biāo)準(zhǔn)化方法對聚類的影響 模擬數(shù)據(jù)，樣本量相同，均值和方差不相同*/*/data compact; keep x y c; n=100; scale=1; mx=0; my=0; c=1;link generate; scale=2; mx=8; my=0; c=2;link generate; scale=3; mx=4; my=8; c=3;link generate; stop; generate: do i=1 to n; x=rannor(1)*scale+mx; y=rannor(1)*scale+my; output; end; return;run;title 模擬數(shù)據(jù)1;proc gplot data=compact; plot y*x=c; symbol1 c=blue; symbol2 c=black; symbol3 c=red;run;proc stdize data=compact method=stdout=scompacted2;var x y;run;title 標(biāo)準(zhǔn)化后的模擬數(shù)據(jù)1;proc gplot data=scompacted2;plot y*x=c; symbol1 c=blue; symbol2 c=black; symbol3 c=red;run;/*/*2.create result table*/*/data result;length method$ 12;length misclassified 8;length chisq 8;stop;run;%let inputs=x y;%let group=c;%macro standardize(dsn=,nc=,method=);title "&method"%if %bquote(%upcase(&method)=NONE %then %do;data temp;set &dsn;run;%end;%else %do;proc stdize data=&dsn method=&method out=temp;var &inputs;run;%end;proc fastclus data=temp maxclusters=&nc least=2out=clusout noprint;var &inputs;run;proc freq data=clusout;tables &group*cluster / norow nocol nopercentchisq out=freqout;output out=stats chisq;run;data temp sum;set freqout end=eof;by &group;retain members mode c;if first.&group then do;members=0; mode=0;end;members=members+count;if cluster NE . then do;if count > mode then do;mode=count;c=cluster;end;end;if last.&group then do;cum+(members-mode);output temp;end;if eof then output sum;run;proc print data=temp noobs;var &group c members mode cum;run;data result;merge sum (keep=cum) stats;if 0 then modify result;method = "&method"misclassified = cum;chisq = _pchi_;pchisq = p_pchi;output result;run;%mend standardize;%standardize(dsn=compact,nc=3,method=ABW(.5);%standardize(dsn=compact,nc=3,method=AGK(.9);%standardize(dsn=compact,nc=3,method=AHUBER(.5);%standardize(dsn=compact,nc=3,method=AWAVE(.25);%standardize(dsn=compact,nc=3,method=EUCLEN);%standardize(dsn=compact,nc=3,method=IQR);%standardize(dsn=compact,nc=3,method=L(1);%standardize(dsn=compact,nc=3,method=L(2);%standardize(dsn=compact,nc=3,method=MAD);%standardize(dsn=compact,nc=3,method=MAXABS);%standardize(dsn=compact,nc=3,method=MEAN);%standardize(dsn=compact,nc=3,method=MEDIAN);%standardize(dsn=compact,nc=3,method=MIDRANGE);%standardize(dsn=compact,nc=3,method=NONE);%standardize(dsn=compact,nc=3,method=RANGE);%standardize(dsn=compact,nc=3,method=SPACING(.3);%standardize(dsn=compact,nc=3,method=STD);%standardize(dsn=compact,nc=3,method=SUM);%standardize(dsn=compact,nc=3,method=USTD);proc sort data=result;by misclassified;run;title 匯總數(shù)據(jù);title2 聚類判定類別錯(cuò)誤樣本數(shù)排序;proc print data=result;run;