變形預(yù)報(bào)人工神經(jīng)網(wǎng)絡(luò)法ppt課件
《變形預(yù)報(bào)人工神經(jīng)網(wǎng)絡(luò)法ppt課件》由會(huì)員分享,可在線閱讀,更多相關(guān)《變形預(yù)報(bào)人工神經(jīng)網(wǎng)絡(luò)法ppt課件(19頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
第八章 變形預(yù)報(bào)的人工神經(jīng)網(wǎng)絡(luò)法,§8.1 概述 §8.2 BP網(wǎng)絡(luò)及其訓(xùn)練算法 §8.3 BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì) §8.4 相似相關(guān)系數(shù)法確定BP網(wǎng)絡(luò)結(jié)構(gòu) §8.5 主要成分確定BP網(wǎng)絡(luò)結(jié)構(gòu) §8.6 大樣本確定BP網(wǎng)絡(luò)結(jié)構(gòu) §8.7 訓(xùn)練樣本質(zhì)量對(duì)BP網(wǎng)絡(luò)推廣能力的影響 §8.8 BP網(wǎng)絡(luò)的推廣能力及網(wǎng)絡(luò)性能的評(píng)估 §8.9 BP網(wǎng)絡(luò)的改進(jìn)算法分析 §8.10 BP網(wǎng)絡(luò)的智能訓(xùn)練算法,1,§8.1 概述,人的大腦是自然界所造就的最高級(jí)產(chǎn)物。人的思維主要可概括為邏輯四維和想象四維兩種。過(guò)去以規(guī)則為基礎(chǔ)的知識(shí)系統(tǒng)可被認(rèn)為是致力于模擬人的邏輯思維,而人工神經(jīng)網(wǎng)絡(luò)則可被認(rèn)為是探索人的形象思維。根據(jù)19世紀(jì)末創(chuàng)建的神經(jīng)元學(xué)說(shuō),神經(jīng)元的結(jié)構(gòu)如下圖所示,8.1.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念和特征,2,神經(jīng)元是由細(xì)胞體、樹突、軸突和突觸4部分組成。,神經(jīng)元群或者神經(jīng)網(wǎng)絡(luò)系統(tǒng)對(duì)外界有興趣和抑制兩種反應(yīng),興奮指的是相對(duì)靜止變?yōu)橄鄬?duì)活動(dòng),抑制是指由相對(duì)活動(dòng)變?yōu)橄鄬?duì)靜止。神經(jīng)元之間信息的傳遞形式有正、負(fù)兩種連接。正在接呈相互激發(fā);負(fù)連接呈相互抑制。神經(jīng)元之間的連接強(qiáng)度和積極性可以有所不同,并且都可進(jìn)行調(diào)整,因此人腦才可以有存儲(chǔ)信息的功能。 為了模擬人腦神經(jīng)元網(wǎng)絡(luò)的功能,心里學(xué)家McClloch和數(shù)學(xué)家Pitts就對(duì)人腦神經(jīng)元進(jìn)行了形式描述,抽象出了人工神經(jīng)元結(jié)構(gòu)模型,如下圖。,3,此人工神經(jīng)元一般簡(jiǎn)稱為神經(jīng)元,有時(shí)也成為結(jié)點(diǎn)。其中 為神經(jīng)元的內(nèi)部狀態(tài),有時(shí)也用來(lái)表示神經(jīng)元本身, 為閾值, 為輸入信號(hào), 為外部輸入信號(hào)。記 表示從 到 連接的權(quán)值, 為輸出,則上述模型可表示為,(8-1),(8-2),(8-3),當(dāng)神經(jīng)元沒有內(nèi)部狀態(tài)時(shí),可令 h=f (8-4),當(dāng)有n個(gè)輸入神經(jīng)元記 (8-5),4,,為神經(jīng)元 的輸入。當(dāng) 來(lái)自某一神經(jīng)元的輸出時(shí),也記其為 ,而且在沒有內(nèi)部狀態(tài)時(shí),常把閾值也看做一個(gè)權(quán)值,于是,(8-6),其中, ,,由諸多人工神經(jīng)元按一定連接方式由權(quán)值連接構(gòu)成的網(wǎng)絡(luò)就成為人工神經(jīng)網(wǎng)絡(luò),有時(shí)也成為人工神經(jīng)元網(wǎng)絡(luò)。從系統(tǒng)觀點(diǎn)看,人工神經(jīng)網(wǎng)絡(luò)是由大量通過(guò)極其豐富和完善的連接而構(gòu)成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng),由于神經(jīng)元之間有著不同的連接方式,所以組成不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)是可能的。,5,人工神經(jīng)網(wǎng)絡(luò)技術(shù)是近年來(lái)發(fā)展起來(lái)的新技術(shù),有著廣闊的應(yīng)用領(lǐng)域,發(fā)展速度也很快,有很好的應(yīng)用前景。其具有以下突出特征: (1)具有大規(guī)模并行處理和信息分布式存儲(chǔ)能力。 (2)具有容錯(cuò)性和魯棒性。主要表現(xiàn)在神經(jīng)網(wǎng)絡(luò)中某個(gè)神經(jīng)元的損壞,或某兩個(gè)神經(jīng)元之間的連接損壞,或某個(gè)神經(jīng)元的輸入有偏差時(shí),網(wǎng)絡(luò)的性能沒有明顯改變。 (3)具有自學(xué)習(xí)呢能力適用于實(shí)際樣本中提取特征,獲取知識(shí)。 (4)它具有較的非線性的非線性動(dòng)態(tài)處理能力,無(wú)需知道自變量和因變量之間的關(guān)系,就可實(shí)現(xiàn)高度非線性映射,因而可以處理復(fù)雜的、數(shù)量關(guān)系不明確的問(wèn)題,包括大壩變性分析與預(yù)報(bào)及安全性評(píng)價(jià)、環(huán)境評(píng)價(jià)等問(wèn)題。,6,8.1.2 人工神經(jīng)網(wǎng)絡(luò)模型,人工神經(jīng)網(wǎng)絡(luò)依照其結(jié)構(gòu)、狀態(tài)和學(xué)習(xí)方式的不同,可將人工神經(jīng)網(wǎng)絡(luò)按不同方式進(jìn)行分類: (1)按網(wǎng)絡(luò)結(jié)構(gòu)可分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)兩大類。前饋型模型有明顯的層次關(guān)系,信息單方向的從輸入層向輸出層流動(dòng),反饋型網(wǎng)絡(luò)沒有明顯的層次關(guān)系,信息的傳輸存在反饋機(jī)制。 (2)從神經(jīng)元的狀態(tài)上神經(jīng)網(wǎng)絡(luò)有兩種劃分方案:一種按神經(jīng)元取值狀態(tài)是連續(xù)的還是離散的劃分,神經(jīng)網(wǎng)絡(luò)可分為離散型神經(jīng)網(wǎng)絡(luò)和連續(xù)型神經(jīng)網(wǎng)絡(luò)。 (3)按照學(xué)習(xí)方式可分為有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)和無(wú)導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。 (4)從系統(tǒng)的觀點(diǎn)來(lái)看,神經(jīng)網(wǎng)絡(luò)可分為兩大類:即非線性映射網(wǎng)絡(luò)和非線性動(dòng)力學(xué)網(wǎng)絡(luò)。,7,美國(guó)加州大學(xué)的Rumelhart和MeClelland以及他們的同事在探索人類知識(shí)微結(jié)構(gòu)的過(guò)程中簡(jiǎn)明的提出一種ANN的誤差反向傳播網(wǎng)絡(luò)通常稱為BP網(wǎng)絡(luò),對(duì)應(yīng)的算法稱為誤差反傳算法,它是當(dāng)今神經(jīng)網(wǎng)絡(luò)中使用最廣泛的一種。本章主要針對(duì)BP網(wǎng)絡(luò)及其在過(guò)程變性分析與預(yù)報(bào)中的應(yīng)用,研究和論述如下問(wèn)題: (1)BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的算法 (2)BP網(wǎng)絡(luò)的推廣能力和網(wǎng)絡(luò)性能的評(píng)估標(biāo)準(zhǔn),以及訓(xùn)練樣本質(zhì)量對(duì)BP網(wǎng)絡(luò)性能的影響 (3)BP網(wǎng)絡(luò)訓(xùn)練收斂標(biāo)準(zhǔn) (4)BP網(wǎng)絡(luò)的訓(xùn)練算法,8,§8.2 BP網(wǎng)絡(luò)及其訓(xùn)練算法,8.2.1 BP網(wǎng)絡(luò)結(jié)構(gòu) 從結(jié)構(gòu)上看,BP網(wǎng)絡(luò)是典型的多層網(wǎng)絡(luò),它不僅有輸入層結(jié)點(diǎn)、輸出層結(jié)點(diǎn),而且有一層或多層隱含層結(jié)點(diǎn)。在BP網(wǎng)絡(luò)中,層與層之間多采用全互連方式,但同一層的結(jié)點(diǎn)之間不存在相互連接。 一個(gè)三層BP網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示。圖中 表示輸出層的輸出; 表示隱含層的輸出; 表示輸入層的輸入; 表示從隱含層結(jié)點(diǎn)到輸出層節(jié)點(diǎn)的連接權(quán); 表示從輸入層結(jié)點(diǎn)到隱含層結(jié)點(diǎn)的連接權(quán);在后面的討論中,小標(biāo)I、j、k分別表示輸出接點(diǎn)、隱含層結(jié)點(diǎn)和輸入結(jié)點(diǎn);M、L、N分寫表示輸入結(jié)點(diǎn)、隱含層結(jié)點(diǎn)和輸入結(jié)點(diǎn)的數(shù)量。,9,從形式看BP網(wǎng)絡(luò)和感知機(jī)十分相似,但他們之間存在著重要差別。第一,在多層感知機(jī)結(jié)構(gòu)中,只有一層之間的連接權(quán)值可調(diào),而其他各層之間的連接權(quán)值是固定的;但在BP網(wǎng)絡(luò)則不同,它的每一層之間的連接權(quán),10,值都是可調(diào)的。第二,感知機(jī)結(jié)構(gòu)中的處理結(jié)點(diǎn)呈線性輸入或輸出關(guān)系,其結(jié)點(diǎn)狀態(tài)為二進(jìn)制的0和1;而BP網(wǎng)絡(luò)除輸入層處理結(jié)點(diǎn)外,其他層的處理結(jié)點(diǎn)均為非線性輸入或輸出關(guān)系,即要求這些處理結(jié)點(diǎn)的特征函數(shù)應(yīng)是可微的,這些節(jié)點(diǎn)的激勵(lì)函數(shù)通常為S型函數(shù),其最一般的形式為,參數(shù) 、 與 一樣,可在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中調(diào)整。不過(guò)輸出參數(shù)一般都可經(jīng)過(guò)某種數(shù)學(xué)轉(zhuǎn)換或歸一化到[0,1]區(qū)間,常用BP網(wǎng)絡(luò)的激勵(lì)函數(shù)為,式中,11,在應(yīng)用BP網(wǎng)絡(luò)時(shí),必須清楚兩點(diǎn):第一,網(wǎng)絡(luò)學(xué)習(xí)過(guò)程需要正向傳播和反向傳播 ,一但網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練用于問(wèn)題求解,則只需正向傳播,而不需要在進(jìn)行反向傳播;第二,從網(wǎng)絡(luò)學(xué)習(xí)的角度看,信息在網(wǎng)絡(luò)中的傳播是雙向的,但并不意味著網(wǎng)絡(luò)的層與層之間的連接也是雙向的,因此,誤差反向傳播的BP網(wǎng)絡(luò)是一種前饋網(wǎng)絡(luò)。,8.2.2 誤差反傳訓(xùn)練算法,上述BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程,具體實(shí)施時(shí)是依據(jù)誤差從輸出層往輸入層逐層進(jìn)行權(quán)值修正,所以盡管一系列有關(guān)的公式本質(zhì)上來(lái)自梯度算法,但人們常把BP網(wǎng)絡(luò)的學(xué),12,,,,,習(xí)算法稱為誤差反傳訓(xùn)練算法。 設(shè)歸一化后訓(xùn)練樣本為 (8-11),P是訓(xùn)練樣本點(diǎn)數(shù),樣本點(diǎn) 為,(8-12),對(duì)于每一個(gè)樣本結(jié)點(diǎn),有N個(gè)輸入,M個(gè)輸出。,對(duì)于給定的某個(gè)樣本點(diǎn),有如下結(jié)果: 輸入層結(jié)點(diǎn)的輸入 (8-13),輸入層結(jié)點(diǎn)的輸出 (8-14),隱含層結(jié)點(diǎn)的輸入 (8-15),隱含層結(jié)點(diǎn)的輸出 (8-16),13,,,,,輸出層結(jié)點(diǎn)的輸入 (8-17),輸出層結(jié)點(diǎn)的輸出 (8-18),式中, , 分別為輸出結(jié)點(diǎn)i和隱含層結(jié)點(diǎn)j的閾值;f(.)是這些結(jié)點(diǎn)的激勵(lì)函數(shù),如式(8-10)的Sigmoid函數(shù)。,在誤差反轉(zhuǎn)訓(xùn)練算法的學(xué)習(xí)過(guò)程中,通常的誤差測(cè)度準(zhǔn)則是平方誤差最小,即能量函數(shù)為 (8-21),式中, 為輸出層結(jié)點(diǎn)i的期望輸出值, 為輸出層結(jié)點(diǎn)i的網(wǎng)絡(luò)實(shí)際輸出值, 、 ,急需通過(guò)BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和算法確定。 我們知道,在n維空間定義的函數(shù)Q=Q(x)的改變率為最大的方向是Q在這一點(diǎn)斜量,即梯度,14,,,,,(8-22),顯然,E相當(dāng)于定義在 構(gòu)成高維空間上的一個(gè)函數(shù),因此,取E在 空間上的最速下降應(yīng)取,(8-24),于是,修正量可表示為,(8-26),由式(8-26),則式(8-24)可改寫為,(8-27),由上式可知,15,,,,,(8-31),(8-36),(8-38),從而對(duì)輸出層可直接得 (8-39),上述各式構(gòu)成了BP網(wǎng)絡(luò)完整的誤差反傳訓(xùn)練算法,8.2.3 BP網(wǎng)絡(luò)的學(xué)習(xí)步驟 根據(jù)上述所推導(dǎo)的誤差反傳訓(xùn)練算法,BP網(wǎng)絡(luò)的學(xué)習(xí)步驟如下: (1)初始化網(wǎng)絡(luò)學(xué)習(xí)參數(shù),即將隱含層和輸出層各節(jié)點(diǎn)的連接權(quán)值、神經(jīng)元閾值賦予某一區(qū)間的一個(gè)隨機(jī)數(shù),16,,(2)將樣本的輸入/輸出參數(shù)化為至[0,1]區(qū)間 (3)提供訓(xùn)練樣本,即從訓(xùn)練樣本集合中選出一個(gè)訓(xùn)練樣本,將樣本中的自變量賦予輸入層的相應(yīng)結(jié)點(diǎn),將樣本中的因變量賦予輸出層的相應(yīng)的結(jié)點(diǎn)。 (4)正向傳播過(guò)程,即對(duì)給定的輸入樣本,從第一隱含層開始,依權(quán)值和激勵(lì)函數(shù)的作用在輸出結(jié)點(diǎn)算得網(wǎng)絡(luò)輸出值,并計(jì)算網(wǎng)絡(luò)輸出與樣點(diǎn)真實(shí)輸出之間的均方差, (5)反向傳播過(guò)程,即從輸出層反向計(jì)算到第一隱含層,首先計(jì)算同一層結(jié)點(diǎn)的誤差 ,然后按梯度法修正權(quán)值,再用修正后的各結(jié)點(diǎn)連接權(quán)值轉(zhuǎn)到第(3步)重新計(jì)算,8.2.4 BP網(wǎng)絡(luò)的優(yōu)點(diǎn)及存在的問(wèn)題 BP網(wǎng)絡(luò)模型是目前神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種,,17,,,,它有自己的優(yōu)點(diǎn),也存在一些缺點(diǎn)。BP網(wǎng)絡(luò)主要優(yōu)點(diǎn)如下: (1)算法推導(dǎo)清楚,學(xué)習(xí)精度較高。 (2)從理論上說(shuō),可以使多層前饋網(wǎng)絡(luò)學(xué)會(huì)任何可學(xué)習(xí)的東西。 (3)經(jīng)過(guò)訓(xùn)練后的BP網(wǎng)絡(luò),運(yùn)行速度極快,可用于實(shí)時(shí)處理。 BP也存在不少問(wèn)題,只要表現(xiàn)在以下方面: (1)BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如何確定問(wèn)題 (2)已學(xué)習(xí)好的網(wǎng)絡(luò)的推廣問(wèn)題,即能否逼近規(guī)律和對(duì)于大量未經(jīng)學(xué)習(xí)過(guò)程的輸入樣本也能正確處理,并且網(wǎng)絡(luò)是否具有一定的預(yù)測(cè)能力。 (3)學(xué)習(xí)算法的收斂速度很慢,通常需要數(shù)千步或更長(zhǎng),甚至還可能不收斂。 (4)由于它的數(shù)學(xué)基礎(chǔ)是非線性優(yōu)化問(wèn)題,因此,存,18,,,,在不少局部最小點(diǎn),在某些初始值的條件下,算法的結(jié)果會(huì)陷入局部最??;另一方面,基于BP網(wǎng)絡(luò)的誤差曲面存在一些平坦區(qū),在此區(qū)內(nèi)誤差改變很小,這些平坦區(qū)多數(shù)發(fā)生在神經(jīng)元的輸出接近于0或1的情況下。 (5)激活函數(shù)的選取問(wèn)題。 (6)誤差函數(shù)的選取問(wèn)題。 (7)網(wǎng)絡(luò)訓(xùn)練中參數(shù)的合理設(shè)置,如初始權(quán)重的設(shè)置問(wèn)題、動(dòng)量系數(shù) 和學(xué)習(xí)速率 確定的問(wèn)題、從樣本集合中如何選取訓(xùn)練樣本和測(cè)試樣本等。 (8)如何評(píng)價(jià)已學(xué)習(xí)好的網(wǎng)絡(luò)的性能,即評(píng)價(jià)準(zhǔn)則是什么。,19,- 1.請(qǐng)仔細(xì)閱讀文檔,確保文檔完整性,對(duì)于不預(yù)覽、不比對(duì)內(nèi)容而直接下載帶來(lái)的問(wèn)題本站不予受理。
- 2.下載的文檔,不會(huì)出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請(qǐng)點(diǎn)此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
20 積分
下載 |
- 配套講稿:
如PPT文件的首頁(yè)顯示word圖標(biāo),表示該P(yáng)PT已包含配套word講稿。雙擊word圖標(biāo)可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國(guó)旗、國(guó)徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計(jì)者僅對(duì)作品中獨(dú)創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 變形 預(yù)報(bào) 人工 神經(jīng)網(wǎng)絡(luò) ppt 課件
鏈接地址:http://italysoccerbets.com/p-1308882.html