北京大學 機器學習

機器學習概論 An Introduction to Machine Learning 鄧志鴻 北京大學信息科學技術學院 2013 2014學年第二學期 第一講 內容 課程簡介 機器學習簡介 淺議機器學習 課程簡介內容提要 教輔人員 參考資料 課程網站 課程要求及目的 課程考核機制 課程內容簡介 教輔人員 任課老師 鄧志鴻 辦公室：理科 2號樓 2318 電話： 62755592 Email： 個人主頁： http:/ 助教： 沈戈暉 實驗室：理科 2號樓 2320 Email： 電話 ： 62757756 魏亮晨 實驗室：理科 2號樓 2320 Email： 電話 ： 62757756 時間： 每周周一 34節(jié) 雙周周三 56節(jié) 地點 ：一教 204 課程簡介內容提要 教輔人員 參考資料 課程網站 課程要求及目的 課程考核機制 課程內容簡介 參考資料 參考 教材 Machine Learning (Tom Mitchell) 補充 材料 Journals Machine Learning; Journal of Machine Learning Research (JMLR) IEEE Transactions on Pattern Analysis and Machine Intelligence（ PAMI） Conferences 主流： AAAI, IJCAI, ICML, NIPS 自然語言處理： ACL, COLING, EMNLP 機器視覺與多媒體： CVPR, ICCV, ACM Mutilmedia 數據挖掘與檢索： KDD, SIGIR, WWW 課程簡介內容提要 教輔人員 參考資料 課程網站 課程要求及目的 課程考核機制 課程內容簡介 課程網站 網址： http:/ 機器學習概論 課程簡介內容提要 教輔人員 參考資料 課程網站 課程要求及目的 課程考核機制 課程內容簡介 課程要求 高等數學 微分、積分 概率統(tǒng)計 數據結構 編程語言 c, c+, java, Python 會用一種即可 有基本概念就 可以了 課程目的 了解和掌握機器學習的基本理論、算法和技術 問題背景 種類 基本方法和算法 理解已有機器學習 /數據挖掘系統(tǒng)的工作原理 已有很多相關軟件，能很方便實現分類、聚類等機 器學習任務。 Weka工具包 Matlab 不僅僅會用這些軟件，還要知道它是如何實現的。 能在今后的工作中應用機器學習的理論和方法解決 實際問題。 課程簡介內容提要 教輔人員 參考資料 課程網站 課程要求及目的 課程考核機制 課程內容簡介 課程考核機制 課堂小問題 希望大家踴躍參加 三個項目 分類 聚類 頻繁模式 挖掘及應用 考試 期末考試 課程成績構成 平時 10 項目 40 分類項目 15 聚類項目 10 模式挖掘項目 15 期末考試 50 項目說明 政策 1-3人組成一個團隊 (team)。 每個小組獨立完成項目。 鼓勵討論，但禁止小組間抄襲。 數據 適時發(fā)布在課程網站上 課程簡介內容提要 教輔人員 參考資料 課程網站 課程要求及目的 課程考核機制 課程內容簡介 課程內容簡介 數據生成與預處理 分類 聚類分析 關聯分析 課程內容數據生成與預處理 數據生成 結構化數據 關系數據 非結構化數據 文本 圖像 數據預處理 數據清洗 數據變換 數據歸約 特征選擇 (Feature Selection) 特征抽取 (Feature Extraction) 數據離散化 課程內容分類 符號邏輯方法 謂詞邏輯規(guī)則 Find-S, Candidate-Elimination, Decision Tree, Sequential Covering Algorithms 一階謂詞規(guī)則 FOIL 貝葉斯方法 相關基本概率概念以及貝葉斯公式 樸素貝葉斯方法 貝葉斯網絡 隱馬爾可夫模型（ HMM） k近鄰 (kNN) 主題模型 (選講 ) 課程內容介紹分類 神經網絡 感知器（線性） 前饋多層神經網絡（任意函數） 反向向 傳播 算法 深度學習（選講） 支持向量機 (SVM) 統(tǒng)計學習理論 線性 SVM 非線性 SVM 核函數 分類器集成 基本原理 基本 技術： Voting、 Bagging、 Boosting 課程內容介紹分類 其它話題（選講） 半監(jiān)督學習 生成模型 基于圖的方法 預測 分類 算法評估 基本度量 查全、查準、 評估方法 基本概念 基本方法 Holdout, Cross-validation, Bootstrap 課程內容聚類 相似性度量 距離 向量距離 編輯距離 相似系數 聚類間相似性度量 核心算法 層次聚類方法 層次凝聚聚類算法， 劃分聚類方法 K-Means， 密度聚類方法 DBSCAN 基于模型的方法 EM, SOM, 性能評估 課程內容關聯分析 基本概念 支持度、置信度、關聯規(guī)則、頻繁模式、 頻繁模式挖掘經典算法 Apriori算法 垂直算法 (Eclat and dEclat) FP-Growth算法 基于節(jié)點鏈表的算法 Algorithms based on node lists 最長模式和閉模式 交互挖掘 增量挖掘 高級話題 序列模式挖掘 我的重要 貢獻 第一講 課程簡介 機器學習簡介 淺議機器學習 機器學習簡介內容提要 必要性 基本定義 發(fā)展歷程 基本任務 相關領域 應用 必要性社會需求 機器人 各類機器人 對象識別 人臉檢測 指紋識別 語音識別 趨勢 人 更多的休閑時間 機器 更多的智能工作 IBM Watson Natural Language Processing, Information Retrieval, Machine Learning and Reasoning Algorithms. Models Answer 之前也有發(fā)生 ; 所以網絡管理員認 為可能是由客戶端 “ xx.xx.154.19”的 錯誤配置導致的。 評價挖掘系統(tǒng) COMP COMP Chinese-orient Option Mining system of Peking university 背景介紹 系統(tǒng)框架 模塊介紹 實驗分析 背景介紹 WWW上存在兩類信息 事實 (Facts) 門戶網站、公司主頁、個人主頁等 評價 (Opinions) 論壇，郵件，博客， 當前搜索引擎 對事實的搜索，事實可通過主題關鍵詞來表達 搜索引擎檢索無法有效檢索到評價 評價很難用關鍵詞表達出來 人們對諾基亞手機的總體評價 人們對“周正龍事件”的看法 背景介紹 目前人們可以通過論壇、 BBS、博客等等 WWW服務方便地發(fā)表自己的觀點和體驗。 這些評價信息包含了非常有價值的信息 個人 購買商品時，可以參考 WWW眾多網友的意見，而不局限 于周圍的朋友 企業(yè) 產品在用戶中的優(yōu)點和缺點 政府 政策在群眾中的反映 評價挖掘 挖掘 WWW文本資源中的評價信息 應用廣泛 評價挖掘任務 特征 評價的對象 如“諾基亞 N73”， “彩鈴”， 評價 表達情感的詞（一般是形容詞） 如“好”，“差”，“一般”等 “ 諾基亞 N73手機很好用 ” 評價信息 挖掘處理 特征：諾基亞 N73 評價：很好 系統(tǒng)框架 數據采集與 清洗模塊 評價信息 數據庫 特征提取 模塊 評價挖掘 模塊 詞典 特征庫 用戶查詢 接口 用戶 評價信息 WWW 特征評價 數據庫 數據采集與清洗模塊介紹 手動選擇評價網 站或網頁 網站或網頁 列表 原始評價 信息庫 網絡 爬蟲 網頁 預處理 自然 語言 處理 預處理后 評價庫 評價信息 數據庫 預處理模塊： 過濾網頁標簽 過濾無關評價 按照評價的邏輯結構組 織評價 自然語言處理模塊： 分詞 詞性標注 特征提取模塊介紹 特征分為兩類 由單個名詞描述的特征 由名詞性短語描述的特征 使用基于統(tǒng)計的方法，提取由名詞或名詞性短語表示 的特征 頻繁序列挖掘：挖掘頻繁名詞或名詞序列，作為候選特征 過濾處理：過濾高頻詞或其它不大可能是特征的候選特征 頻繁 模式 挖掘 處理 評價 數據庫 名 詞 提 取 評價中 出現的 名詞庫 候選 特征庫 過濾 處理 特征庫 無效 特征庫 實驗數據 數據源 塞班智能手機網 N73專區(qū) http:/ 太平洋社區(qū) N73專區(qū) http:/ 數據量 原始數據 63679條 過濾后有效數據為 59129條 結果分析 特征 情感評價值 總評價主題 數 積極評價主 題數 消極評價主 題數 電 2.8730 51 17 2 圖標 1.7103 59 17 9 鈴聲 0.1481 193 45 10 信號 0.0232 72 11 8 下表是對 4個特征的情感分析的結果 其中： 電，圖標 是情感評價值最高的兩個特征；而 鈴聲，信號 是情感 評價值最低的兩個特征 最容易影響人們對手機的印象是這兩類特征： 一是容易出問題，使手機用戶產生困擾的特征 二是容易出個性，使手機用戶與眾不同的特征。 結果展示 SIGMA系統(tǒng)框架 科研文獻資源庫 數據預處理 元數據庫 科研學術 知識庫 用戶界面 數據源 網絡爬蟲 API接口 聚類分析 自動排級 演化分析 主題建模 SIGMA系統(tǒng)的邏輯視圖與知識庫 知識庫設計 邏輯視圖 系統(tǒng)特色 本系統(tǒng)在學術文獻信息網絡的統(tǒng)一框架下，實現多層次，全方位 的科研資源檢索服務，為與學術研究相關的不同層次的用戶提供 靈活 、 全方位 的信息檢索服務。 相關系統(tǒng) 國際 Google Scholar DBLP CiteSeer 國內 萬方 中國學術文獻網 中國知網 C_DBLP “我國計算機軟件領域有哪些重要的文獻” 提供不了檢索結果 能回答如下問題 系統(tǒng)功能特色 鄧志鴻詳情 英文論文 中文論文 被引論文 論文詳情 引文下載 論文下載 期刊詳情 發(fā)文期刊 單位詳情 合作作者 合作作者詳情 研究方向 研究方向詳情 搜索“鄧志鴻” 系統(tǒng) 展示 系統(tǒng)資源 作者人數 : 111,836 一級論文總數： 87,371 有詳細出版信息并提供了萬方全文下載地址 二級論文總數： 944,891 可通過集成的 google接口進行搜索。 科研單位總數： 17,683 系統(tǒng)界面 系統(tǒng)展示專業(yè)領域瀏覽 系統(tǒng)展示專業(yè)領域瀏覽 系統(tǒng)展示研究熱點與趨勢 系統(tǒng)展示研究熱點與趨勢 系統(tǒng)展示專業(yè)科研力量瀏覽 第一講 課程簡介 機器學習簡介 淺議機器學習 關于“學習” 學習算法表示評價優(yōu)化 表示：知識建模，即采用什么形式來概括（ 或抽象表示）數據。某類表示形式構成假設 空間（ hypothesis space）。 評價：度量學習結果的標準或依據，通常對 不同的問題有不同的評價函數。 優(yōu)化：根據評價函數在假設空間中找得分最 高的表示示例（分類器）。 機器學習算法組成部分 重要問題 泛化（ Generalization） 機器學習的目標是對訓練集合中樣例的泛化 。所謂泛化，指學習到的結果（知識）對非 訓練集合中的未知樣例的預測盡可能對。 原因 訓練樣例僅僅占全部樣例的極小極小一部分，甚 至可以忽略不計 DTraining Dall 重要問題 過擬合（ Overfitting） 過度關注訓練樣例的特征，使得學到的知識 泛化性差 例如： 在訓練樣例上的準確率為 100 在測試樣例上的準確率為 50 常用策略 通過交叉驗證進行處理 奧卡姆剃刀 (Occams Razor) 重要問題 維度災難 (Curse of dimensionality) 許多在低維空間表現很好的算法，當輸入是高維數 據的時候，就變得計算不可行或效果很差。 原因 隨著樣例維度的增長，樣例空間將以指數增長。因此，同 等規(guī)模的訓練集只能覆蓋越來越少樣例，即所占比例將以 指數減少，從而造成正確泛化的難度以指數增長。 樣例空間為 100維的布爾空間 樣例的個數為 2100 1萬億的訓練樣例這樣超大規(guī)模的訓練集合也僅是樣例空間 的 10-18 解決方案 降維 重要問題 理論保證（ Theoretical Guarantees） 機器學習采用的是歸納推理。因此，難于保 證結果的正確性。 從概率統(tǒng)計的角度上認識機器學習在理論保 證方面的問題。 意義 不是作為機器學習實踐應用中決策標準 而是理解算法和推動算法發(fā)展的源泉 下一講 數據生成與預處理 See you next time