人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室.ppt

《人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室.ppt》由會員分享，可在線閱讀，更多相關(guān)《人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室.ppt（75頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

戴國忠人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室 人機(jī)交互技術(shù)和實(shí)物操作界面 TUI TangibleUserInterface 人機(jī)交互技術(shù)和用戶界面無處不在計(jì)算及其用戶界面實(shí)物操作界面 TUI 提綱 DouglasC Engelbart 什么造就了計(jì)算機(jī)輝煌歷史 NationalMedalofTechnology 2000IEEE JohnVonNeumannMedalAward 1999ACM A M TuringAward 1997影響幾代人 創(chuàng)造計(jì)算機(jī)的歷史 PCplusGUImadethehistory ThingsbehindGUIDesktopmetaphorWIMP Windows icons menu andpointer DirectmanipulationandWYSIWYGKillerapplicationWordprocessingElectronicspreadsheet 什么造就了計(jì)算機(jī)輝煌歷史 計(jì)算機(jī)是什么 無處不在的計(jì)算 DesktopPC TabletPC PocketPC PhonePC WristPC 無線連接 計(jì)算機(jī)是什么 PC手寫設(shè)備 計(jì)算機(jī)是什么 Roomware 1950年 大型機(jī)計(jì)算時代多人一機(jī)1975年 PC計(jì)算時代信息交流一人一機(jī)2000年 普適計(jì)算時代服務(wù)一人多機(jī) 字符用戶界面鍵盤圖形用戶界面鼠標(biāo) GUI WIMP新世紀(jì)用戶界面 筆 語音 計(jì)算機(jī)是什么 計(jì)算的三次革命 計(jì)算空間 角色 界面 計(jì)算機(jī)是什么 計(jì)算的三次革命 一只眼睛十一個指頭 計(jì)算機(jī)能做什么 不能做什么 計(jì)算機(jī)計(jì)算模式 1 2 人 環(huán)境 活動 Desktop 無處不在的計(jì)算 Mainframe 大型機(jī) 臺式機(jī) 移動環(huán)境 三維空間 Postdesktop 鍵盤 鼠標(biāo) 文本命令 GUI命令 WIMP PostWIMP NonWIMP NonWIMP 人機(jī)環(huán)境 虛擬現(xiàn)實(shí)VR 無處不在的計(jì)算AR 辦公自動化 科學(xué)計(jì)算 用戶界面的發(fā)展歷史 1 3 人機(jī)交互和用戶界面 計(jì)算機(jī)應(yīng)用的主要障礙 硬件 摩爾定律 18個月翻一倍 軟件 每五年升一代界面 15 20年換一代60年代一70年代 鍵盤 字符界面80年代一90年代 鼠標(biāo) 圖形界面21世紀(jì) 新一代界面 凡有助于縮小人機(jī)隔閡 建立和諧人機(jī)環(huán)境的理論 方法 技術(shù)和產(chǎn)品都具有強(qiáng)大的生命力 什么是今后計(jì)算機(jī)應(yīng)用的障礙 計(jì)算機(jī)硬件技術(shù)已不是阻礙人機(jī)交互和用戶界面 計(jì)算機(jī)應(yīng)用的主要障礙人機(jī)交互技術(shù)一21世紀(jì)重大信息技術(shù) 計(jì)算機(jī)研究發(fā)展的主干 計(jì)算如硬件技術(shù) 計(jì)算機(jī)軟件技術(shù) 智能接口技術(shù) 863計(jì)劃計(jì)算機(jī)發(fā)戰(zhàn)研討會2002 1 18 一 普適計(jì)算的認(rèn)識 1 UbiquitousComputing ubicopm MarkWeiser1991Avision 人 環(huán)境 計(jì)算資源基礎(chǔ)設(shè)施 Net Devicesatvaryingscales任何時間任何地點(diǎn)提供信息和服務(wù)Anewparadigmsofinteraction FocusonApplicationsTherealpurposeforubiquitouscomputing ofcourse aretheapplications MarkWeiser 普適計(jì)算的認(rèn)識 2 普適計(jì)算的認(rèn)識 3 UbiquitousComputing多人可以使用的計(jì)算 計(jì)算環(huán)境如交互墻 會議室 電子白板 教室 普遍 到處無處不在的計(jì)算PervasiveComputing Computingpervasive 個人所擁有的計(jì)算 日用品如可穿戴計(jì)算設(shè)備擴(kuò)散 滲透 普適計(jì)算的認(rèn)識 4 人機(jī)融合過程 人 計(jì)算機(jī) 弱智十奇才 人適應(yīng)計(jì)算機(jī) 計(jì)算機(jī)適應(yīng)人 主機(jī)時代 PC時代 普適時代 普適計(jì)算中人機(jī)交互的三個主題 自然界面 naturalinterfaces 上下文感知應(yīng)用 context aware 基于物理和計(jì)算環(huán)境感知到的信息的行為 簡單的上下文 重用性 和復(fù)雜的上下文自動捕捉及訪問 automatedcaptureandaccess 無處不在計(jì)算的應(yīng)用試圖自動捕捉生活經(jīng)歷 提供以后對這些經(jīng)歷的靈活訪問 普適計(jì)算中人機(jī)交互的三個特征 自然化多通道模糊非結(jié)構(gòu)連續(xù) 人性化顯式感知 符號 動作 表象 情感 隱式感知 用戶意圖捕捉智能化學(xué)習(xí)能力數(shù)據(jù)挖掘 自然界面 1 IntegrateintohumanlifePeninputGestureSpeechPerceptualUITangibleUI脫離桌面 自然界面 2 第一類自然數(shù)據(jù)類型 First ClassNaturalDataTypes 視覺 聽覺 筆畫 作為基本數(shù)據(jù)類型 并支持對這類數(shù)據(jù)類型的操作 基于識別交互的容錯技術(shù)識別的準(zhǔn)確度 糾錯的復(fù)雜度及有效度1 減少錯誤2 發(fā)現(xiàn)錯誤3 可修正錯誤 location identity objects 上下文感知 1 上下文感知 2 上下文定義 為什么 結(jié)果 誰使用 用戶十環(huán)境十它人 做什么 用戶行為 何時 何地 上下文表示上下文融合 自動捕捉及訪問生活經(jīng)歷 信息獲取 聽 看 記錄 提取聽 看 提取 記錄目的 計(jì)算機(jī)擅長十人擅長主要應(yīng)用 會議室 課堂環(huán)境 個人note takingPhoneslaveXcaptureClassroom2000捕捉 源信息流記錄十關(guān)健信息的捕捉訪問 多捕捉流同步重放 普適計(jì)算面臨的其它挑戰(zhàn) 評估人的需求使用的可信度方法 以任務(wù)為中心的評估技術(shù)是不合適 社會問題安全性 可視性 可控制性 個人隱私 普適計(jì)算的理解 1 三個層次 計(jì)算為基礎(chǔ)層次 提供必要的軟硬件技術(shù)計(jì)算機(jī)科學(xué)信息交流計(jì)算設(shè)備之間的交流 計(jì)算機(jī)網(wǎng)絡(luò)人機(jī)交流 人機(jī)界面計(jì)算機(jī)科學(xué) 心理學(xué)等學(xué)科 服務(wù)沒有感覺計(jì)算的存在 卻無處不在的享受著服務(wù) 計(jì)算主要以服務(wù)的形態(tài)提供人們 并自然地融入社會計(jì)算機(jī)科學(xué) 社會科學(xué) 普適計(jì)算的理解 2 三個層次 mobility Interfacetransparency Desktopcomputing MobileComputing WearableComputing UbiquitousComputing 計(jì)算信息交流服務(wù) 從社會科學(xué)的角度出發(fā)從根本上徹底改造技術(shù)以適應(yīng)人目標(biāo)是使人獲得真正的效率使得計(jì)算機(jī) Invisible 最好的仆人是看不見的仆人 多種多樣的服務(wù)形式 更為自然信息獲取 普適計(jì)算的用戶界面 普適計(jì)算的用戶界面 充分利用人們在現(xiàn)實(shí)生活中的獲得的生活體驗(yàn) 易學(xué)習(xí)自然直觀的用戶界面直接將人們在現(xiàn)實(shí)生活中和物體的交互動作映射為和信息空間的交互過程 信息技術(shù)的尷尬 TUI的動機(jī) 傳統(tǒng)的計(jì)算工具結(jié)繩記事沙漏計(jì)時算盤簡單 可觸摸 易學(xué)習(xí)觸覺和肌肉運(yùn)動知覺現(xiàn)在的數(shù)字技術(shù)功能強(qiáng)大 學(xué)習(xí)門檻高人們必須不斷學(xué)習(xí)適應(yīng)其發(fā)展原因 生活經(jīng)驗(yàn)毫無用處 界面本身就是新生事物 信息空間和物理空間 Bits Atoms PO PO PO EY PO Physicalobject EY Entity EY EY Mouse 信息空間 Bits 物理空間 Atoms 信息空間和物理空間 Bits Atoms 我們生活在兩個世界里 現(xiàn)實(shí)的物理世界和虛擬的信息世界兩種身份之間卻缺少一種無縫的 自然的轉(zhuǎn)換和交互方式人們和信息空間的交互被局限于傳統(tǒng)的圖形用戶界面 GUI 中實(shí)際上 正是GUI把我們生活的物理世界和我們要訪問的信息世界隔離開來 從桌面環(huán)境到物理世界GUI到TUI 1991年 MarkWeiser提出了 普適計(jì)算 計(jì)算是無處不在的 是不可見的物理世界本身就是界面 1981年 施樂公司提出了GUI概念 Star 是第一個采用 WIMP 界面 實(shí)物操作界面簡介 TUI 定義 TangibleUserInterface 直接將人們在現(xiàn)實(shí)生活中和物體 環(huán)境的交互動作映射為和信息空間的交互過程的用戶界面 特點(diǎn) 充分利用生活體驗(yàn) 易學(xué)習(xí) 自然目標(biāo) 盡可能的把生活體驗(yàn)用到人機(jī)交互中 降低計(jì)算機(jī)技術(shù)的學(xué)習(xí)門檻 增加交互的自然性 TUI的目標(biāo) 實(shí)物操作界面通過使得數(shù)字信息可觸摸而達(dá)到無縫集成物理世界和信息世界的目的 三個關(guān)鍵的概念 交互式表面信息和物體的鏈接環(huán)境反饋 和TUI相關(guān)的工作 1 UbiquitousComputing 普適計(jì)算 計(jì)算無處不在計(jì)算之間 設(shè)備之間的通訊是 透明 的例子 會議桌 便簽條二者差別 普適計(jì)算更大程度上是把GUI的交互隱喻分布到了物理環(huán)境中的各種交互設(shè)備中 GUI的拓展 適應(yīng) TUI界面則試圖摒棄GUI界面范式 力圖使物理環(huán)境成為界面本身 更多的借鑒了在計(jì)算機(jī)出現(xiàn)以前的人們的交互方式 回歸 和TUI相關(guān)的工作 AugmentedReality 增強(qiáng)現(xiàn)實(shí) 研究如何集成現(xiàn)實(shí)世界和虛擬世界的問題二者的區(qū)別輸入手段不同 TUI強(qiáng)調(diào)把直接抓取實(shí)物作為輸入手段 AR是重疊顯示現(xiàn)實(shí)世界和虛擬信息的投影 TUI的研究現(xiàn)狀 MITMediaLabTUIGroup斯坦福大學(xué)InteractivityLab華盛頓大學(xué)DesignMachineGroup加州大學(xué)GroupforUserInterfaceResearch多倫多大學(xué)DepartmentofComputerScience TUI的研究原型 ClearBoardHiroshiIshii1994 最早把現(xiàn)實(shí)中的表面做為物理空間和信息空間的集成媒介的系統(tǒng)支持CSCW一個背投的顯示器充當(dāng)了物理動作和虛擬信息之間的媒介 LiveWireWeiser1995 一個給用戶提供環(huán)境反饋的例子塑料繩就會抖動和發(fā)聲 這樣就跟用戶提供了聲音反饋 Bricks GraspableUserInterfaces 可抓取界面 Fitzmaurice1995 方塊 Bricks 和虛擬物體鏈接并同步動作方塊的數(shù)目不限 可以同時操縱多個方塊TUI界面中借鑒了這個系統(tǒng)的思想 PassiveReal WorldInterfacePropsHINCKLEY1998 用于神經(jīng)外科手術(shù)規(guī)劃的一個雙手交互系統(tǒng)反饋觸覺和肌肉運(yùn)動知覺二者區(qū)別 TUI界面不但是實(shí)物操作輸入 還能輸出環(huán)境反饋 MITMediaLab的研究工作 三個原型系統(tǒng)metaDESK和transBOARD抓取的實(shí)物ambientROOM環(huán)境反饋 MetaDESK 有Windows中界面構(gòu)件 如窗口 菜單 圖標(biāo) 的實(shí)物對應(yīng) 也有嵌入了數(shù)字信息的現(xiàn)實(shí)生活中的物體 MITMediaLab IPNetworkSimulation 用于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)基于早期的TUI平臺 Sensetable無線跟蹤pucks的位置方位 TangibleGeospace 在metaDesk上開發(fā)的一個實(shí)物操作的三維地圖系統(tǒng)用真實(shí)的路標(biāo)模型 phicon 實(shí)物圖標(biāo) 就可以直接編輯地圖 TransBOARD 支持協(xié)同工作的白板系統(tǒng)經(jīng)過編碼的卡片 hyperCARDs phicon 可以記載筆跡單向轉(zhuǎn)換 從物理世界轉(zhuǎn)換到信息世界白板表面作為信息集成媒介 ambientROOM 人們獲取信息的兩個渠道 前景 注意力集中的動作背景 周圍環(huán)境信息光效 聲音 氣流 陰影都是人們可以感知的背景信息 斯坦福的研究工作iStuffRafaelBallagasCHI2003 PhysicalUserInterfaceToolkit主要思想 把GUI中的界面構(gòu)件用實(shí)物來代替 如筆 滑動桿 按鈕 玩具狗 鐵筆 麥克風(fēng) 斯坦福的研究工作iStuff 支持多用戶 多個設(shè)備 多個應(yīng)用間的協(xié)同工作平臺無關(guān)實(shí)時配置各個物理交互設(shè)備通過無限網(wǎng)絡(luò)連接 瑞典Goteborg大學(xué)交互實(shí)驗(yàn)室開發(fā)的Nostalgia 帶有傳感器的織物消除了老人們對計(jì)算機(jī)的排斥感點(diǎn)擊三角塊激活老歌曲和音樂 多倫多大學(xué)ShapeTape 自由彎曲的帶有彈性的帶子每隔6厘米共分布了32個傳感器帶子 實(shí)物 和自由曲線 虛擬對象 的連接 帶子的形狀直接映射為曲線的形狀 華盛頓大學(xué)DMG NavigationBlocks 用于數(shù)據(jù)庫查詢四個方盒子when who what where小盒子之間還能通過紅外發(fā)射通訊 日本ATR實(shí)驗(yàn)室 筷子 數(shù)據(jù)手套跟蹤手部運(yùn)動精確操作 中科院軟件所人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室 實(shí)物筆 紙習(xí)慣 自然 中科院軟件所人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室 Anote專利技術(shù)瑞典AnoteAB公司在 年代末開發(fā)出了使用數(shù)碼筆的電腦輸入專利技術(shù) Anote數(shù)碼紙 和 Anote數(shù)碼筆 中科院軟件所人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室 Anote數(shù)碼筆 普通的圓珠筆 微型攝相頭 讀入筆尖高速書寫的筆跡和Anote數(shù)碼紙的微點(diǎn)坐標(biāo)微處理器 分析處理后通過蘭牙無線或USB等方法轉(zhuǎn)送到電腦或攜帶手機(jī)之中 Anote數(shù)碼紙 一般紙 紙上印刷了Anote專利的核心技術(shù)Anote微細(xì)點(diǎn)狀形坐標(biāo) 利用這種微細(xì)點(diǎn)狀形坐標(biāo)可以定位識別相當(dāng)于地球表面大小面積的區(qū)域 Anote技術(shù)必將帶來新世紀(jì)的 革命人們只需用 Anote數(shù)碼筆 在 Anote數(shù)碼紙 上與平常一樣書寫與記錄 就可以將信息簡便的輸入電腦 這將給辦公室自動化及 信息產(chǎn)業(yè)帶來新一輪的革命 中科院軟件所人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室 VR指揮捧VR導(dǎo)游化身 中科院軟件所人機(jī)交互技術(shù)和智能信息處理實(shí)驗(yàn)室 TUI的關(guān)鍵技術(shù) 心里學(xué)上注意機(jī)制環(huán)境反饋不應(yīng)把用戶的注意力從實(shí)物操作中吸引開來 反饋應(yīng)該是隱式的注意的平滑轉(zhuǎn)換協(xié)同設(shè)計(jì)和三維交互技術(shù)多用戶協(xié)同工作時 每個用戶在自己的小環(huán)境中分別操縱自己的實(shí)物 但是共享信息空間如果實(shí)物在三維空間種運(yùn)動需要三維交互技術(shù) TUI的關(guān)鍵技術(shù) 實(shí)物和虛擬對象的鏈接鏈接的建立與取消實(shí)物和虛擬對象間的映射機(jī)制通訊和環(huán)境反饋實(shí)物和系統(tǒng)無線通訊和定位環(huán)境實(shí)時 隱式信息反饋 TUI的關(guān)鍵技術(shù) 傳感和無線通訊目前跟蹤實(shí)物的兩種實(shí)現(xiàn)方案 自帶傳感器和三維位置跟蹤實(shí)物之間 實(shí)物與系統(tǒng)之間的通訊大多數(shù)時候無線的 不干擾用戶的空間動作多通道交互技術(shù)TUI中的輸入雖然比較單一 輸出卻是多樣化的允許同時操作多個實(shí)物多種感覺通道的輸出 關(guān)鍵技術(shù) 雙手交互方式 雙手同時操縱兩個Puck典型應(yīng)用 虛擬裝配肌肉運(yùn)動知覺和本體感受解決復(fù)雜任務(wù)的有效途徑符合認(rèn)知特點(diǎn) 無需視覺注意 開展TUI研究的關(guān)鍵設(shè)備 并沒有一種固定的硬件配置從構(gòu)造原型系統(tǒng)的角度出發(fā) 大致需要以下幾種設(shè)備 位置跟蹤器和無線通訊設(shè)備投影儀或者背投顯示器各種經(jīng)過定制的實(shí)物 是用戶直接抓取的各種物體 如metsDesk中的phicon Lens iStuff中的滑動桿 電子狗等 實(shí)物的兩種類型 GUI擴(kuò)展型meaDesk中的各種物理菜單 圖標(biāo) 滑動桿都是這種類型 IStuff中的物理界面中的物理界面工具箱也是這種類型自己定制型華盛頓大學(xué)的方盒子 瑞典Goteborg大學(xué)的點(diǎn)播懷舊歌曲的織物 一般都會安裝有傳感器甚至還有通訊設(shè)備 總結(jié) 1 人機(jī)交互技術(shù)和用戶界面是競爭性技術(shù)無處不在計(jì)算是未來主要的計(jì)算模式TUI是無處不在計(jì)算的主要的界面范式 實(shí)物操作界面通過使得數(shù)字信息可觸摸而達(dá)到無縫集成物理世界和信息世界的目的 三個關(guān)鍵的概念 交互式表面信息和物體的鏈接環(huán)境反饋 總結(jié) 2 總結(jié) 3 直接將人們在現(xiàn)實(shí)生活中和物體的交互動作映射為和信息空間的交互過程充分利用人們在現(xiàn)實(shí)生活中的獲得的生活體驗(yàn) 易學(xué)習(xí) 自然直觀自然直觀的用戶界面 總結(jié) 4 歡迎討論 總結(jié) 2 直接將人們在現(xiàn)實(shí)生活中和物體的交互動作映射為和信息空間的交互過程充分利用人們在現(xiàn)實(shí)生活中的獲得的生活體驗(yàn) 易學(xué)習(xí) 自然直觀自然直觀的用戶界面將TUI和VR結(jié)合反映了從 模擬現(xiàn)實(shí) 向 利用現(xiàn)實(shí) 的轉(zhuǎn)變 TUI和VR的結(jié)合 現(xiàn)在的VR技術(shù)設(shè)備特殊 價格昂貴隔離現(xiàn)實(shí)世界缺少環(huán)境反饋 如氣流等 VR TUI實(shí)物操作 易學(xué)習(xí) 自然性從 模擬現(xiàn)實(shí) 向 利用現(xiàn)實(shí) 轉(zhuǎn)變 TUI和VR的結(jié)合 交互設(shè)備 認(rèn)知轉(zhuǎn)換 交互原語 虛擬環(huán)境 實(shí)物 交互原語 虛擬環(huán)境 VR TUI Anote技術(shù)在全世界的應(yīng)用推廣進(jìn)程 2000年11月由全球 多家跨國大企業(yè)發(fā)起成立了 Anote技術(shù)應(yīng)用推進(jìn)委員會 2002年01月微軟公司與AnoteAB公司達(dá)成戰(zhàn)略合作協(xié)議 微軟公司將在第二代WindowsXP電腦操作系統(tǒng)中建立AnotePen的標(biāo)準(zhǔn)接口 2002年03月AnoteAB公司與歐美亞各一家公司達(dá)成生產(chǎn)AnotePen的協(xié)議 被指定的企業(yè)是 愛立信 歐州 三菱 亞州 Logitech 美國 2002年06月愛立信公司研制出第一批5000套AnotePen及專用Anote紙 供世界的各企業(yè)研究開發(fā)Anote商業(yè)及實(shí)業(yè)模型 2002年09月三菱公司將在亞州的AnotePen生產(chǎn)權(quán)利轉(zhuǎn)讓給日立集團(tuán) 2002年11月美國Logitech公司生產(chǎn)出第一批5000套AnotePen及專用Anote紙供系統(tǒng)開發(fā)商用于商業(yè)模型的開發(fā) 并將于2003年初開始批量生產(chǎn) 2002年12月中國聯(lián)通公司在香港投資2 400萬美元成立 愛你多 中國 有限公司 專業(yè)開發(fā)AnotePen在移動通信系統(tǒng)中的應(yīng)用 2003年03月日立公司向中國聯(lián)想 神州數(shù)碼 中科集團(tuán)等企業(yè)介紹了AnotePen的開發(fā)及生產(chǎn)預(yù)定情況 2003年06月日立公司研制出第二代AnotePen 并將于2003年09月批量投入市場