手機APP測試報告模板【完整版】.docx

內(nèi)部資料 注意保密招標手機APP測試總結報告作 者：日 期：2016-03-10文檔編號：002版 本： Ver 1.0目 錄1.測試概述11.1.編寫目的11.2.測試范圍12.測試計劃執(zhí)行情況12.1.測試類型12.2.測試環(huán)境與配置22.3.測試人員22.4.測試問題總結33.測試總結33.1.測試用例執(zhí)行結果33.2. 安全測試43.2.1. 軟件權限53.2.2. 安裝與卸載安全性53.2.2. 數(shù)據(jù)安全性63.2.3. 通訊安全性73.2.4. 人機接口安全性73.3. 安裝、卸載測試83.3.1. 安裝83.3.2. 卸載83.4. UI測試93.4.1. 導航測試93.4.2. 圖形測試93.4.3. 內(nèi)容測試93.5. 功能測試103.5.1. 運行103.5.2. 注冊103.5.3. 登錄103.5.4. 注銷113.5.5. 應用的前后臺切換113.5.6. 免登入113.5.7. 數(shù)據(jù)更新123.5.8. 離線瀏覽123.5.9. APP更新123.5.10. 時間測試133.5.11. 性能測試133.5.12. 交叉性事件測試133.6. 兼容測試143.7. 用戶體驗測試144.測試結果15 20 / 241.測試概述1.1. 編寫目的本測試報告為招標手機APP的測試報告，目的在于總結測試階段的測試情況以及分析測試結果，描述系統(tǒng)是否符合用戶需求，是否已達到用戶預期的功能目標，并對測試質(zhì)量進行分析。測試報告參考文檔提供給用戶、測試人員、開發(fā)人員、項目管理者、其他管理人員和需要閱讀本報告的高層經(jīng)理閱讀。1.2. 測試范圍測試主要根據(jù)用戶需求說明書和軟件需求規(guī)格說明書以及相應的文檔進行系統(tǒng)測試，包括功能測試、性能測試、安全性和訪問控制測試、用戶界面測試以及兼容性測試等，而單元測試和集成測試由開發(fā)人員來執(zhí)行。主要功能包括：用戶登錄、我的項目、推薦項目訂閱、行業(yè)資訊、我的收藏、意見反饋、我的CA鎖。2. 測試計劃執(zhí)行情況2.1. 測試類型測試類型測試內(nèi)容測試目的所用的測試工具和方法功能測試用戶登錄、我的項目、推薦項目訂閱、行業(yè)資訊、我的收藏、意見反饋、我的CA鎖 核實所有功能均已正常實現(xiàn)，即可按用戶的需求使用軟件：1、 業(yè)務流程檢驗：各個業(yè)務流程能夠滿足用戶需求，用戶使用不會產(chǎn)生疑問；2、 數(shù)據(jù)準確：推送的信息與交易平臺生產(chǎn)信息一致，不會出現(xiàn)消息錯誤或漏發(fā)、重復發(fā)送。 采用黑盒測試，使用邊界值測試、等價類劃分等測試方法，進行手工測試用戶界面測試1、 頁面結構：包括菜單、背景、顏色、字體、按鈕、Title、提示信息的一致性等2、 友好性、易用性、合理性、一致性、正確性 核實軟件風格符合可接受標準，能夠保證用戶界面友好性、易操作性，符合用戶操作習慣手工測試兼容性測試1、 用不同型號的安卓手機：華為、小米、三星、OPPO、聯(lián)想等，屏幕尺寸：3.5英寸5.5英寸，操作系統(tǒng)：android4.0及以上2、 不同版本的IOS手機：ios9.0及以上核實軟件在不同的系統(tǒng)中運行穩(wěn)定黑盒測試、手工測試安全性和訪問控制測試1、 注冊、登錄、退出登錄2、 權限限制3、 通過修改URL非法訪問4、 登錄超時限制1、 應用程序級別的安全性：核實用戶只能操作其所擁有權限能操作的功能2、 系統(tǒng)級別的安全性：核實只能具備系統(tǒng)訪問權限的用戶才能訪問系統(tǒng)黑盒測試、手工測試性能測試1、 注冊、登錄響應速度2、 各功能模塊切換響應速度 核實程序在多數(shù)據(jù)推送、手機多程序運行的情況下軟件性能的穩(wěn)定性，不造成程序崩潰或相關的異?，F(xiàn)象黑盒測試、手工測試2.2. 測試環(huán)境與配置資源名稱/類型配 置測試移動端主頻2.2GHz，硬盤500G，內(nèi)存4GB應用服務器Tomcat7.0服務器數(shù)據(jù)庫管理系統(tǒng)mysql,sqllite應用軟件eclipse8、android、svn客戶端2.3. 測試人員職務姓名E-mail電話開發(fā)工程師測試人員1測試人員22.4. 測試問題總結在app開始測試及投入使用的過程中，一直存在或多或少的影響用戶使用體驗的問題存在，至今仍有部分問題沒有徹底解決。3. 測試總結3.1.測試用例執(zhí)行結果測試用例標識符測試用例名稱狀態(tài)測試結果備注功能測試Testcase001用戶手機在線注冊已執(zhí)行測試通過用戶登錄注冊Testcase002注冊協(xié)議查看已執(zhí)行測試通過Testcase003注冊后訂閱項目功能已執(zhí)行測試通過Testcase004手機注冊帳號登錄已執(zhí)行測試通過Testcase005智慧交易云系統(tǒng)注冊帳號登錄已執(zhí)行測試通過Testcase006記住密碼和自動登錄功能已執(zhí)行測試通過Testcase007按地市訂閱項目分類已執(zhí)行測試通過推薦項目訂閱Testcase008取消已訂閱項目分類已執(zhí)行測試通過Testcase009已訂閱項目類別消息推送已執(zhí)行有重復數(shù)據(jù)推送Testcase010已訂閱項目消息推送提醒已執(zhí)行重復提醒；提醒消息與打開查看時內(nèi)容不符；小米4沒有消息提醒Testcase011推薦項目信息分頁查看已執(zhí)行只有上下頁跳轉(zhuǎn)功能，看不到明確頁數(shù)Testcase012推薦項目信息關鍵字檢索已執(zhí)行測試通過Testcase013按地市條件篩選推薦項目信息已執(zhí)行測試通過Testcase014推薦項目收藏功能已執(zhí)行部分項目信息無法收藏Testcase015推薦消息點擊查看已執(zhí)行公告內(nèi)容有圖片或者表格時內(nèi)容顯示有誤Testcase016我的項目消息推送已執(zhí)行有重復信息推送；投標人角色沒有信息推送我的項目Testcase017我的項目信息點擊查看已執(zhí)行公告內(nèi)容有圖片或者表格時內(nèi)容顯示有誤Testcase018我的項目信息分頁查看已執(zhí)行測試通過Testcase019我的項目信息關鍵字檢索已執(zhí)行測試通過Testcase020我的項目信息按消息類型分類檢索已執(zhí)行測試通過Testcase021我的項目新消息紅色字體區(qū)分顯示已執(zhí)行測試通過Testcase022行業(yè)資訊信息推送已執(zhí)行測試通過行業(yè)資訊Testcase023行業(yè)資訊信息點擊查看已執(zhí)行測試通過Testcase024行業(yè)資訊信息分頁查看已執(zhí)行測試通過Testcase025行業(yè)資訊信息關鍵字檢索已執(zhí)行測試通過Testcase026我的項目信息收藏已執(zhí)行測試通過我的收藏Testcase027訂閱推薦項目信息收藏已執(zhí)行測試通過Testcase028收藏項目信息查看已執(zhí)行測試通過Testcase029收藏項目信息關鍵字檢索已執(zhí)行測試通過Testcase030收藏項目信息刪除已執(zhí)行測試通過Testcase031收藏項目信息分頁查看已執(zhí)行測試通過Testcase032用戶提交意見建議已執(zhí)行測試通過意見反饋Testcase033提交的意見在頁面上顯示已執(zhí)行測試通過Testcase034意見回復內(nèi)容在頁面上的顯示已執(zhí)行測試通過Testcase035CA鎖到期10日內(nèi)登錄后顯示提醒頁面已執(zhí)行測試通過我的CA鎖3.2. 安全測試3.2.1. 軟件權限 3.2.1.1. 扣費風險測試內(nèi)容是否扣費備注收發(fā)短信否接收短信無費用（如短信驗證碼）撥打電話是撥打APP內(nèi)提供的客服電話有費用（由運營商收?。┻B接網(wǎng)絡是連接2G、3G、4G及WIFI網(wǎng)絡有費用（由運營商收?。?.2.1.2. 隱私泄漏風險測試內(nèi)容是否泄漏備注訪問手機信息否APP暫時無任何功能和需求會訪問手機信息訪問通訊錄信息否APP暫時無任何功能和需求會訪問通訊錄信息3.2.1.3. 限制性測試測試內(nèi)容是否限制限制/允許使用手機發(fā)送接受信息功能允許限制/允許應用程序來注冊自動啟動應用程序允許限制/允許使用手機讀取用戶數(shù)據(jù)允許限制/允許使用手機寫人用戶數(shù)據(jù)允許3.2.2. 安裝與卸載安全性測試內(nèi)容測試結果應用程序應能正確安裝到設備驅(qū)動程序上是能夠在安裝設備驅(qū)動程序上找到應用程序的相應圖標是是否包含數(shù)字簽名信息否安裝路徑應能指定否JAD文件顯示的資料內(nèi)容與應用程序顯示的資料內(nèi)容應一致是沒有用戶的允許, 應用程序不能預先設定自動啟動是卸載是否安全, 其安裝進去的文件是否全部卸載是卸載用戶使用過程中產(chǎn)生的文件是否有提示否其修改的配置信息是否復原否卸載是否影響其他軟件的功能否卸載應該移除所有的文件是3.2.2. 數(shù)據(jù)安全性測試內(nèi)容測試結果當將密碼或其他的敏感數(shù)據(jù)輸人到應用程序時, 其不會被儲存在設備中, 同時密碼也不會被解碼是輸人的密碼將不以明文形式進行顯示是密碼或其他的敏感數(shù)據(jù)將不被儲存在它們預輸人的位置上否不同的應用程序的個人身份證或密碼長度必需至少在6一20 個字符長度之間是備份應該加密, 恢復數(shù)據(jù)應考慮恢復過程的異常通訊中斷等, 數(shù)據(jù)恢復后再使用前應該經(jīng)過校驗否應用程序應考慮系統(tǒng)或者虛擬機器產(chǎn)生的用戶提示信息或安全警告否應用程序不能忽略系統(tǒng)或者虛擬機器產(chǎn)生的用戶提示信息或安全警告, 更不能在安全警告顯示前，利用顯示誤導信息欺騙用戶，應用程序不應該模擬進行安全警告誤導用戶是在數(shù)據(jù)刪除之前，應用程序應當通知用戶或者應用程序提供一個“取消”命令的操作是“ 取消” 命令操作能夠按照設計要求實現(xiàn)其功能是應用程序應當能夠處理當不允許應用軟件連接到個人信息管理的情況否當進行讀或?qū)懹脩粜畔⒉僮鲿r, 應用程序?qū)蛴脩舭l(fā)送一個操作錯誤的提示信息否在沒有用戶明確許可的前提下不損壞刪除個人信息管理應用程序中的任何內(nèi)容是應用程序讀和寫數(shù)據(jù)正確是應用程序應當有異常保護否如果數(shù)據(jù)庫中重要的數(shù)據(jù)正要被重寫, 應及時告知用戶否能合理地處理出現(xiàn)的錯誤否意外情況下應提示用戶否3.2.3. 通訊安全性測試內(nèi)容測試結果當創(chuàng)立連接時, 應用程序能夠處理因為網(wǎng)絡連接中斷, 進而告訴用戶連接中斷的情況否應能處理網(wǎng)絡異常和及時將異常情況通報用戶是應用程序關閉或網(wǎng)絡連接不再使用時應及時關閉) 斷開是HTTP、HTTPS覆蓋測試-App和后臺服務一般都是通過HTTP來交互的，驗證HTTP環(huán)境下是否正常；-公共免費網(wǎng)絡環(huán)境中（如：麥當勞、星巴克等）都要輸入用戶名和密碼，通過SSL認證來訪問網(wǎng)絡，需要對使用HTTP Client的library異常作捕獲處理否3.2.4. 人機接口安全性測試內(nèi)容測試結果返回菜單總保持可用否命令有優(yōu)先權順序否聲音的設置不影響應用程序的功能是應用程序必需利用目標設備適用的全屏尺寸來顯示上述內(nèi)容是應用程序必需能夠處理不可預知的用戶操作, 例如錯誤的操作和同時按下多個鍵否3.3. 安裝、卸載測試3.3.1. 安裝測試內(nèi)容測試結果軟件在不同操作系統(tǒng)（Palm OS、Symbian、Linux、Android、iOS、Black Berry OS 6.0、Windows Phone 7）下安裝是否正常是（只測試了Android、IOS）軟件安裝后是否能夠正常運行，安裝后的文件夾及文件是否寫到了指定的目錄里是軟件安裝向?qū)У腢I測試 否軟件安裝過程中意外情況的處理是否符合需求（如死機，重啟，斷電）否安裝空間不足時是否有相應提示否安裝后沒有生成多余的目錄結構和文件是依照安裝手冊是否能順利安裝是3.3.2. 卸載測試內(nèi)容測試結果直接刪除安裝文件夾卸載是否有提示信息否測試系統(tǒng)直接卸載程序是否有提示信息否測試卸載后文件是否全部刪除所有的安裝文件夾是卸載過程中出現(xiàn)的意外情況的測試（如死機、斷電、重啟）否卸載是否支持取消功能是3.4. UI測試3.4.1. 導航測試測試內(nèi)容測試結果在不同的連接頁面之間需要導航是是否易于導航，導航是否直觀否是否有搜索引擎是導航幫助是否準確直觀否導航與頁面結構、菜單、連接頁面的風格是否一致否3.4.2. 圖形測試測試內(nèi)容測試結果橫向比較，各控件操作方式統(tǒng)一是自適應界面設計，內(nèi)容根據(jù)窗口大小自適應是頁面標簽風格是否統(tǒng)一是頁面是否美觀否頁面的圖片應有其實際意義而要求整體有序美觀否圖片質(zhì)量要高且圖片尺寸在設計符合要求的情況下應盡量小是界面整體使用的顏色不宜過多是3.4.3. 內(nèi)容測試測試內(nèi)容測試結果輸入框說明文字的內(nèi)容與系統(tǒng)功能是否一致是文字長度是否加以限制否文字內(nèi)容是否表意不明否是否有錯別字否信息是否為中文顯示是是否有敏感性詞匯、關鍵詞否是否有敏感性圖片，如：涉及版權、專利、隱私等圖片否3.5. 功能測試3.5.1. 運行測試內(nèi)容測試結果App安裝完成后的試運行，可正常打開軟件是App打開測試，是否有加載狀態(tài)進度提示是App打開速度測試，速度是否可觀否App頁面間的切換是否流暢，邏輯是否正確邏輯正確，切換不夠流暢3.5.2. 注冊測試內(nèi)容測試結果后臺可否增加用戶是用戶名密碼長度是否限制是注冊后是否有提示頁面否前臺注冊頁面和后臺的管理頁面數(shù)據(jù)是否一致是注冊后，在后臺管理中頁面提示否3.5.3. 登錄測試內(nèi)容測試結果使用合法的用戶登錄系統(tǒng)是系統(tǒng)是否允許多次非法的登陸，是否有次數(shù)限制否使用已經(jīng)登陸的賬號登陸系統(tǒng)是否正確處理是使用禁用的賬號登陸系統(tǒng)是否正確處理是用戶名、口令（密碼）錯誤或漏填時能否登陸否刪除或修改后的用戶，原用戶登陸否不輸入用戶口令和用戶、重復點（確定或取消按鈕）是否允許登陸否頁面中有退出登錄按鈕是登陸超時的處理否3.5.4. 注銷測試內(nèi)容測試結果是否能正常注銷否注銷原用戶，新用戶系統(tǒng)能否正確處理否使用錯誤的賬號、口令、無權限的被禁用的賬號進行注銷否3.5.5. 應用的前后臺切換測試內(nèi)容測試結果APP切換到后臺，再回到app，檢查是否停留在上一次操作界面否APP切換到后臺，再回到app，檢查功能及應用狀態(tài)是否正常是手機鎖屏解屏后進入app注意是否會崩潰，功能狀態(tài)是否正常，尤其是對于從后臺切換回前臺數(shù)據(jù)有自動更新的時候否（個別情況下APP會白屏）當App使用過程中有電話進來中斷后再切換到app，功能狀態(tài)是否正常是當殺掉app進程后，再開啟app，app能否正常啟動是出現(xiàn)必須處理的提示框后，切換到后臺，再切換回來，檢查提示框是否還存在，有時候會出現(xiàn)應用自動跳過提示框的缺陷是3.5.6. 免登入測試內(nèi)容測試結果App是否有免登錄功能，需要考慮IOS版本差異否考慮無網(wǎng)絡情況時能否正常進入免登錄狀態(tài)否切換用戶登錄后，要校驗用戶登錄信息及數(shù)據(jù)內(nèi)容是否相應更新，確保原用戶退出是切換到后臺，再切換回前臺的測試是密碼更換后，檢查有數(shù)據(jù)交換時是否進行了有效身份的校驗否檢查用戶主動退出登錄后，下次啟動app，應停留在登錄界面是3.5.7. 數(shù)據(jù)更新測試內(nèi)容測試結果需要確定哪些地方需要提供手動刷新，哪些地方需要自動刷新，哪些地方需要手動+自動刷新是從后臺切換回前臺時需要進行數(shù)據(jù)更新是根據(jù)業(yè)務、速度及流量的合理分配，確定哪些內(nèi)容需要實時更新，哪些需要定時更新是確定數(shù)據(jù)展示部分的處理邏輯，是每次從服務端請求，還是有緩存到本地是檢查有數(shù)據(jù)交換的地方，均有相應的異常處理否3.5.8. 離線瀏覽測試內(nèi)容測試結果在無網(wǎng)絡情況可以瀏覽本地數(shù)據(jù)否退出app再開啟app時能正常瀏覽否切換到后臺再切回前臺可以正常瀏覽否鎖屏后再解屏回到應用前臺可以正常瀏覽否在對服務端的數(shù)據(jù)有更新時會給予離線的相應提示 否3.5.9. APP更新測試內(nèi)容測試結果當客戶端有新版本時，有更新提示否當客戶端有新版本時，在本地不刪除客戶端的情況下，直接更新檢查是否能正常更新是（客戶端自動更新）3.5.10. 時間測試測試內(nèi)容測試結果修改系統(tǒng)時間，后臺發(fā)布信息時間是否隨之更改是修改手機時間，推送信息時間是否隨之更改否3.5.11. 性能測試3.5.11.1. 響應測試測試內(nèi)容測試結果運行App時斷掉網(wǎng)絡，是否影響手機其它使用否安裝、卸載的響應時間，是否能夠接受是App各類功能性操作的響應時間，是否能夠接受否（推薦項目訂閱功能響應有點慢）反復進行安裝卸載，查看系統(tǒng)資源是否正常是3.5.12. 交叉性事件測試測試內(nèi)容測試結果多個App同時運行是否影響正常功能否App運行時前/后臺切換是否影響正常功能否App運行時撥打/接聽電話是否影響正常功能否App運行時發(fā)送/接收信息是否影響正常功能否App運行時切換網(wǎng)絡（3G、4G、wifi）是否影響正常功能否App運行時瀏覽網(wǎng)絡是否影響正常功能否App運行時使用藍牙傳送/接收數(shù)據(jù)是否影響正常功能否App運行時使用相機、計算器等手機自帶設備是否影響正常功能否App運行時充電是否影響正常功能否3.6. 兼容測試測試內(nèi)容測試結果與本地及主流App是否兼容是基于開發(fā)環(huán)境和生產(chǎn)環(huán)境的不同，檢驗在各種網(wǎng)絡連接下(WiFi、GSM、GPRS、EDGE、WCDMA、CDMA1x、CDMA2000、HSPDA等)，App的數(shù)據(jù)和運用是否正確是（只測了3G、4G、wifi）不同操作系統(tǒng)的兼容性，是否適配是（測了IOS9.0及以上、安卓4.0及以上）不同手機屏幕分辨率的兼容性是（測了iPhone4s5s66p、小米4、華為榮耀4）不同手機品牌的兼容性是（測了蘋果、華為、小米）3.7. 用戶體驗測試測試內(nèi)容測試結果是否有空數(shù)據(jù)界面設計，引導用戶去執(zhí)行操作否是否濫用用戶引導否是否有不可點擊的效果，如：你的按鈕此時處于不可用狀態(tài)，那么一定要灰掉，或者拿掉按鈕，否則會給用戶誤導否菜單層次是否太深否交互流程分支是否太多否一次是否載入太多的數(shù)據(jù)否界面中按鈕可點擊范圍是否適中否（回退和訂閱按鈕操作體驗不佳）標簽頁跟內(nèi)容是否有從屬關系，當切換標簽的時候，內(nèi)容跟著切換是操作應該有主次從屬關系是是否有橫屏模式的設計，應用一般需要支持橫屏模式，即自適應設計否4. 測試結果根據(jù)測試組綜合評定，給與以下測試結果，僅供參考序號內(nèi)容結果1測試環(huán)境不具備，未完成測試2測試內(nèi)容不完整，未完成測試3測試合格，允許上線4測試不合格，需做修改后上線5測試不合格，不允許上線