linuxkernelfuse源碼剖析

《linuxkernelfuse源碼剖析》由會(huì)員分享，可在線閱讀，更多相關(guān)《linuxkernelfuse源碼剖析（15頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、FUSE源碼剖析 1.前言 本文是對(duì)FUSE-2.9.2源碼的學(xué)習(xí)總結(jié)。FUSE代碼在用戶空間和內(nèi)核空間都有運(yùn)行，為了突出重點(diǎn)，先簡要描述了在基于FUSE的用戶空間文件系統(tǒng)中執(zhí)行write操作的一般流程，接下來介紹了 重要的數(shù)據(jù)結(jié) 構(gòu)，最后以FUSE的運(yùn)行過程為線索，剖析FUSE程序運(yùn)行過程的3個(gè)關(guān)鍵步驟： 1.FUSE模塊加載 2.mount和open過程 3.對(duì)文件write。 對(duì)于虛擬文件系統(tǒng)和設(shè)備驅(qū)動(dòng)的相關(guān)概念本文僅作簡要說明。需要說明的是，由于內(nèi)核的復(fù)雜性及個(gè)人能力的有限，本文省略了包括內(nèi)核同步，異常檢查在內(nèi)的諸多內(nèi)容，希望可以突出重點(diǎn)。 2.FUSE下w

2、rite的一般流程 圖1 在基于FUSE的用戶空間文件系統(tǒng)中執(zhí)行write操作的流程如圖1所示(由于版面關(guān)系，圖中部分函數(shù)是縮寫，請參考源碼)： 1.客戶端在mount目錄下面，對(duì)一個(gè)regularfile調(diào)用write,這一步是在用戶空間執(zhí)行 2.write內(nèi)部會(huì)調(diào)用虛擬文件系統(tǒng)提供的一致性接口vfs_write 3.根據(jù)FUSE模塊注冊的file_operations信息，vfs_write會(huì)調(diào)用fuse_file_aio_write，將寫請求放入fuseconnection的requestpendingqueue,隨后進(jìn)入睡眠等待應(yīng)用程序reply 4.用戶空間

3、的libfuse有一個(gè)守護(hù)進(jìn)程通過函數(shù)fuse_session_loop輪詢雜項(xiàng)設(shè)備/dev/fuse,一旦requestqueue有請求即通過fuse_kern_chan_receive接收 5.fuse_kern_chan_receive通過read讀取requestqueue中的內(nèi)容，read系統(tǒng)調(diào)用實(shí)際上是調(diào)用的設(shè)備驅(qū)動(dòng)接口fuse_dev_read 6.在用戶空間讀取并分析數(shù)據(jù)，執(zhí)行用戶定義的write操作，將狀態(tài)通過fuse_reply_write返回給kernel 7.fuse_reply_write調(diào)用VFS提供的一致性接口vfs_write 8.vfs_write最終

4、調(diào)用fuse_dev_write將執(zhí)行結(jié)果返回給第3步中等待在waitq的進(jìn)程，此進(jìn)程得到reply后，write返回 3.數(shù)據(jù)結(jié)構(gòu) 本節(jié)主要介紹了FUSE中比較重要的數(shù)據(jù)結(jié)構(gòu)，需要說明的是圖示中只列出了與敘述相關(guān)的數(shù)據(jù)成員，完整的數(shù)據(jù)結(jié)構(gòu)細(xì)節(jié)請參考源碼。 3.1.內(nèi)核部分 圖2 structfuse_conn：每一次mount會(huì)實(shí)例化一個(gè)structfuse_conn即fuseconnection,它代表了用戶空間和內(nèi)核的通信連接。fuseconnection維護(hù)了包括pendinglist,proce

5、ssinglist和iolist在內(nèi)的requestqueue，fuseconnection通過這些隊(duì)列管理用戶空間和內(nèi)核空間通信過程。 structfuse_req：每次執(zhí)行系統(tǒng)調(diào)用時(shí)會(huì)生成一個(gè)structfuse_req,這些fuse_req依據(jù)state被組織在不同的隊(duì)列中，structfuse_conn維護(hù)了這些隊(duì)列. structfile:存放打開文件與進(jìn)程之間進(jìn)行交互的有關(guān)信息，描述了進(jìn)程怎樣與一個(gè)打開的文件進(jìn)行交互，這類信息僅當(dāng)進(jìn)程訪問文件期間存在于內(nèi)核內(nèi)存中。 structinode：文件系統(tǒng)處理文件所需要得所有信息都放在一個(gè)名為inode(索引節(jié)點(diǎn))的數(shù)據(jù)結(jié)構(gòu)中。文件名

6、可以隨時(shí)更改，但是索引節(jié)點(diǎn)對(duì)文件是唯一的，并且隨著文件的存在而存在。 structfile_operation：定義了可以對(duì)文件執(zhí)行的操作。 3.2.用戶空間部分 圖3 structfuse_req：這個(gè)結(jié)構(gòu)和上文中內(nèi)核的fuse_req同名，有著類似的作用，但是數(shù)據(jù)成員不同。 structfuse_session：定義了客戶端管理會(huì)話的結(jié)構(gòu)體，包含了一組對(duì)session可以執(zhí)行的操作。 structfuse_chan：定義了客戶端與FUSE內(nèi)核連接通道的結(jié)構(gòu)體，包含了一組對(duì)channel可以執(zhí)行的操作

7、。 structfuse_ll_ops：結(jié)構(gòu)的成員為一個(gè)函數(shù)指針func和命令名字符串name，內(nèi)核中發(fā)過來的每一個(gè)request最后都映射到以此結(jié)構(gòu)為元素的數(shù)組中。 4.FUSE模塊加載 FUSE內(nèi)核模塊需要在用戶空間使用insmod或者modprobe加載。它們通過系統(tǒng)調(diào)用init_module啟動(dòng)加載過程，注冊過程比較簡單，包括如下步驟： 1.創(chuàng)建高速緩存結(jié)構(gòu)fuse_inode_cachep 2.遍歷file_systems鏈表，如果未注冊，則將fuseblk_fs_type鏈到file_systems鏈表尾部 3.遍歷file_systems鏈表，如果未注冊，則將fu

8、se_fs_type鏈到file_systems鏈表尾部 4.創(chuàng)建fuse_kobj和connections_kobj兩個(gè)kobject 5.遍歷file_systems鏈表，如果未注冊，則將fuse_ctl_fs_type鏈到file_systems鏈表尾部 模塊成功加載以后，以下接口被注冊 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 static struct f

9、ile_system_type fuseblk_fs_type = { //塊設(shè)備 .owner= THIS_MODULE, .name = "fuseblk", .mount= fuse_mount_blk, .kill_sb= fuse_kill_sb_blk, .fs_flags = FS_REQUIRES_DEV | FS_HAS_SUBTYPE, }; static struct file_system_type fuse_fs_type = { .owner= THIS_MODULE, .name = "fuse", .fs_flags = FS_HAS_S

10、UBTYPE, .mount= fuse_mount, .kill_sb= fuse_kill_sb_anon, }; const struct file_operations fuse_dev_operations = { .owner= THIS_MODULE, .llseek = no_llseek, .read = do_sync_read, .aio_read = fuse_dev_read, .splice_read= fuse_dev_splice_read, .write= do_sync_write, .aio_write= fuse_dev_wri

11、te, .splice_write = fuse_dev_splice_write, .poll = fuse_dev_poll, .release= fuse_dev_release, .fasync = fuse_dev_fasync, }; static struct miscdevice fuse_miscdevice = { .minor = FUSE_MINOR, .name= "fuse", .fops= &fuse_dev_operations, }; 5.mount和open過程 FUSE模塊加載注冊了fuseblk_fs_type和fuse_

12、fs_type兩種文件類型，默認(rèn)情況下使用的是fuse_fs_type即mount函數(shù)指針被初始化為fuse_mount,而fuse_mount實(shí)際調(diào)用mount_nodev，它主要由如下兩步組成： 1.sget(fs_type)搜索文件系統(tǒng)的超級(jí)塊對(duì)象(super_block)鏈表(type->fs_supers),如果找到一個(gè)與塊設(shè)備相關(guān)的超級(jí)塊，則返回它的地址。否則，分配并初始化一個(gè)新的超級(jí)塊對(duì)象，把它插入到文件系統(tǒng)鏈表和超級(jí)塊全局鏈表中，并返回其地址。 2.fill_super(此函數(shù)由各文件系統(tǒng)自行定義):這個(gè)函數(shù)式各文件系統(tǒng)自行定義的函數(shù)，它實(shí)際上是fuse_fill_supe

13、r。一般fill_super會(huì)分配索引節(jié)點(diǎn)對(duì)象和對(duì)應(yīng)的目錄項(xiàng)對(duì)象,并填充超級(jí)塊字段值，另外對(duì)于fuse還需要分配fuse_conn,fuse_req。需要說明的是，它在底層調(diào)用了fuse_init_file_inode用fuse_file_operations和fuse_file_aops分別初始化inode->i_fop和inode->i_data.a_ops。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 static

14、 const struct file_operations fuse_file_operations = { .llseek = fuse_file_llseek, .read = do_sync_read, .aio_read = fuse_file_aio_read, .write= do_sync_write, .aio_write= fuse_file_aio_write, .mmap = fuse_file_mmap, .open = fuse_open, .flush= fuse_flush, .release= fuse_release, .fsync= fu

15、se_fsync, .lock = fuse_file_lock, .flock= fuse_file_flock, .splice_read= generic_file_splice_read, .unlocked_ioctl = fuse_file_ioctl, .compat_ioctl = fuse_file_compat_ioctl, .poll = fuse_file_poll, .fallocate= fuse_file_fallocate, }; static const struct address_space_operations fuse_file_

16、aops= { .readpage = fuse_readpage, .writepage= fuse_writepage, .launder_page = fuse_launder_page, .readpages= fuse_readpages, .set_page_dirty = __set_page_dirty_nobuffers, .bmap = fuse_bmap, .direct_IO= fuse_direct_IO, }; open系統(tǒng)調(diào)用底層實(shí)現(xiàn)相當(dāng)復(fù)雜，它的主要工作是實(shí)例化file對(duì)象。file->f_op就是在open中被賦值為inode->i_fo

17、p，這一過程讀者可以在fs/open.c中的do_entry_open函數(shù)中找到。如上所述，inode->i_fop已經(jīng)被fuse_init_file_inode初始化為fuse_file_operations。 至此，普通文件和設(shè)備文件的操作接口都已成功初始化。 6.FUSE用戶空間流程 FUSE在用戶空間提供了fuseuserspacelibrary和mount/unmount。fuseusespacelibrary提供了一組API供用戶開發(fā)用戶空間文件系統(tǒng)。用戶要做的就是實(shí)現(xiàn)fuse_operations或fuse_lowlevel_ops定義的操作,這兩個(gè)結(jié)構(gòu)類似于VFS中的

18、structfile_operations。 mount工具fusermount用于掛載用fuse實(shí)現(xiàn)的文件系統(tǒng)。 用戶在使用fuse的時(shí)候有兩種開發(fā)模式：一種是high-level模式，此模式下fuse的入口函數(shù)為fuse_main，它封裝了一系列初始化操作，使用簡單，但是不靈活。另一種是low-level模式，用戶可以利用fuse提供的底層函數(shù)靈活開發(fā)應(yīng)用程序。 需要說明的是high-level模式其實(shí)是對(duì)low-level的封裝，因此這里分析lowlevel模式。 圖4 圖4展示FUSE在用戶空間總體工作流程： 1.調(diào)用f

19、use_mount實(shí)例化structfuse_chan為ch,將指定目錄mount到掛載點(diǎn) 2.實(shí)例化structfuse_session為se，并且將se和ch關(guān)聯(lián) 3.進(jìn)入循環(huán)，從/dev/fuse讀取數(shù)據(jù)，處理以后執(zhí)行響應(yīng)的操作 圖5 圖5展示了fuse_mount函數(shù)內(nèi)部流程： 1.確保打開的文件描述符至少大于2 2.分析并檢查用戶傳入的參數(shù) 3.打開/dev/fuse得到fd，用戶空間與內(nèi)核通過/dev/fuse通信 4.mount源目錄到掛載點(diǎn) 5.用fd實(shí)例化structfuse_chan為ch 6.返回ch

20、 圖6 圖6展示了fuse_mount_compat25內(nèi)部細(xì)節(jié)，進(jìn)入循環(huán)以后，函數(shù)fuse_session_receive_buf實(shí)際通過fuse_ll_receive_buf從/dev/fuse中讀取數(shù)據(jù)，其通過fbuf返回。 fuse_ll_receive_buf是通過read或者splice系統(tǒng)調(diào)用從內(nèi)核request隊(duì)列中讀取數(shù)據(jù)。函數(shù)fuse_session_process_buf實(shí)際通過fuse_ll_process_buf處理數(shù)據(jù)，fuse_ll_process_buf會(huì)根據(jù)數(shù)據(jù)類型最后執(zhí)行用戶定義的操作fuse_ll_ops[in->op

21、code].func(req,in->nodeid,inarg)。 執(zhí)行完用戶定義的操作以后需要向內(nèi)核返回執(zhí)行結(jié)果，fuse提供了一組類似fuse_reply_XXX的API,這些API最后實(shí)際通過系統(tǒng)調(diào)用writev將結(jié)果傳入內(nèi)核。 7.FUSE內(nèi)核部分流程 FUSE在內(nèi)核空間執(zhí)行的部分主要包括FUSE模塊加載以及雜項(xiàng)設(shè)備驅(qū)動(dòng)。模塊加載過程已經(jīng)在第4節(jié)介紹，這一節(jié)主要描述從request隊(duì)列讀寫請求的流程。 FUSE設(shè)備驅(qū)動(dòng)程序本質(zhì)上是一個(gè)生產(chǎn)者——消費(fèi)者模型。生產(chǎn)者為用戶在掛載目錄下對(duì)普通文件(regularfile)執(zhí)行的系統(tǒng)調(diào)用，每一次系統(tǒng)調(diào)用會(huì)產(chǎn)生一個(gè)request然后將

22、去放入pendinglist。pendinglist能存放的元素個(gè)數(shù)只和系統(tǒng)內(nèi)存有關(guān)；消費(fèi)者為用戶對(duì)設(shè)備文件/dev/fuse或者/dev/fuseblk的read，這一操作會(huì)去pendinglist或interruptlist取request，當(dāng)list為空時(shí)，進(jìn)程主動(dòng)schedule讓出CPU。 request結(jié)構(gòu)的細(xì)節(jié)在第3節(jié)已經(jīng)介紹，此處不贅述。enmufuse_req_state定義了request的6種狀態(tài)，其含義分別為： FUSE_REQ_INIT：請求被初始化 FUSE_REQ_PENDING：請求掛起待處理 FUSE_REQ_READING：請求正在讀 FUSE_R

23、EQ_SENT：請求被發(fā)送 FUSE_REQ_WRITING：請求正在寫 FUSE_REQ_FINISHED：請求已經(jīng)完成 圖7 圖7是在mount目錄下面執(zhí)行write以后觸發(fā)的一個(gè)函數(shù)調(diào)用序列，圖中省略了VFS層的函數(shù)調(diào)用。 fuse_file_aio_write是在mount過程中注冊到fuse_file_operations.aio_write的函數(shù)指針，它會(huì)調(diào)用fuse_perform_write，fuse_perform_write調(diào)用get_fuse_conn得到structfuse_conn實(shí)例fc，它保存在structsuper_block的私有數(shù)據(jù)成員中

24、s_fs_info中，而structsuper_block是structinode的一個(gè)成員。 接下來是循環(huán)從用戶空間拷貝數(shù)據(jù)到內(nèi)核，數(shù)據(jù)實(shí)際保存在structpages中，內(nèi)核fuse_req保存了pages指針，然后調(diào)用fuse_send_write_pages。 圖8 Fuse_send_write_pages調(diào)用會(huì)等待臟數(shù)據(jù)寫回到磁盤上，然后調(diào)用fuse_write_fill將包括操作碼FUSE_WRITE在內(nèi)的信息寫入request。 隨后fuse_request_send(fc,req)，它先通過f

25、use_get_unique獲取唯一請求號(hào)，請求號(hào)是一個(gè)64位無符號(hào)整數(shù)，請求號(hào)從1開始隨請求依次遞增。然后調(diào)用queue_request(fc,req)，它主要完成4件事情： 1.將request->list插入fc維護(hù)的pending鏈表尾部 2.置req->state為FUSE_REQ_PENDING 3.wake_up喚醒等待隊(duì)列fc->waitq 4.kill_fasync異步通知用戶進(jìn)程數(shù)據(jù)到達(dá) 從queue_request返回以后調(diào)用request_wait_answer:進(jìn)程被投入睡眠，等待請求完成(wait_event(req->state==FUSE_REQ_FI

26、NISHED))。 如果用戶程序處理完了請求，它會(huì)reply，進(jìn)程被喚醒，到此可以向上層調(diào)用返回處理結(jié)果(錯(cuò)誤碼或者寫入字節(jié)數(shù))。 在第6節(jié)我們提到了用戶空間有個(gè)daemon進(jìn)程會(huì)循環(huán)read設(shè)備文件/fuse/dev以便處理內(nèi)核請求，圖9展示了該read調(diào)用觸發(fā)的函數(shù)調(diào)用序列。 圖9 從第4節(jié)可知，F(xiàn)USE模塊加載過程注冊了對(duì)設(shè)備文件/dev/fuse的操作接口fuse_dev_operations。由此可知，read底層實(shí)際調(diào)用的是fuse_dev_read fuse_dev_read

27、首先通過fuse_get_conn獲得structfuse_conn的實(shí)例fc，通過fuse_copy_init為structfuse_copy_state分配內(nèi)存并將其實(shí)例化。主要的數(shù)據(jù)讀取在fuse_dev_do_read中分4步完成： 1.request_wait:在掛起的列表上等待一個(gè)請求到達(dá): (1).DECLARE_WAITQUEUE(wait,current):創(chuàng)建等待隊(duì)列項(xiàng)，并將其初始化為current (2).add_wait_queue_exclusive(&fc->waitq,&wait):將wait加入fc->waitq,當(dāng)有請求發(fā)送到 FUSE文件系統(tǒng)時(shí)，這個(gè)

28、等待隊(duì)列上的進(jìn)程會(huì)被喚醒 (3).如果沒有request，一直循環(huán)檢查pendinglist和interruptlist,直到有請求； 如果有請求則將state設(shè)置為TASK_RUNNING (4).將wait從等待隊(duì)列中移除 2.list_entry(fc->pending.next,structfuse_req,list)：從fc->pending.next中取出request, req->state狀態(tài)設(shè)為FUSE_REQ_READING, 3.將req->list移到fc->io 4.fuse_copy_one:將數(shù)據(jù)拷貝到structfuse_copy_state的bu

29、f中(此buf指針指向應(yīng)用層的void*buf)，返回。 閱讀代碼時(shí)需要注意:fuse_dev_read：structfuse_copy_state成員write為1；fuse_dev_write:structfuse_copy_state成員write為0。 用戶讀取request，分析并執(zhí)行以后需要調(diào)用fuse_write_reply回復(fù)內(nèi)核，這個(gè)函數(shù)最終調(diào)用write寫/dev/fuse。圖10是write觸發(fā)的函數(shù)調(diào)用序列。 圖10 write前兩步和read類似即獲取fc(structfuse_conn)和實(shí)例化cs(structfuse_copy_state)實(shí)際的

30、寫數(shù)據(jù)操作在fuse_dev_do_write中執(zhí)行，可以分為7步完成數(shù)據(jù)的寫入： 1.fuse_copy_one(cs,&oh,sizeof(oh)):將數(shù)據(jù)從cs(structfuse_copy_state)拷貝到oh(struct fuse_out_header) 2.request_find(fc,oh.unique)，根據(jù)uniqueid在fc(fuse_conn)中找到相應(yīng)的request 3.設(shè)置req->state為FUSE_REQ_WRITING 4.將req->list移到fc->io隊(duì)列 5.req被賦予cs->req 6.copy_out_args(cs,&req->out,nbytes)：從cs(structfuse_copy_state)中拷貝參數(shù)到req->out 7.request_end：請求處理完成，設(shè)置req->state=FUSE_REQ_FINISHED,喚醒等待在waitq的進(jìn)程wake_up(&req->waitq)