本博文主要討論I/O在底層是如何工作的。本文服務(wù)的讀者，迫切希望了解Java I/O操作是在機(jī)器層面如何進(jìn)行映射，以及應(yīng)用運(yùn)行時(shí)硬件都做了什么。假定你熟悉基本的I/O操作，比如通過(guò)Java I/O API讀寫文件。這些內(nèi)容不在本文的討論范圍。

　緩存處理和內(nèi)核vs用戶空間

緩沖與緩沖的處理方式,是所有I/O操作的基礎(chǔ)。術(shù)語(yǔ)“輸入、輸出”只對(duì)數(shù)據(jù)移入和移出緩存有意義。任何時(shí)候都要把它記在心中。通常，進(jìn)程執(zhí)行操作系統(tǒng)的I/O請(qǐng)求包括數(shù)據(jù)從緩沖區(qū)排出（寫操作）和數(shù)據(jù)填充緩沖區(qū)（讀操作）。這就是I/O的整體概念。在操作系統(tǒng)內(nèi)部執(zhí)行這些傳輸操作的機(jī)制可以非常復(fù)雜，但從概念上講非常簡(jiǎn)單。我們將在文中用一小部分來(lái)討論它。

上圖顯示了一個(gè)簡(jiǎn)化的“邏輯”圖，它表示塊數(shù)據(jù)如何從外部源，例如一個(gè)磁盤，移動(dòng)到進(jìn)程的存儲(chǔ)區(qū)域（例如RAM）中。首先，進(jìn)程要求其緩沖通過(guò)read()系統(tǒng)調(diào)用填滿。這個(gè)系統(tǒng)調(diào)用導(dǎo)致內(nèi)核向磁盤控 制硬件發(fā)出一條命令要從磁盤獲取數(shù)據(jù)。磁盤控制器通過(guò)DMA直接將數(shù)據(jù)寫入內(nèi)核的內(nèi)存緩沖區(qū)，不需要主CPU進(jìn)一步幫助。當(dāng)請(qǐng)求read()操作時(shí)，一旦磁盤控制器完成了緩存的填 寫，內(nèi)核從內(nèi)核空間的臨時(shí)緩存拷貝數(shù)據(jù)到進(jìn)程指定的緩存中。

有一點(diǎn)需要注意，在內(nèi)核試圖緩存及預(yù)取數(shù)據(jù)時(shí)，內(nèi)核空間中進(jìn)程請(qǐng)求的數(shù)據(jù)可能已經(jīng)就緒了。如果這樣，進(jìn)程請(qǐng)求的數(shù)據(jù)會(huì)被拷貝出來(lái)。如果數(shù)據(jù)不可用，則進(jìn)程被掛起。內(nèi)核將把數(shù)據(jù)讀入內(nèi)存。

　虛擬內(nèi)存

你可能已經(jīng)多次聽說(shuō)過(guò)虛擬內(nèi)存了。讓我再介紹一下。

所有現(xiàn)代操作系統(tǒng)都使用虛擬內(nèi)存。虛擬內(nèi)存意味著人工或者虛擬地址代替物理（硬件RAM）內(nèi)存地址。虛擬地址有兩個(gè)重要優(yōu)勢(shì)：

多個(gè)虛擬地址可以映射到相同的物理地址。一個(gè)虛擬地址空間可以大于實(shí)際可用硬件內(nèi)存。

在上面介紹中，從內(nèi)核空間拷貝到最終用戶緩存看起來(lái)增加了額外的工作。為什么不告訴磁盤控制器直接發(fā)送數(shù)據(jù)到用戶空間的緩存呢？好吧，這是由虛擬內(nèi)存實(shí)現(xiàn)的。用到了上面的優(yōu)勢(shì)1。

通過(guò)將內(nèi)核空間地址映射到相同的物理地址作為一個(gè)用戶空間的虛擬地址，DMA硬件（只能方位物理內(nèi)存地址）可以填充緩存。這個(gè)緩存同時(shí)對(duì)內(nèi)核和用戶空間進(jìn)程可見(jiàn)。

這就消除了內(nèi)核和用戶空間之間的拷貝，但是需要內(nèi)核和用戶緩沖區(qū)使用相同的頁(yè)面對(duì)齊方式。緩沖區(qū)必須使用的塊大小的倍數(shù)磁盤控制器（通常是512字節(jié)的磁盤扇區(qū)）。操作系統(tǒng)將其內(nèi)存地址空間劃分為頁(yè)面，這是固定大小的字節(jié)組。這些內(nèi)存頁(yè)總是磁盤塊大小的倍數(shù)和通常為2倍（簡(jiǎn)化尋址）。典型的內(nèi)存頁(yè)面大小是1024、2048和4096字節(jié)。虛擬和物理內(nèi)存頁(yè)面大小總是相同的。

　內(nèi)存分頁(yè)

為了支持虛擬內(nèi)存的第2個(gè)優(yōu)勢(shì)（擁有大于物理內(nèi) 存的可尋址空間）需要進(jìn)行虛擬內(nèi)存分頁(yè)（通常稱為頁(yè)交換）。這種機(jī)制憑借虛擬內(nèi)存空間的頁(yè)可以持久保存在外部磁盤存儲(chǔ)，從而為其他虛擬頁(yè)放入物理內(nèi)存提供了空間。本質(zhì)上講，物理內(nèi)存擔(dān)當(dāng)了分頁(yè)區(qū)域的緩存。分頁(yè)區(qū)是磁盤上的空間，內(nèi)存頁(yè)的內(nèi)容被強(qiáng)迫交換出物理內(nèi)存時(shí)會(huì)保存到這里。

調(diào)整內(nèi)存頁(yè)面大小為磁盤塊大小的倍數(shù)，讓內(nèi)核可以直接發(fā)送指令到磁盤控制器硬件，將內(nèi)存頁(yè)寫到磁盤或者在需要時(shí)重新加載。事實(shí)證明，所有的磁盤I/O操作都是在頁(yè)面級(jí)別上完成的。這是數(shù)據(jù)在現(xiàn)代分頁(yè)操作系統(tǒng)上在磁盤與物理內(nèi)存之間移動(dòng)的唯一方式。

現(xiàn)代CPU包含一個(gè)名為內(nèi)存管理單元（MMU）的子系統(tǒng)。這 個(gè)設(shè)備邏輯上位于CPU與物理內(nèi)存之間。它包含從虛擬地址向物理內(nèi)存地址轉(zhuǎn)化的映射信息。當(dāng)CPU引用一個(gè)內(nèi)存位置時(shí)，MMU決定哪些頁(yè)需要駐留（通常通過(guò)移位或屏蔽地址的某些位）以及轉(zhuǎn)化虛擬頁(yè)號(hào)到物理頁(yè)號(hào)（由硬件實(shí)現(xiàn)，速度奇快）。

　面向文件、塊I/O

文件I/O總是發(fā)生在文件系統(tǒng)的上下文切換中。文件系統(tǒng)跟磁盤是完全不同的事物。磁盤按段存儲(chǔ)數(shù)據(jù)，每段512字節(jié)。它是硬件設(shè)備，對(duì)保存的文件語(yǔ)義一無(wú)所知。它們只是提供了一定數(shù)量的可以保存數(shù)據(jù)的插槽。從這方面來(lái)說(shuō)，一個(gè)磁盤的段與 內(nèi)存分頁(yè)類似。它們都有統(tǒng)一的大小并且是個(gè)可尋址的大數(shù)組。

另一方面，文件系統(tǒng)是更高層抽象。文件系統(tǒng)是安排和翻譯保存磁盤（或其它可隨機(jī)訪問(wèn)，面向塊的設(shè)備）數(shù)據(jù)的一種特殊方法。你寫的代碼幾乎總是與文件系統(tǒng)交互，而不與磁盤直接交互。文件系統(tǒng)定義了文件名、路徑、文件、文件屬性等抽象。

一個(gè)文件系統(tǒng)組織（在硬盤中）了一系列均勻大小的數(shù)據(jù)塊。有些塊保存元信息，如空閑塊的映射、目錄、索引等。其它塊包含實(shí)際的文件數(shù)據(jù)。單個(gè)文件的元信息描述哪些塊包含文件數(shù)據(jù)、數(shù)據(jù)結(jié)束位置、最后更新時(shí)間等。當(dāng)用戶進(jìn)程發(fā)送請(qǐng)求來(lái)讀取文件數(shù)據(jù)時(shí)，文件系統(tǒng)實(shí)現(xiàn)準(zhǔn)確定位數(shù)據(jù)在磁盤上的位置。然后采取行動(dòng)將這些磁盤扇區(qū)放入內(nèi)存中。

文件系統(tǒng)也有頁(yè)的概念，它的大小可能與一個(gè)基本內(nèi)存頁(yè)面大小相同或者是它的倍數(shù)。典型的文件系統(tǒng)頁(yè)面大小范圍從2048到8192字節(jié)，并且總是一個(gè)基本內(nèi)存頁(yè)面大小的倍數(shù)。

分頁(yè)文件系統(tǒng)執(zhí)行I/O可以歸結(jié)為以下邏輯步驟：

確定請(qǐng)求跨越了哪些文件系統(tǒng)分頁(yè)（磁盤段的集合）。磁盤上的文件內(nèi)容及元數(shù)據(jù)可能分布在多個(gè)文件系統(tǒng)頁(yè)面上，這些頁(yè)面可能是不連續(xù)的。分配足夠多的內(nèi)核空間內(nèi)存頁(yè)面來(lái)保存相同的文件系統(tǒng)頁(yè)面。建立這些內(nèi)存分頁(yè)與磁盤上文件系統(tǒng)分頁(yè)的映射。對(duì)每一個(gè)內(nèi)存分頁(yè)產(chǎn)生分頁(yè)錯(cuò)誤。虛擬內(nèi)存系統(tǒng)陷入分頁(yè)錯(cuò)誤并且調(diào)度pagins（頁(yè)面調(diào)入），通過(guò)從磁盤讀取內(nèi)容來(lái)驗(yàn)證這些頁(yè)面。一旦pageins完成，文件系統(tǒng)分解原始數(shù)據(jù)來(lái)提取請(qǐng)求的文件內(nèi)容或?qū)傩孕畔ⅰ?p>需要注意的是，這個(gè)文件系統(tǒng)數(shù)據(jù)將像其它內(nèi)存頁(yè)一樣被緩存起來(lái)。在隨后的I/O請(qǐng)求中，一些數(shù)據(jù)或所有文件數(shù)據(jù)仍然保存在物理內(nèi)存中，可以直接重用不需要從磁盤重讀。

　文件鎖定

文件加鎖是一種機(jī)制，一個(gè)進(jìn)程可以阻止其它進(jìn)程訪問(wèn)一個(gè)文件或限制其它進(jìn)程訪問(wèn)該文件。雖然名為“文件鎖定”，意味著鎖定整個(gè)文件（經(jīng)常做的）。鎖定通常可以在一個(gè)更細(xì)粒度的水平。隨著粒度下降到字節(jié)級(jí)，文件的區(qū)域通常會(huì)被鎖定。鎖與特定文件相關(guān)聯(lián)，起始于文件的指定字節(jié)位置并運(yùn)行到指定的字節(jié)范圍。這一點(diǎn)很重要，因?yàn)樗试S多個(gè)進(jìn)程協(xié)作訪問(wèn)文件的特定區(qū)域而不妨礙別的進(jìn)程在文件其它位置操作。

文件鎖有兩種形式：共享和獨(dú)占。多個(gè)共享鎖可以同時(shí)在相同的文件區(qū)域有效。另一方面，獨(dú)占鎖要求沒(méi)有其它鎖對(duì)請(qǐng)求的區(qū)域有效。

　流I/O

并非所有的I/O是面向塊的。還有流I/O，它是管道的原型，必須順序訪問(wèn)I/O數(shù)據(jù)流的字節(jié)。常見(jiàn)的數(shù)據(jù)流有TTY（控制臺(tái)）設(shè)備、打印端口和網(wǎng)絡(luò)連接。

數(shù)據(jù)流通常但不一定比塊設(shè)備慢，提供間歇性輸入。大多數(shù)操作系統(tǒng)允許在非阻塞模式下工作。允許一個(gè)進(jìn)程檢查數(shù)據(jù)流的輸入是否可用，不必在不可用時(shí)發(fā)生阻塞。這種管理允許進(jìn)程在輸入到達(dá)時(shí)進(jìn)行處理，在輸入流空閑時(shí)可以執(zhí)行其他功能。

比非阻塞模式更進(jìn)一步的是有條件的選擇（readiness selection）。它類似于非阻塞模式（并且通常建立在非阻塞模式基礎(chǔ)上），但是減輕了操作系統(tǒng)檢查流是否就緒準(zhǔn)的負(fù)擔(dān)。操作系統(tǒng)可以被告知觀察流集合，并向進(jìn)程返回哪個(gè)流準(zhǔn)備好的指令。這種能力允許進(jìn)程通過(guò)利用操作系統(tǒng)返回 的準(zhǔn)備信息，使用通用代碼和單個(gè)線程復(fù)用多個(gè)活動(dòng)流。這種方式被廣泛用于網(wǎng)絡(luò)服務(wù)器，以便處理大量的網(wǎng)絡(luò)連接。準(zhǔn)備選擇對(duì)于大容量擴(kuò)展是至關(guān)重要的。

到此為止，對(duì)這個(gè)非常復(fù)雜的話題有一大堆技術(shù)術(shù)語(yǔ)。

如果你有想法和疑問(wèn)，請(qǐng)給給我發(fā)評(píng)論。

學(xué)習(xí)快樂(lè)！！

原文鏈接：howtodoinjava 翻譯：ImportNew