Web2.0下的文件緩存技術優化

  Web 2.0是一種新的互聯網方式,通過網絡應用 (Web Applications)促進網絡上人與人間的信息交換和協同合作,其模式更加以用戶為中心。典型的Web 2.0站點有:網絡社區(BBS)、網絡應用程序、社交網站、博客、Wiki等等。

  正如同創新2.0所倡導的以人為本、草根創新、開放創新、共同創新理念,Web 2.0的核心概念是互動、分享與關系,所有的網絡行為,都可用互動、分享、關系的概念來做詮釋。在Web 2.0興起的今天,信息的發佈已經不再是管理員統一發佈的瞭。Web 2.0網站的內容通常是用戶發佈的,使得用戶既是網站內容的瀏覽者也是網站內容的制造者,這也就意味著Web 2.0網站為用戶提供瞭更多參與的機會,例如:微博和維基百科就是典型的用戶創造內容的指導思想。這一交互方式模式的轉變,使得互聯網用戶的網絡訪問具備以下特點:

  1. 海量數據。之前的Web站點多半屬於靜態網頁,信息的發佈是基於管理員統一操作,而Web 2.0網站的信息發佈主要來自於用戶,這使得數據量呈爆炸性的增長,原先一個網站可能幾百個G的數據量,而現在一個Web 2.0站點,動輒上T,甚至是幾個T。

  2. 實時刷新。Web2.0體現是用戶間的參與、共享、交互,進而給用戶帶來豐富多彩的訪問體驗。直接的影響就是網絡流量增大,服務器請求壓力變大。

  而上述兩點對傳統的Cache服務器的業務實現提出瞭嚴峻的挑戰。針對Web站點,傳統的Cache服務器多半采用直接的頁面緩存技術,即將動態頁面直接生成靜態的頁面放在Cache服務器端,用戶調取相同頁面時,靜態頁面將直接下載到客戶端,不再需要遠程訪問網站服務器。如果針對Web 2.0網站進行緩存,至少會遇到兩個問題,一是單一網頁的數據量遠超過傳統網頁,這對Cache服務器的系統性能和存儲容量帶來挑戰;另外,由於Web 2.0網站的內容是動態刷新的,Cache服務器轉存為靜態頁面,會破壞站點內容的時效性,嚴重影響客戶體驗。

  有些傳統Cache服務器的廠商會解決上述難題,考慮過多種處理策略,比如縮短Cache服務器頁面內容的抓取間隔,但這一操作同樣會加重對網站服務器的請求負擔,進而出現無法刷新或者是失敗的情況,影響到用戶的訪問體驗。因此如何針對Web 2.0站點的特點來更新緩存機制,是目前Cache服務器廠商所迫切需要解決的問題。網康安全代理服務器(NPS)基於對Web 2.0網站的服務特點進行深入全面的研究,發現Web2.0網站的內容雖然都是在不斷更新和變化,但這並不意味著該網站的所有頁面信息就是動態內容。通過對Web 2.0網站頁面生成邏輯進行進一步分析發現,一般頁面內容分為兩部分:動態內容和靜態內容。動態的內容是指用戶每次點擊相同的鏈接時實時獲取的信息,由Web服務器應用程序生成的,如常見的ASP,JSP等;與此相對應,靜態內容一般就是指由文本、圖像和多媒體組成,在用戶每次單擊相應鏈接時基本保持不變。

  基於以上分析研究,結合國內Web 2.0站點的內容特點,網康安全代理服務器(NPS)提出瞭對象緩存控制機制、對象多級緩存機制、對象預取機制,從而實現瞭Web 2.0頁面緩存的技術優化。

  3. 對象緩存控制機制,網康科技依托多年的技術積累及對Web 2.0站點內容的精準把握,網康安全代理服務器實現對單一頁面中靜態內容和動態內容的有效區分,針對不同類別的網頁內容片斷分別賦予不同的緩存控制機制。網康安全代理服務器通過這樣的控制機制,可以有效地減少從服務器抓取整個頁面的次數,而隻用從原服務器中提取少量的動態內容,明顯減少瞭網絡出口處的網址請求數,同時提高用戶訪問的響應時間。

  4. 對象多級緩存機制,根據實際用戶對不同頁面內容的響應時間要求,可以基於用戶配置將需要快速響應的頁面對象保留在高速內存中,對響應時間低的對象緩存於磁盤,從而有效的保證瞭響應速度。

  5. 對象預取機制,根據對象的關聯性,當用戶請求一個對象後,代理服務器可以根據對象的關聯分析將相關度最高的對象預取到內存,以提升用戶體驗。

  正是基於上述靈活的多級緩存、緩存控制、對象預取等方法,才使得網康安全代理服務器深受用戶喜愛,並在金融、能源、航空領域得到業界客戶的一致好評。