400-638-8808
|
微信公眾號





穩(wěn)定可靠 永不間斷

海外收發(fā) 暢通無阻

協(xié)同辦公 資源管理

超大郵件 超級功能

智能反垃圾郵件技術(shù)
易管理 免維護(hù)

導(dǎo)讀:數(shù)據(jù)湖概念的誕生,源自企業(yè)面臨的一些挑戰(zhàn),如數(shù)據(jù)應(yīng)該以何種方式處理和存儲。最開始,企業(yè)對種類龐雜的應(yīng)用程序的管理都經(jīng)歷了一個(gè)比較自然的演化周期。
最開始的時(shí)候,每個(gè)應(yīng)用程序會產(chǎn)生、存儲大量數(shù)據(jù),而這些數(shù)據(jù)并不能被其他應(yīng)用程序使用,這種狀況導(dǎo)致數(shù)據(jù)孤島的產(chǎn)生。隨后數(shù)據(jù)集市應(yīng)運(yùn)而生,應(yīng)用程序產(chǎn)生的數(shù)據(jù)存儲在一個(gè)集中式的數(shù)據(jù)倉庫中,可根據(jù)需要導(dǎo)出相關(guān)數(shù)據(jù)傳輸給企業(yè)內(nèi)需要該數(shù)據(jù)的部門或個(gè)人。
然而數(shù)據(jù)集市只解決了部分問題。剩余問題,包括數(shù)據(jù)管理、數(shù)據(jù)所有權(quán)與訪問控制等都亟須解決,因?yàn)槠髽I(yè)尋求獲得更高的使用有效數(shù)據(jù)的能力。
為了解決前面提及的各種問題,企業(yè)有很強(qiáng)烈的訴求搭建自己的數(shù)據(jù)湖,數(shù)據(jù)湖不但能存儲傳統(tǒng)類型數(shù)據(jù),也能存儲任意其他類型數(shù)據(jù),并且能在它們之上做進(jìn)一步的處理與分析,產(chǎn)生最終輸出供各類程序消費(fèi)。
在本文中,將介紹數(shù)據(jù)湖的一些主要方面,幫助讀者理解為什么它對企業(yè)非常重要。

01 什么是數(shù)據(jù)湖
如果需要給數(shù)據(jù)湖下一個(gè)定義,可以定義為這樣:數(shù)據(jù)湖是一個(gè)存儲企業(yè)的各種各樣原始數(shù)據(jù)的大型倉庫,其中的數(shù)據(jù)可供存取、處理、分析及傳輸。
數(shù)據(jù)湖從企業(yè)的多個(gè)數(shù)據(jù)源獲取原始數(shù)據(jù),并且針對不同的目的,同一份原始數(shù)據(jù)還可能有多種滿足特定內(nèi)部模型格式的數(shù)據(jù)副本。因此,數(shù)據(jù)湖中被處理的數(shù)據(jù)可能是任意類型的信息,從結(jié)構(gòu)化數(shù)據(jù)到完全非結(jié)構(gòu)化數(shù)據(jù)。
企業(yè)對數(shù)據(jù)湖寄予厚望,希望它能幫助用戶快速獲取有用信息,并能將這些信息用于數(shù)據(jù)分析和機(jī)器學(xué)習(xí)算法,以獲得與企業(yè)運(yùn)行相關(guān)的洞察力。
數(shù)據(jù)湖能給企業(yè)帶來多種能力,例如,能實(shí)現(xiàn)數(shù)據(jù)的集中式管理,在此之上,企業(yè)能挖掘出很多之前所不具備的能力。
另外,數(shù)據(jù)湖結(jié)合先進(jìn)的數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)技術(shù),能幫助企業(yè)構(gòu)建更多優(yōu)化后的運(yùn)營模型,也能為企業(yè)提供其他能力,如預(yù)測分析、推薦模型等,這些模型能刺激企業(yè)能力的后續(xù)增長。
企業(yè)數(shù)據(jù)中隱藏著多種能力,然而,在重要數(shù)據(jù)能夠被具備商業(yè)數(shù)據(jù)洞察力的人使用之前,人們無法利用它們來改善企業(yè)的商業(yè)表現(xiàn)。

02 數(shù)據(jù)湖如何幫助企業(yè)
長期以來,企業(yè)一直試圖找到一個(gè)統(tǒng)一的模型來表示企業(yè)中所有實(shí)體。這個(gè)任務(wù)有極大的挑戰(zhàn)性,原因有很多,下面列舉了其中的一部分:
這些問題已困擾企業(yè)多年,并阻礙了業(yè)務(wù)處理、服務(wù)定義及術(shù)語命名等事務(wù)的標(biāo)準(zhǔn)化。
從數(shù)據(jù)湖的角度來看,我們正在以另外一種方式來看待這個(gè)問題。使用數(shù)據(jù)湖,隱式實(shí)現(xiàn)了一個(gè)較好的統(tǒng)一數(shù)據(jù)模型,而不用擔(dān)心對業(yè)務(wù)程序產(chǎn)生實(shí)質(zhì)性影響。這些業(yè)務(wù)程序則是解決具體業(yè)務(wù)問題的“專家”。數(shù)據(jù)湖基于從實(shí)體所有者相關(guān)的所有系統(tǒng)中捕獲的全量數(shù)據(jù)來盡可能“豐滿”地表示實(shí)體。
因?yàn)樵趯?shí)體表示方面更優(yōu)且更完備,數(shù)據(jù)湖確實(shí)給企業(yè)數(shù)據(jù)處理與管理帶來了巨大的幫助,使得企業(yè)具備更多關(guān)于企業(yè)增長方面的洞察力,幫助企業(yè)達(dá)成其商業(yè)目標(biāo)。

企業(yè)會在其多個(gè)業(yè)務(wù)系統(tǒng)中產(chǎn)生海量數(shù)據(jù),隨著企業(yè)體量增大,企業(yè)也需要更智能地處理這些橫跨多個(gè)系統(tǒng)的數(shù)據(jù)。
一種最基本的策略是采用一個(gè)單獨(dú)的領(lǐng)域模型,它能精準(zhǔn)地描述數(shù)據(jù)并能代表對總體業(yè)務(wù)最有價(jià)值的那部分?jǐn)?shù)據(jù)。這些數(shù)據(jù)指的是前面提到的企業(yè)數(shù)據(jù)。
對企業(yè)數(shù)據(jù)進(jìn)行了良好定義的企業(yè)當(dāng)然也有一些管理數(shù)據(jù)的方法,因此企業(yè)數(shù)據(jù)定義的更改能保持一致性,企業(yè)內(nèi)部也很清楚系統(tǒng)是如何共享這些信息的。
在這種案例中,系統(tǒng)被分為數(shù)據(jù)擁有者(data owner)及數(shù)據(jù)消費(fèi)者(data consumer)。對于企業(yè)數(shù)據(jù)來說,需要有對應(yīng)的擁有者,擁有者定義了數(shù)據(jù)如何被其他消費(fèi)系統(tǒng)獲取,消費(fèi)系統(tǒng)扮演著消費(fèi)者的角色。
一旦企業(yè)有了對數(shù)據(jù)和系統(tǒng)的明晰定義,就可以通過該機(jī)制利用大量的企業(yè)信息。該機(jī)制的一種常見實(shí)現(xiàn)策略是通過構(gòu)建企業(yè)級數(shù)據(jù)湖來提供統(tǒng)一的企業(yè)數(shù)據(jù)模型,在該機(jī)制中,數(shù)據(jù)湖負(fù)責(zé)捕獲數(shù)據(jù)、處理數(shù)據(jù)、分析數(shù)據(jù),以及為消費(fèi)者系統(tǒng)提供數(shù)據(jù)服務(wù)。
數(shù)據(jù)湖能從以下方面幫助到企業(yè):
在本節(jié)中,我們討論數(shù)據(jù)湖應(yīng)該具備哪些能力。后續(xù)將會討論和評述數(shù)據(jù)湖是如何工作的,以及應(yīng)該如何去理解其工作機(jī)制。

03 數(shù)據(jù)湖是如何工作的
為了準(zhǔn)確理解數(shù)據(jù)湖能給企業(yè)帶來哪些好處,理解數(shù)據(jù)湖的工作機(jī)制以及構(gòu)建功能齊全的數(shù)據(jù)湖需要哪些組件就顯得尤為重要了。在一頭扎進(jìn)數(shù)據(jù)湖架構(gòu)細(xì)節(jié)之前,不妨先來了解數(shù)據(jù)湖背景中的數(shù)據(jù)生命周期。
在一個(gè)較高的層面來看,數(shù)據(jù)湖中數(shù)據(jù)生命周期如圖2-1所示。

▲圖2-1 數(shù)據(jù)湖的生命周期
上述生命周期也可稱為數(shù)據(jù)在數(shù)據(jù)湖中的多個(gè)不同階段。每個(gè)階段所需的數(shù)據(jù)和分析方法也有所不同。數(shù)據(jù)處理與分析既可按批量(batch)方式處理,也可以按近實(shí)時(shí)(near-real-time)方式處理。
數(shù)據(jù)湖的實(shí)現(xiàn)需要同時(shí)支持這兩種處理方式,因?yàn)椴煌奶幚矸绞椒⻊?wù)于不同的場景。處理方式(批處理或近實(shí)時(shí)處理)的選擇也依賴數(shù)據(jù)處理或分析任務(wù)的計(jì)算量,因?yàn)楹芏鄰?fù)雜計(jì)算不可能在近實(shí)時(shí)處理模式中完成,而在一些案例中,則不能接受較長的處理周期。
同樣,存儲系統(tǒng)的選擇還依賴于數(shù)據(jù)訪問的要求。例如,如果希望存儲數(shù)據(jù)時(shí)便于通過SQL查詢訪問數(shù)據(jù),則選擇的存儲系統(tǒng)必須支持SQL接口。
如果數(shù)據(jù)訪問要求提供數(shù)據(jù)視圖,則涉及將數(shù)據(jù)存儲為對應(yīng)的形式,即數(shù)據(jù)可以作為視圖對外提供,并提供便捷的可管理性和可訪問性。
最近出現(xiàn)的一個(gè)日漸重要的趨勢是通過服務(wù)(service)來提供數(shù)據(jù),它涉及在輕量級服務(wù)層上對外公開數(shù)據(jù)。每個(gè)對外公開的服務(wù)必須準(zhǔn)確地描述服務(wù)功能并對外提供數(shù)據(jù)。此模式還支持基于服務(wù)的數(shù)據(jù)集成,這樣其他系統(tǒng)可以消費(fèi)數(shù)據(jù)服務(wù)提供的數(shù)據(jù)。
當(dāng)數(shù)據(jù)從采集點(diǎn)流入數(shù)據(jù)湖時(shí),它的元數(shù)據(jù)被捕獲,并根據(jù)其生命周期中的數(shù)據(jù)敏感度從數(shù)據(jù)可追溯性、數(shù)據(jù)世系和數(shù)據(jù)安全等方面進(jìn)行管理。
數(shù)據(jù)世系被定義為數(shù)據(jù)的生命周期,包括數(shù)據(jù)的起源以及數(shù)據(jù)是如何隨時(shí)間移動的。它描述了數(shù)據(jù)在各種處理過程中發(fā)生了哪些變化,有助于提供數(shù)據(jù)分析流水線的可見性,并簡化了錯誤溯源。
可追溯性是通過標(biāo)識記錄來驗(yàn)證數(shù)據(jù)項(xiàng)的歷史、位置或應(yīng)用的能力。
——維基百科

04 數(shù)據(jù)湖與數(shù)據(jù)倉庫的區(qū)別
很多時(shí)候,數(shù)據(jù)湖被認(rèn)為與數(shù)據(jù)倉庫是等同的。實(shí)際上數(shù)據(jù)湖與數(shù)據(jù)倉庫代表著企業(yè)想達(dá)成的不同目標(biāo)。表2-1中顯示了兩者的關(guān)鍵區(qū)別。
|
數(shù)據(jù)湖 |
數(shù)據(jù)倉庫 |
|
能處理所有類型的數(shù)據(jù),如結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化數(shù)據(jù)等,數(shù)據(jù)的類型依賴于數(shù)據(jù)源系統(tǒng)的原始數(shù)據(jù)格式。 |
只能處理結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理,而且這些數(shù)據(jù)必須與數(shù)據(jù)倉庫事先定義的模型吻合。 |
|
擁有足夠強(qiáng)的計(jì)算能力用于處理和分析所有類型的數(shù)據(jù),分析后的數(shù)據(jù)會被存儲起來供用戶使用。 |
處理結(jié)構(gòu)化數(shù)據(jù),將它們或者轉(zhuǎn)化為多維數(shù)據(jù),或者轉(zhuǎn)換為報(bào)表,以滿足后續(xù)的高級報(bào)表及數(shù)據(jù)分析需求。 |
|
數(shù)據(jù)湖通常包含更多的相關(guān)的信息,這些信息有很高概率會被訪問,并且能夠?yàn)槠髽I(yè)挖掘新的運(yùn)營需求。 |
數(shù)據(jù)倉庫通常用于存儲和維護(hù)長期數(shù)據(jù),因此數(shù)據(jù)可以按需訪問。 |
▲表2-1 數(shù)據(jù)湖與數(shù)據(jù)倉庫的關(guān)鍵區(qū)別
從表2-1來看,數(shù)據(jù)湖與數(shù)據(jù)倉庫的差別很明顯。然而,在企業(yè)中兩者的作用是互補(bǔ)的,不應(yīng)認(rèn)為數(shù)據(jù)湖的出現(xiàn)是為了取代數(shù)據(jù)倉庫,畢竟兩者的作用是截然不同的。
05 數(shù)據(jù)湖的構(gòu)建方法
不同的組織有不同的偏好,因此它們構(gòu)建數(shù)據(jù)湖的方式也不一樣。構(gòu)建方法與業(yè)務(wù)、處理流程及現(xiàn)存系統(tǒng)等因素有關(guān)。
簡單的數(shù)據(jù)湖實(shí)現(xiàn)幾乎等價(jià)于定義一個(gè)中心數(shù)據(jù)源,所有的系統(tǒng)都可以使用這個(gè)中心數(shù)據(jù)源來滿足所有的數(shù)據(jù)需求。雖然這種方法可能很簡單,也很劃算,但它可能不是一個(gè)非常實(shí)用的方法,原因如下:
更好的構(gòu)建數(shù)據(jù)湖的策略是將企業(yè)及其信息系統(tǒng)作為一個(gè)整體來看待,對數(shù)據(jù)擁有關(guān)系進(jìn)行分類,定義統(tǒng)一的企業(yè)模型。
這種方法雖然可能存在流程相關(guān)的挑戰(zhàn),并且可能需要花費(fèi)更多的精力來對系統(tǒng)元素進(jìn)行定義,但是它仍然能夠提供所需的靈活性、控制和清晰的數(shù)據(jù)定義以及企業(yè)中不同系統(tǒng)實(shí)體之間的關(guān)注點(diǎn)隔離。
這樣的數(shù)據(jù)湖也可以有獨(dú)立的機(jī)制來捕獲、處理、分析數(shù)據(jù),并為消費(fèi)者應(yīng)用程序提供數(shù)據(jù)服務(wù)。
關(guān)于作者:湯姆斯·約翰(Tomcy John)是一名企業(yè)級Java技術(shù)專家,擁有工學(xué)學(xué)士學(xué)位,并且有超過14年多行業(yè)的開發(fā)經(jīng)驗(yàn)。
潘卡·米斯拉(Pankaj Misra)是一名技術(shù)傳播者,擁有工程學(xué)士學(xué)位,并且有超過16年跨多個(gè)業(yè)務(wù)領(lǐng)域的技術(shù)經(jīng)驗(yàn)。
本文摘編自《企業(yè)數(shù)據(jù)湖》
推薦語:本書旨在幫助你選擇正確的大數(shù)據(jù)技術(shù)并使用Lambda架構(gòu)模式來為企業(yè)構(gòu)建自己的數(shù)據(jù)湖。
產(chǎn)品與服務(wù)
香港服務(wù)器 香港高防服務(wù)器 美國服務(wù)器 韓國服務(wù)器 新加坡服務(wù)器 日本服務(wù)器 臺灣服務(wù)器云服務(wù)器
香港云主機(jī) 美國云主機(jī) 韓國云主機(jī) 新加坡云主機(jī) 臺灣云主機(jī) 日本云主機(jī) 德國云主機(jī) 全球云主機(jī)高防專線
海外高防IP 海外無限防御 SSL證書 高防CDN套餐 全球節(jié)點(diǎn)定制 全球?qū)>GPLC關(guān)于我們
關(guān)于天下數(shù)據(jù) 數(shù)據(jù)招商加盟 天下數(shù)據(jù)合作伙伴 天下數(shù)據(jù)團(tuán)隊(duì)建設(shè) 加入天下數(shù)據(jù) 媒體報(bào)道 榮譽(yù)資質(zhì) 付款方式關(guān)注我們
微信公眾賬號
新浪微博
天下數(shù)據(jù)手機(jī)站 關(guān)于天下數(shù)據(jù) 聯(lián)系我們 誠聘英才 付款方式 幫助中心 網(wǎng)站備案 解決方案 域名注冊 網(wǎng)站地圖
天下數(shù)據(jù)18年專注海外香港服務(wù)器、美國服務(wù)器、海外云主機(jī)、海外vps主機(jī)租用托管以及服務(wù)器解決方案-做天下最好的IDC服務(wù)商
《中華人民共和國增值電信業(yè)務(wù)經(jīng)營許可證》 ISP證:粵ICP備07026347號
朗信天下發(fā)展有限公司(控股)深圳市朗玥科技有限公司(運(yùn)營)聯(lián)合版權(quán)
深圳總部:中國.深圳市南山區(qū)深圳國際創(chuàng)新谷6棟B座10層 香港總部:香港上環(huán)蘇杭街49-51號建安商業(yè)大廈7樓
7×24小時(shí)服務(wù)熱線:4006388808香港服務(wù)電話:+852 67031102
本網(wǎng)站的域名注冊業(yè)務(wù)代理北京新網(wǎng)數(shù)碼信息技術(shù)有限公司的產(chǎn)品