2020年大數(shù)據(jù)量的云織機

2020-01-14 13:35:01    來源:    作者:

如果您在2020年涉及大數(shù)據(jù),那么將很難避免使用云,因為云已成為存儲和處理大量數(shù)據(jù)的實際標準平臺。隨著云巨頭爭奪霸主地位,云將在今年迅速變化。成功地在云中導航這些動態(tài)可能意味著慶祝大數(shù)據(jù)勝利與清理數(shù)字混亂之間的區(qū)別。

現(xiàn)代云堆棧依靠Kubernetes進行容器編排。預計今年將在Kubernetes上啟用大數(shù)據(jù)和AI工作負載方面取得進展,或者是Alluxio的創(chuàng)始人兼首席技術官Haoyuan “ HY” Li 稱其為“ Kubernetifying ”分析堆棧。

“容器和Kubernetes在無狀態(tài)應用程序(如Web服務器和獨立數(shù)據(jù)庫)上表現(xiàn)特別出色,但在高級分析和人工智能方面,我們并沒有看到大量的容器使用情況,” Li說。“在2020年,我們將看到在Kubernetes領域,向AI和分析工作負載的轉變將變得更加主流。“ ubernetizing”分析堆棧將意味著通過將數(shù)據(jù)從遠程數(shù)據(jù)孤島移到K8s集群中來解決數(shù)據(jù)共享和彈性問題,以實現(xiàn)更嚴格的數(shù)據(jù)局部性。”

2020年大數(shù)據(jù)

兩位信息構建者副總裁埃里克·拉布(Eric Raab)和卡比爾·喬杜里(Kabir Choudry)表示,目前,我們已經(jīng)達到了數(shù)量龐大的云原生分析應用程序,并且由于這一原因,云將在2020年辭職。

Raab和Choudry說:“使用BI和分析工具的組織如今屬于三類之一:當前在云中運行的組織,遷移到云中的組織以及討論遷移到云中的組織。” “盡管他們過去可能因擔心其平臺的體系結構是否旨在與云生態(tài)系統(tǒng)集成和開發(fā)而受阻,但現(xiàn)在有專門針對基于云的操作而構建的成熟解決方案。到2020年,組織將遷移到云以利用云原生解決方案的可用性,可擴展性和靈活性的大門將打開。

Teradata云營銷總監(jiān)Brian Wood預測,企業(yè)將在所有新分析工作負載的部署中成為云計算第一人。

2020年大數(shù)據(jù)

他說:“預計IT部門將默認使用公共云,以支持任何業(yè)務計劃,而不僅僅是現(xiàn)有基礎架構的容量擴展。” 與公共云供應商簽訂的“使用或失去使用”批量購買協(xié)議將促使企業(yè)IT部門盲目地偏愛云部署位置而不是解決方案適合性,這令他們的領導人最終感到遺憾。滿足短期預算目標的狂熱將勝過考慮周全的計劃和戰(zhàn)略投資的智慧。”

公眾的云已經(jīng)得到了大多數(shù)媒體的關注。但在2020年,我們會看到重新崛起的私有云,預計喬恩·托爾,首席營銷官Cloudian。

“具有大規(guī)模存儲需求的組織,例如醫(yī)療保健,科學研究,媒體和娛樂領域的組織,在管理容量密集型工作負載(可能達到數(shù)十PB)方面面臨著獨特的挑戰(zhàn),” Toor說。“私有云通過提供公共云的規(guī)模和靈活性優(yōu)勢以及本地存儲的性能,訪問,安全性和控制優(yōu)勢來應對這些挑戰(zhàn)。”

云的簡單性和靈活性是一大優(yōu)勢。但是,基于實用程序的云計算定價并不適合所有工作負載。Splice Machine首席執(zhí)行官Monte Zweben表示,當前這一輪的數(shù)字化轉型計劃或DX 2.0是云計算中的“圓釘子” 。

他說:“' 云幻滅'之所以盛行,是因為電表一直在運行。” 急于遷移到云端的公司完成了他們的第一階段項目,并意識到他們擁有與之前運行的應用程序相同的應用程序,而沒有利用新的數(shù)據(jù)源來使它們充滿AI。實際上,他們的運營支出實際上已經(jīng)增加了,因為人工操作員的節(jié)省完全被始終處于運行狀態(tài)的應用程序的云計算資源的成本所淹沒。哎喲。這些資源在內部部署之前已被資本化,但現(xiàn)在已達到損益表。”

Quest Software的Foglight研發(fā)團隊的軟件工程高級經(jīng)理秦英華說,混合計算的興起意味著傳統(tǒng)的數(shù)據(jù)中心將消失。

秦說:“在未來幾年中,隨著云服務,物聯(lián)網(wǎng)和其他創(chuàng)新限制了傳統(tǒng)本地數(shù)據(jù)中心可以提供的優(yōu)勢,我們可以期待傳統(tǒng)數(shù)據(jù)中心消失。” “將需要根據(jù)業(yè)務需求而不是物理位置來定位計算工作負載,結果,公司將開始遷移到混合云以提供更靈活的基礎架構。”

2020年大數(shù)據(jù)

隨著公司尋求結合本地資源和基于云的資源的方式,混合環(huán)境正在不斷發(fā)展。Ensono公共云總經(jīng)理肖恩·羅伯茨(Sean Roberts)說,弄清楚如何管理云和本地資源的混合并不是一件容易的事,但是新興的管理平臺將有所幫助。

羅伯茨說:“主要的云廠商開始意識到他們不能擁有所有的工作負載,大多數(shù)公司將采用多云策略。” “因此,戰(zhàn)爭中的新戰(zhàn)線已經(jīng)打開:控制管理平面。想想Microsoft宣布其Azure Arc –旨在將Azure服務和管理引入任何基礎架構的一組技術,使Microsoft云客戶端可以跨AWS和Google Cloud管理資源。”

公共云將在很大一部分人口中看起來相似,這將使云平臺更難與眾不同。對此,Datrium首席技術官兼聯(lián)合創(chuàng)始人Sazzala Reddy說,云將在本地部署。

“ 不可知論者將抓住這一天,”雷迪說。云供應商意識到,許多企業(yè)客戶還沒有準備好完全遷移到云。每個人都說他們想要云,但是對于公司來說,要做出這種轉變仍然是一個挑戰(zhàn)。作為響應,云供應商將發(fā)布本地產品,這些產品可為大型企業(yè)提供遷移到云的緩慢體驗(例如AWS Outposts)。但是,這都是暫時的,因為前哨基地的目標是為它們的特定云提供輕松的橋梁。”

AWS Redshift,Snowflake和Google BigQuery等云數(shù)據(jù)倉庫正在快速增長。但是這種勢頭會在2020年繼續(xù)嗎?Dremio聯(lián)合創(chuàng)始人兼首席執(zhí)行官Tomer Shiran 對此表示懷疑。

“鑒于傳統(tǒng)的本地數(shù)據(jù)倉庫的巨大成本和復雜性,新一代云原生企業(yè)數(shù)據(jù)倉庫的出現(xiàn)不足為奇,” Shiran說。“但是精明的企業(yè)已經(jīng)發(fā)現(xiàn),云數(shù)據(jù)倉庫只是對傳統(tǒng)體系結構的更好實現(xiàn),因此,他們避免繞道而行,而是直接遷移到圍繞云數(shù)據(jù)湖構建的下一代體系結構。”

Shiran說,在這種新的體系結構中,不會移動或復制數(shù)據(jù),沒有數(shù)據(jù)倉庫,也沒有關聯(lián)的ETL,多維數(shù)據(jù)集或其他解決方法。“我們預測,到2020年,全球2000%的75%的產品將投入生產或在云數(shù)據(jù)湖中試產,它們將使用多個最佳引擎針對數(shù)據(jù)科學,數(shù)據(jù)管道,BI和交互式/臨時的不同用例。分析”,他繼續(xù)說道。

但是Sigma Computing的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Rob Woollen 并沒有看到云數(shù)據(jù)倉庫的增長速度。實際上,他認為云數(shù)據(jù)倉庫(CDW)繼續(xù)受到關注。

伍倫說:“ CDW起飛的原因有很多。” “可擴展性,靈活性,較低的成本和連接性,現(xiàn)在許多人認為云中的數(shù)據(jù)倉庫比本地系統(tǒng)更安全。他們的理由是,由于云數(shù)據(jù)倉庫提供商的整個業(yè)務模型都依賴于數(shù)據(jù)安全性和加密,因此他們可能比您更擅長。這些公司在安全技術上進行了大量投資,并致力于整個部門來保護您的數(shù)據(jù)。CDW甚至可以減輕合規(guī)負擔。通過將所有數(shù)據(jù)存儲在一個地方,組織不必處理搜索各種離散的業(yè)務系統(tǒng)和數(shù)據(jù)存儲以定位相關數(shù)據(jù)的復雜性。”

我們提到過Kubernetes嗎?Kubernetes或K8S是一項關鍵技術,可實現(xiàn)云堆棧的大部分靈活性。Unravel Data首席執(zhí)行官Kunal Agarwal認為Kubernetes趨勢不會很快消失。

Agarwal說:“ Kubernetes最近超過了Docker,成為最受關注的容器技術。” “將來,每種數(shù)據(jù)技術都將在Kubernetes上運行。我們可能不會在2020年實現(xiàn)這一目標,但隨著越來越多的主要供應商在其旗艦平臺上建立基礎,Kubernetes將繼續(xù)被采用。還有一些需要解決的問題,例如持久性存儲問題,但目前正在通過BlueK8等舉措來解決。整個大數(shù)據(jù)社區(qū)都在Kubernetes的后面,并且可以確保其持續(xù)的統(tǒng)治地位。”

Neo4j的首席執(zhí)行官兼聯(lián)合創(chuàng)始人埃米爾·埃弗雷姆(Emil Eifrem)表示,云和開源的交集為開發(fā)人員提供了沃土。

Eifrem表示:“定位最完善的技術公司將是那些擁有B2D(企業(yè)對開發(fā)人員),開發(fā)人員/從業(yè)人員主導的方法的公司,并提供SaaS產品,以隨時隨地為從業(yè)人員提供支持。” “這些往往是開源軟件(OSS)公司,它們隨著時間的推移在開發(fā)人員社區(qū)中建立了信任,了解開發(fā)人員的不斷變化的需求,并且精通經(jīng)典的企業(yè)軟件銷售動議……。提供SaaS產品的OSS公司是處于非常有利的位置,可以從希望不付任何費用的個人(包括本地和云端的六位數(shù)企業(yè)經(jīng)典交易)中占領整個市場。”

戴爾技術公司首席運營官杰夫·克拉克(Jeff Clarke)說,新興的企業(yè)計算平臺是公共云和本地資源的結合。

“公共云和私有云可以并將會共存的想法在2020年將成為現(xiàn)實,”克拉克說。“由混合云架構支持的多云IT戰(zhàn)略將在確保組織具有更好的數(shù)據(jù)管理和可見性,同時確保其數(shù)據(jù)保持可訪問性和安全性方面發(fā)揮關鍵作用……但是私有云將不僅僅存在于企業(yè)核心內。數(shù)據(jù)中心。隨著5G和邊緣部署的不斷推出,私有混合云將存在于邊緣,以確保實時監(jiān)控和管理所處數(shù)據(jù)的所有位置。這意味著組織將期望更多的云和服務提供商確保他們能夠在所有環(huán)境中支持其混合云需求。”

Panasas的軟件架構師Curtis Anderson表示,公共云對于開發(fā)AI可能非常有用,但是生產AI的要求支持本地資源。

“隨著AI項目從探索性部署到全面生產的畢業(yè),組織將發(fā)現(xiàn)他們需要離開公共云以使用成本更低的本地解決方案,而這反過來又將為HPC基礎架構的建設提供資金并產生大量的繁榮,” Anderson預測。“但是,公共云將對下一代內部部署基礎架構產生重大影響……該行業(yè)已經(jīng)習慣了公共云所提供的管理的極大靈活性和簡單性,因此組織將希望在其內部保留這些特征。低成本的本地解決方案。”

Appen的首席技術官Wilson Pang認為,當您將新興的數(shù)據(jù)法規(guī)混為一談時,規(guī)模就會傾向于本地部署。

“隨著越來越多的組織為他們的AI計劃試驗更多數(shù)據(jù),對AI的安全性和道德使用將變得越來越重要,” Pang說。“在這個領域,首要的擔憂是數(shù)據(jù)泄漏,尤其是個人身份信息(PII),新產品的想法和專有信息的泄漏。這些擔憂將導致出現(xiàn)更多用于支持AI創(chuàng)建的本地解決方案,包括數(shù)據(jù)注釋和安全利用多元化人群的解決方案。”

NetApp首席戰(zhàn)略官Atish Gude 說,為邊緣崩潰做好準備。“為為5G的廣泛出現(xiàn)做準備,低成本傳感器和成熟的AI應用將被用于構建計算密集型邊緣環(huán)境,為高帶寬,低延遲AI驅動的物聯(lián)網(wǎng)環(huán)境奠定基礎,并具有巨大的創(chuàng)新潛力–和破壞。”他說。

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯(lián)系我們修改或刪除,多謝。