UCloud優(yōu)刻得:賦能新型大數(shù)據(jù)分析平臺 點亮云計算“數(shù)字版圖”

葛俊俊

2020年09月26日10:13  來源:人民網(wǎng)-上海頻道
 

當下,企業(yè)無論是數(shù)字化轉(zhuǎn)型還是智能化升級,都與數(shù)據(jù)密不可分。然而由于數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)類型眾多,使得數(shù)據(jù)價值的實現(xiàn)仍然存在很高的技術門檻,企業(yè)用戶也日益被大數(shù)據(jù)生態(tài)的復雜性所困。

為了幫助企業(yè)用戶解決大數(shù)據(jù)分析門檻高、效率低的問題,2019年5月,UCloud優(yōu)刻得適時發(fā)布了無服務器的新產(chǎn)品USQL數(shù)據(jù)湖分析。這是一款可擴展性強、成本低廉、計算與存儲分離的新型大數(shù)據(jù)分析產(chǎn)品,可幫助用戶輕松完成面向海量數(shù)據(jù)的數(shù)據(jù)建模工作。

在助力企業(yè)數(shù)字化轉(zhuǎn)型中,作為獨立的第三方云計算服務商,優(yōu)刻得得心應手。自2012年成立起,憑借中立、安全、可信賴的定位,贏得云計算市場領先地位,并于2019年年底,成功登陸科創(chuàng)板,成為A股第一家“同股不同權”上市公司。優(yōu)刻得表示,對于未來胸有成竹,預計將進一步“攻城略地”,在產(chǎn)業(yè)互聯(lián)網(wǎng)中大展宏圖。

“大數(shù)據(jù)”成煩惱,企業(yè)囿于大數(shù)據(jù)之困

沒想到大數(shù)據(jù)時代,“大數(shù)據(jù)”竟形成了“大麻煩”。越來越多中小企業(yè)業(yè)務數(shù)據(jù)規(guī)模達到數(shù)百TB量級,日增長量以TB為單位,必須極大程度依賴大數(shù)據(jù)工程師,這使得數(shù)據(jù)部門每月需投入大量的人力物力進行數(shù)據(jù)分析工作。

優(yōu)刻得技術副總裁楊鐳表示,大數(shù)據(jù)人才的門檻較高,需要掌握復雜的技術棧;其次大數(shù)據(jù)分析前期的服務部署,需要投入巨大的成本;大數(shù)據(jù)系統(tǒng)建立后,分析人員需要經(jīng)過漫長等待才可獲得結(jié)果。

此外,后續(xù)需求將會變更多,任務處理周期長;當對數(shù)據(jù)分析結(jié)果存有疑問時,無法查看原始數(shù)據(jù)進行校驗。

楊鐳指出,如果企業(yè)大數(shù)據(jù)業(yè)務中日常不固定的分析需求多且無法自主完成,則需要占用數(shù)據(jù)部門有限的技術人力資源;若需求變動返工次數(shù)多,會導致大量重復性工作;并且隨著數(shù)據(jù)規(guī)模日增長量的不斷提升,用于臨時存放不固定需求數(shù)據(jù)的GreenPlum成本與日俱增。

降低大數(shù)據(jù)使用門檻 助力企業(yè)降本增效

恰逢其時,USQL數(shù)據(jù)湖分析產(chǎn)品的發(fā)布,解決了不少企業(yè)的燃眉之急。

產(chǎn)品架構

USQL數(shù)據(jù)湖分析產(chǎn)品的后端是一個能力強大的計算平臺,可以在PB級海量數(shù)據(jù)上進行復雜的SQL計算;同時USQL擁有讀取型Schema的屬性,可關聯(lián)分析多種存儲格式的數(shù)據(jù),極大降低了產(chǎn)業(yè)用戶使用大數(shù)據(jù)的門檻。

“該產(chǎn)品采用了存儲、計算相分離的模式,為客戶提供在讀取數(shù)據(jù)時靈活定義、修改數(shù)據(jù)結(jié)構等服務,解決了傳統(tǒng)數(shù)據(jù)倉庫寫入時定義數(shù)據(jù)結(jié)構帶來的局限性。”楊鐳表示,相較原有數(shù)倉ETL分析及自建Hadoop集群分析,USQL可將計算成本降低99%,將分析效率提升21.6倍。

該平臺的亮點包括:數(shù)據(jù)格式豐富。讀取時定義數(shù)據(jù)結(jié)構,支持關聯(lián)分析JSON、ORCCSV、PARQUET等格式存儲的結(jié)構化數(shù)據(jù);高性能高效率。USQL采用全內(nèi)存計算,支持GB-PB量級數(shù)據(jù)分析,10GB級數(shù)據(jù)分析秒級完成;數(shù)據(jù)遷移成本低。靈活兼容數(shù)據(jù)存儲方式,只需將現(xiàn)有數(shù)據(jù)放入對象存儲(UFile)中,就可使用DDL&SQL查詢。

在實踐中,USQL成功賦能新媒體整合營銷平臺愛普新媒的業(yè)務部門。該部門業(yè)務數(shù)據(jù)規(guī)模達到數(shù)百TB,日增長量為1TB左右,業(yè)務日常不固定的分析需求多,現(xiàn)有的大數(shù)據(jù)處理方案下,數(shù)據(jù)部門每月需投入大數(shù)據(jù)工程師20個人日,額外花費數(shù)千元維持一個數(shù)據(jù)倉庫集群,且平均每次需求處理時長為1.8天。

愛普新媒新架構圖

根據(jù)其需求,優(yōu)刻得基于愛普新媒原有架構,使用USQL替換原先用于臨時加載數(shù)據(jù)的GreenPlum,使得業(yè)務分析師能夠直接通過SQL分析UFile中海量數(shù)據(jù),全程無需大數(shù)據(jù)工程師的參與。此外,優(yōu)刻得一周內(nèi)完成USQL產(chǎn)品升級,得以支持JSON、GZIP兩種數(shù)據(jù)格式,減少對接上的障礙,并協(xié)助部門重新布局其現(xiàn)有數(shù)據(jù)。

使用數(shù)據(jù)分析湖USQL后,愛普新媒計算成本降低97.5%,任務周期縮短55.6%;分析效率提高5倍,分析時間可從600秒降至118秒,整體明顯提高SQL分析效率。值得一提的是,使用USQL產(chǎn)品,業(yè)務分析師可直接通過SQL在對象存儲UFile中完成數(shù)據(jù)分析,極大減少對工程師的依賴,大數(shù)據(jù)工程師投入降為0。

技術創(chuàng)新驅(qū)動 闖出一片新藍海

讓用戶以最低的價格買到性能最優(yōu)的產(chǎn)品,在云計算的核心地帶,優(yōu)刻得以用戶需求為導向,以技術創(chuàng)新為驅(qū)動,在基礎產(chǎn)品比拼的紅海中沖出一片藍海。

2018年10月,優(yōu)刻得與上海陳天橋腦疾病研究所、華山醫(yī)院、復旦大學合作,進行用VR輔助治療患者認知障礙的探索,通過云計算邊緣算力來代替本地渲染、傳輸高清測試畫面、搜集更多測試數(shù)據(jù),協(xié)助醫(yī)生解決認知障礙的監(jiān)測和治療難題。

2020年7月8日,優(yōu)刻得與長城物業(yè)旗下一應科技達成戰(zhàn)略合作,聯(lián)合發(fā)布AIoT“全要素”智慧社區(qū)解決方案,通過引入云計算+大數(shù)據(jù)+AIoT等新技術創(chuàng)新,幫助社區(qū)物業(yè)、樓宇以及園區(qū)等產(chǎn)業(yè)進行智能化升級,讓生活和工作更加智慧。

UCloud優(yōu)刻得青浦自建大型綠色節(jié)能數(shù)據(jù)中心效果圖

2020年 8月18日,優(yōu)刻得青浦數(shù)據(jù)中心正式開工,這是優(yōu)刻得在一線城市自建的第一個大型數(shù)據(jù)中心。通過自建數(shù)據(jù)中心,優(yōu)刻得將為互聯(lián)網(wǎng)和傳統(tǒng)行業(yè)的大中型客戶,提供更具性價比的定制化“混合云”解決方案,幫助企業(yè)降本增效。

……

UCloud優(yōu)刻得創(chuàng)始人兼CEO 季昕華表示,優(yōu)刻得將扎根本地創(chuàng)新生態(tài),深度對接應用場景,搭平臺打基礎、匯集產(chǎn)業(yè)鏈資源,推動5G、物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能等技術跨界融合,推動更多創(chuàng)新應用落地,推動上海在線新經(jīng)濟發(fā)展,為上!按蛟煸诰新經(jīng)濟發(fā)展新高地”添磚加瓦。

(責編:葛俊俊、軒召強)
掃描關注上海頻道微信掃描關注上海頻道微信 掃描關注上海頻道微博掃描關注上海頻道微博