廣告招募

什么是大數(shù)據(jù)?先了解三個概念:數(shù)據(jù)沉淀、數(shù)據(jù)挖掘和數(shù)據(jù)呈現(xiàn)

2025年03月23日 08:59:17      來源:無錫海潤軟件科技有限公司 >> 進入該公司展臺      閱讀量:1

分享:

大數(shù)據(jù)咱聽的夠多了,一下,就“為您找到相關(guān)結(jié)果約7,150,000個”,可它到底是個什么東西,解讀甚多,眼花繚亂的沒個準。本文整理修改自知乎的一個問答,作者是大數(shù)據(jù)解決方案公司一面數(shù)據(jù)的創(chuàng)始人何明科,他嘗試用大白話解釋了數(shù)據(jù)沉淀、挖掘、呈現(xiàn)三個概念,從中我們也能看到整個行業(yè)的大致狀況。如有補充,歡迎評論互動~   對于國內(nèi)數(shù)據(jù)分析市場,我們感覺如下:
        市場巨大,許多企業(yè)(無論是互聯(lián)網(wǎng)的新銳還是傳統(tǒng)的企業(yè))都在討論這個,也有實際的需求并愿意為此付錢,但是比較零碎尚不系統(tǒng)化。目前對數(shù)據(jù)需求烈的行業(yè)依此是:金融機構(gòu)(從基金到銀行到保險公司到P2P公司),以廣告投放及電商為代表的互聯(lián)網(wǎng)企業(yè)等。
        尚沒出現(xiàn)平臺級公司的模式(這或許往往是大市場或者大機會出現(xiàn)之前的混沌期)。
        To B服務(wù)的氛圍在國內(nèi)尚沒形成,對于一些有能力的技術(shù)公司,如果數(shù)據(jù)需求強烈的話,考慮到自身能力的健全以及數(shù)據(jù)安全性,往往不會外包或者采用外部模塊,而傾向于自建這塊業(yè)務(wù)。
未來BAT及京東、58和滴滴打車等企業(yè),憑借其自身產(chǎn)生的海量數(shù)據(jù),必然是數(shù)據(jù)領(lǐng)域的大玩家。但是整個行業(yè)很大而且需求旺盛,即使沒有留給創(chuàng)業(yè)公司出現(xiàn)平臺級巨型企業(yè)的機會,也將留出各種各樣的細分市場機會讓大家可以獲得自己的領(lǐng)地。
對于數(shù)據(jù)業(yè)務(wù),按照我們的理解,簡單將其分為三塊:數(shù)據(jù)沉淀、挖掘和可視化,每一塊分別對應(yīng)不同的模式及產(chǎn)品或服務(wù)。(數(shù)據(jù)挖掘業(yè)務(wù)又被細分為分析、理解及存儲。)下面會進行簡單介紹,其實從我們的業(yè)務(wù)也可以看到一些整個行業(yè)的大致狀況。
        數(shù)據(jù)沉淀
        用大白話說就是數(shù)據(jù)抓取。目前有四大方式獲取數(shù)據(jù):
        網(wǎng)絡(luò)爬蟲,用Python及Go等開發(fā)自己的爬蟲平臺,對幾十個網(wǎng)站進行每日抓取獲得相關(guān)信息(詳見:能利用爬蟲技術(shù)做到哪些很酷很有趣很有用的事情? - 何明科的回答)
        Wi-Fi接入方案,比如我們自己就開發(fā)了一套完整的軟硬件方案,優(yōu)勢是高ROI(投資回報比),且免費提供給物業(yè)管理者,幫助其實現(xiàn)靠網(wǎng)費以及推廣費。在與其協(xié)商的基礎(chǔ)上,獲得用戶數(shù)據(jù)。這主要是OpenWRT的開發(fā)以及一些智能硬件和客戶端的開發(fā)。
        提供一些圖像方面的API,進行圖片搜索及人臉搜索,滿足客戶在圖像處理和圖像識別方面的一些需求,同時獲取相關(guān)的圖像數(shù)據(jù)。涉及到一些Machine Learning和Deep Learning的算法,使用C++/Open CV/Matlab等工具或模塊。
        數(shù)據(jù)服務(wù)需求方自行提供。
        這部分是按照數(shù)據(jù)銷售的方式向客戶收費。
        數(shù)據(jù)挖掘
        用大白話說,就是利用數(shù)據(jù)分析產(chǎn)生深層次有價值的理解。
        基于以上各種方式獲得的數(shù)據(jù),我們可以做的統(tǒng)計分析、用戶及品牌理解、用戶畫像、各品牌或各產(chǎn)品型號之間的關(guān)系等等,了解現(xiàn)在和歷史并爭取預測未來。
        常用的工具是Python/R/SPSS等,算法包括的統(tǒng)計、稍微復雜一些的Machine Learning、現(xiàn)在被捧上天的Deep Learning以及Collaborative Filtering等等,也需要使用到Hive等大數(shù)據(jù)處理平臺。
        這部分類似于咨詢服務(wù),向有需求的客戶按照項目收費。
        數(shù)據(jù)呈現(xiàn)
        用大白話說,就是把分析結(jié)果用最美觀和最容易理解的方式(圖標或者圖形)展現(xiàn)出來。
        目前,行業(yè)大概有幾種玩法:
        網(wǎng)站(兼容PC端和移動端):提供給付費的B端客戶,不對外公開,大致形式如下:
        開專欄和做公眾號:都是純免費的,將一些不敏感的數(shù)據(jù)和分析分享出去,攢人品賺口碑。
        提供一個SaaS的公有云平臺,方便大家把自己的數(shù)據(jù)制作成為便于在網(wǎng)上特別是移動端傳播的圖文報表。產(chǎn)品的邏輯很簡單:讀數(shù)讀圖的需求越來越強烈,但是卻缺乏這樣的工具或者平臺來制作圖文并茂的內(nèi)容,即使是Excel,也不能制作出適合于網(wǎng)絡(luò)傳播的圖文內(nèi)容。
        常使用的技術(shù)是JS+Node.JS+MongoDB等等。
        這部分主要是賺吆喝和匯集流量,怎么目前尚不清楚。

版權(quán)與免責聲明:
1.凡本網(wǎng)注明"來源:全球供應(yīng)網(wǎng)"的所有作品,版權(quán)均屬于興旺寶裝備總站,轉(zhuǎn)載請必須注明興旺寶裝備總站。違反者本網(wǎng)將追究相關(guān)法律責任。
2.企業(yè)發(fā)布的公司新聞、技術(shù)文章、資料下載等內(nèi)容,如涉及侵權(quán)、違規(guī)遭投訴的,一律由發(fā)布企業(yè)自行承擔責任,本網(wǎng)有權(quán)刪除內(nèi)容并追溯責任。
3.本網(wǎng)轉(zhuǎn)載并注明自其它來源的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點或證實其內(nèi)容的真實性,不承擔此類作品侵權(quán)行為的直接責任及連帶責任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時,必須保留本網(wǎng)注明的作品來源,并自負版權(quán)等法律責任。 4.如涉及作品內(nèi)容、版權(quán)等問題,請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系。

国产av原创首播,国产成本人片免费av,A国产欧美激情在线,日本欧洲大胆色噜噜337P