簡(jiǎn)體: 簡(jiǎn)體中文 English

尚品與山東真諾智能設(shè)備有限公司簽署網(wǎng)站改版合作協(xié)議

類(lèi)型：尚品動(dòng)態(tài) 了解更多

首頁(yè)/ 新聞/ 網(wǎng)站建設(shè) /正文

大數(shù)據(jù)的挖掘“大”在哪里?

來(lái)源：曾劍平| 類(lèi)型：網(wǎng)站百科 |時(shí)間：2017-12-11

以前我們談?wù)摂?shù)據(jù)挖掘，而大數(shù)據(jù)時(shí)代我們談?wù)?a href="http://m.7766.net.cn/">大數(shù)據(jù)挖掘。那么大數(shù)據(jù)挖掘“大”在哪里? 本文對(duì)此進(jìn)行了一些歸納，希望能提供一些思考問(wèn)題的方法。

不足之處請(qǐng)留言發(fā)表意見(jiàn)。

一、數(shù)據(jù)量的大

數(shù)據(jù)量大到多少? 這是一個(gè)很多人在進(jìn)行大數(shù)據(jù)挖掘時(shí)要問(wèn)的問(wèn)題。

從一些實(shí)際應(yīng)用看，一般每天處理的數(shù)據(jù)量達(dá)到T、P級(jí)別的，可以考慮部署Hadoop、Spark之類(lèi)的大數(shù)據(jù)處理平臺(tái)，一定量級(jí)的數(shù)據(jù)處理才能突顯這些平臺(tái)的優(yōu)越性。

數(shù)據(jù)量少，數(shù)據(jù)的讀取、搬遷所花費(fèi)的時(shí)間占比太多，反而無(wú)法體現(xiàn)大數(shù)據(jù)處理平臺(tái)的優(yōu)勢(shì)。不少應(yīng)用只是為了大數(shù)據(jù)而大數(shù)據(jù)，幾百M(fèi)也弄個(gè)Hadoop。因此，現(xiàn)在一談大數(shù)據(jù)就認(rèn)為是Hadoop、Spark等平臺(tái)是很有局限性的。

當(dāng)然，實(shí)際在決定是否使用大數(shù)據(jù)平臺(tái)時(shí)，可能需要考慮更多的因素，例如：要集成很多的低性能機(jī)器、異構(gòu)軟硬件平臺(tái)間的可移植性、大量的非結(jié)構(gòu)化數(shù)據(jù)處理等。

二、數(shù)據(jù)類(lèi)型的多樣化

在數(shù)據(jù)挖掘時(shí)代，我們挖掘的數(shù)據(jù)主要以關(guān)系型數(shù)據(jù)為主。大數(shù)據(jù)時(shí)代，各種應(yīng)用產(chǎn)生了各種數(shù)據(jù)，通常在大數(shù)據(jù)挖掘中會(huì)涉及到多種數(shù)據(jù)類(lèi)型。這里所說(shuō)的數(shù)據(jù)類(lèi)型不是程序設(shè)計(jì)中的普通數(shù)據(jù)類(lèi)型，而是更接近于應(yīng)用的數(shù)據(jù)表現(xiàn)形式，通常有時(shí)間序列數(shù)據(jù)、軌跡數(shù)據(jù)、圖數(shù)據(jù)、文本數(shù)據(jù)等等。

每天的銷(xiāo)售記錄、價(jià)格是普通數(shù)據(jù)類(lèi)型，但是從時(shí)間維度將它們按照順序連接起來(lái)，構(gòu)成的時(shí)間序列數(shù)據(jù)能體現(xiàn)出價(jià)格的變化規(guī)律，理所當(dāng)然具有更豐富的含義。

每個(gè)人所處的位置不過(guò)是一個(gè)（x,y）的普通數(shù)據(jù)類(lèi)型，但是按照移動(dòng)的先后順序把位置連接起來(lái)，就構(gòu)成了某人的活動(dòng)軌跡，背后體現(xiàn)的是他的生活、習(xí)慣，這些隱藏信息才是大數(shù)據(jù)應(yīng)當(dāng)關(guān)注的。

微博或論壇中每個(gè)人是獨(dú)立存在的，也是普通數(shù)據(jù)，但是如果把每個(gè)人按照粉絲、關(guān)注等關(guān)系連接起來(lái)，就可以構(gòu)成一張很大的圖，即圖數(shù)據(jù)。圖中的人群、離群，以及加上群體偏好、群體運(yùn)動(dòng)等屬性后的高等圖數(shù)據(jù)，就是大數(shù)據(jù)挖掘的關(guān)注點(diǎn)。

三、數(shù)據(jù)處理的噪音

在數(shù)據(jù)挖掘時(shí)代，數(shù)據(jù)來(lái)源于關(guān)系型數(shù)據(jù)庫(kù)，都是一些與業(yè)務(wù)相關(guān)、質(zhì)量比較高的數(shù)據(jù)，一般拿來(lái)就可以直接挖。大數(shù)據(jù)挖掘肯定就不是這樣，大數(shù)據(jù)思維決定了我們要考慮不同來(lái)源的數(shù)據(jù)的質(zhì)量、數(shù)據(jù)結(jié)構(gòu)魚(yú)龍混雜，以增強(qiáng)數(shù)據(jù)處理的魯棒性。比如，要進(jìn)行企業(yè)級(jí)的客戶分析，不同的分公司可能使用不同的客戶管理系統(tǒng)，有的系統(tǒng)采用本科/碩士/博士來(lái)區(qū)分客戶的學(xué)歷，而有的采用本科/研究生來(lái)區(qū)分，這就要求考慮數(shù)據(jù)的一致性處理。此外，數(shù)據(jù)格式、數(shù)據(jù)完整性等等都是大數(shù)據(jù)挖掘需要考慮的。

四、數(shù)據(jù)挖掘的多樣化

在數(shù)據(jù)挖掘時(shí)代，一般側(cè)重于單項(xiàng)的數(shù)據(jù)分析，而大數(shù)據(jù)挖據(jù)可能會(huì)更側(cè)重于多項(xiàng)數(shù)據(jù)挖掘任務(wù)同時(shí)存在，如業(yè)務(wù)上同時(shí)要求分類(lèi)、預(yù)測(cè)、相關(guān)性、聚類(lèi)等。盡管業(yè)務(wù)需求多了，但是這些分類(lèi)、預(yù)測(cè)、相關(guān)性、聚類(lèi)可能在底層上采用的是同一種模型，因此，在大數(shù)據(jù)挖據(jù)時(shí)考慮模型、算法與業(yè)務(wù)的分離是非常重要的，即所謂的大數(shù)據(jù)處理層次結(jié)構(gòu)。

來(lái)源聲明：本文章系尚品中國(guó)編輯原創(chuàng)或采編整理，如需轉(zhuǎn)載請(qǐng)注明來(lái)自尚品中國(guó)。以上內(nèi)容部分(包含圖片、文字)來(lái)源于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)及時(shí)與本站聯(lián)系（010-60259772）。

上一篇：H5（手機(jī)端）網(wǎng)站建設(shè)發(fā)展趨勢(shì) 下一篇：第三方支付開(kāi)始陸續(xù)關(guān)閉信用卡充值業(yè)務(wù)

TAG標(biāo)簽：

建站流程

網(wǎng)站需求
網(wǎng)站策劃方案
頁(yè)面設(shè)計(jì)風(fēng)格
確認(rèn)交付使用
資料錄入優(yōu)化
程序設(shè)計(jì)開(kāi)發(fā)
后續(xù)跟蹤服務(wù)
聯(lián)系電話
010-60259772

預(yù)約專業(yè)咨詢顧問(wèn)溝通！

免責(zé)聲明

非常感謝您訪問(wèn)我們的網(wǎng)站。在您使用本網(wǎng)站之前，請(qǐng)您仔細(xì)閱讀本聲明的所有條款。

1、本站部分內(nèi)容來(lái)源自網(wǎng)絡(luò)，涉及到的部分文章和圖片版權(quán)屬于原作者，本站轉(zhuǎn)載僅供大家學(xué)習(xí)和交流，切勿用于任何商業(yè)活動(dòng)。

2、本站不承擔(dān)用戶因使用這些資源對(duì)自己和他人造成任何形式的損失或傷害。

3、本聲明未涉及的問(wèn)題參見(jiàn)國(guó)家有關(guān)法律法規(guī)，當(dāng)本聲明與國(guó)家法律法規(guī)沖突時(shí)，以國(guó)家法律法規(guī)為準(zhǔn)。

4、如果侵害了您的合法權(quán)益，請(qǐng)您及時(shí)與我們,我們會(huì)在第一時(shí)間刪除相關(guān)內(nèi)容!

聯(lián)系方式：010-60259772
電子郵件：394588593@qq.com

高校集群解決方案

強(qiáng)軍網(wǎng)建設(shè)解決方案

政府事業(yè)解決方案

智慧會(huì)展解決方案

科研領(lǐng)域解決方案

智慧景區(qū)解決方案

海外房產(chǎn)解決方案

網(wǎng)站建設(shè)

小程序

移動(dòng)互聯(lián)網(wǎng)

網(wǎng)絡(luò)營(yíng)銷(xiāo)

VI設(shè)計(jì)

尚品與山東真諾智能設(shè)備有限公司簽署網(wǎng)站改版合作協(xié)議

大數(shù)據(jù)的挖掘“大”在哪里?

建站流程

網(wǎng)站需求

網(wǎng)站策劃方案

頁(yè)面設(shè)計(jì)風(fēng)格

確認(rèn)交付使用

資料錄入優(yōu)化

程序設(shè)計(jì)開(kāi)發(fā)

后續(xù)跟蹤服務(wù)

熱門(mén)標(biāo)簽

最新文章

企業(yè)網(wǎng)站建設(shè)中的搜索引擎優(yōu)化技術(shù)應(yīng)用

企業(yè)網(wǎng)站建設(shè)中的網(wǎng)頁(yè)設(shè)計(jì)需發(fā)揮網(wǎng)絡(luò)優(yōu)勢(shì)

電商網(wǎng)站建設(shè)的必要性

推薦新聞

淺談搜索引擎優(yōu)化對(duì)網(wǎng)站的投票原理

photoshop工具箱怎么用(4)

農(nóng)業(yè)平臺(tái)網(wǎng)站建設(shè)的解決方案

網(wǎng)站超鏈接什么是絕對(duì)路徑和相對(duì)路徑

食品行業(yè)網(wǎng)站建設(shè)適合什么樣的風(fēng)格？

企業(yè)網(wǎng)站建設(shè)正確布局的方法有幾點(diǎn)

預(yù)約專業(yè)咨詢顧問(wèn)溝通！

免責(zé)聲明

電話咨詢

在線咨詢

微信咨詢

免責(zé)聲明