大數(shù)據的挖掘“大”在哪里?
來源：曾劍平|
類型：網站百科|
時間：2017-12-11
以前我們談論數(shù)據挖掘，而大數(shù)據時代我們談論大數(shù)據挖掘。那么大數(shù)據挖掘“大”在哪里? 本文對此進行了一些歸納，希望能提供一些思考問題的方法。
不足之處請留言發(fā)表意見。
一、數(shù)據量的大
數(shù)據量大到多少? 這是一個很多人在進行大數(shù)據挖掘時要問的問題。
從一些實際應用看，一般每天處理的數(shù)據量達到T、P級別的，可以考慮部署Hadoop、Spark之類的大數(shù)據處理平臺，一定量級的數(shù)據處理才能突顯這些平臺的優(yōu)越性。
數(shù)據量少，數(shù)據的讀取、搬遷所花費的時間占比太多，反而無法體現(xiàn)大數(shù)據處理平臺的優(yōu)勢。不少應用只是為了大數(shù)據而大數(shù)據，幾百M也弄個Hadoop。因此，現(xiàn)在一談大數(shù)據就認為是Hadoop、Spark等平臺是很有局限性的。
當然，實際在決定是否使用大數(shù)據平臺時，可能需要考慮更多的因素，例如：要集成很多的低性能機器、異構軟硬件平臺間的可移植性、大量的非結構化數(shù)據處理等。
二、數(shù)據類型的多樣化
在數(shù)據挖掘時代，我們挖掘的數(shù)據主要以關系型數(shù)據為主。大數(shù)據時代，各種應用產生了各種數(shù)據，通常在大數(shù)據挖掘中會涉及到多種數(shù)據類型。這里所說的數(shù)據類型不是程序設計中的普通數(shù)據類型，而是更接近于應用的數(shù)據表現(xiàn)形式，通常有時間序列數(shù)據、軌跡數(shù)據、圖數(shù)據、文本數(shù)據等等。
每天的銷售記錄、價格是普通數(shù)據類型，但是從時間維度將它們按照順序連接起來，構成的時間序列數(shù)據能體現(xiàn)出價格的變化規(guī)律，理所當然具有更豐富的含義。
每個人所處的位置不過是一個（x,y）的普通數(shù)據類型，但是按照移動的先后順序把位置連接起來，就構成了某人的活動軌跡，背后體現(xiàn)的是他的生活、習慣，這些隱藏信息才是大數(shù)據應當關注的。
微博或論壇中每個人是獨立存在的，也是普通數(shù)據，但是如果把每個人按照粉絲、關注等關系連接起來，就可以構成一張很大的圖，即圖數(shù)據。圖中的人群、離群，以及加上群體偏好、群體運動等屬性后的高等圖數(shù)據，就是大數(shù)據挖掘的關注點。
三、數(shù)據處理的噪音
在數(shù)據挖掘時代，數(shù)據來源于關系型數(shù)據庫，都是一些與業(yè)務相關、質量比較高的數(shù)據，一般拿來就可以直接挖。大數(shù)據挖掘肯定就不是這樣，大數(shù)據思維決定了我們要考慮不同來源的數(shù)據的質量、數(shù)據結構魚龍混雜，以增強數(shù)據處理的魯棒性。比如，要進行企業(yè)級的客戶分析，不同的分公司可能使用不同的客戶管理系統(tǒng)，有的系統(tǒng)采用本科/碩士/博士來區(qū)分客戶的學歷，而有的采用本科/研究生來區(qū)分，這就要求考慮數(shù)據的一致性處理。此外，數(shù)據格式、數(shù)據完整性等等都是大數(shù)據挖掘需要考慮的。
四、數(shù)據挖掘的多樣化
在數(shù)據挖掘時代，一般側重于單項的數(shù)據分析，而大數(shù)據挖據可能會更側重于多項數(shù)據挖掘任務同時存在，如業(yè)務上同時要求分類、預測、相關性、聚類等。盡管業(yè)務需求多了，但是這些分類、預測、相關性、聚類可能在底層上采用的是同一種模型，因此，在大數(shù)據挖據時考慮模型、算法與業(yè)務的分離是非常重要的，即所謂的大數(shù)據處理層次結構。
來源聲明：本文章系尚品中國編輯原創(chuàng)或采編整理，如需轉載請注明來自尚品中國。以上內容部分(包含圖片、文字)來源于網絡，如有侵權，請及時與本站聯(lián)系（010-60259772）。
推薦新聞
更多行業(yè)-
鄭州網站建設如何達到網站的轉化率？
眾所周知，營銷網站建設與網站轉化率的關系已經被很多互聯(lián)網公司反復討論，...
2021-06-28 -
北京網站制作中的百度收錄規(guī)則是什么？
百度平臺占領首頁排名的效果不言而喻。百度首頁的前五位一般都是百度自己的...
2022-09-22 -
SEO優(yōu)化之一個月提升網站排名的實用技巧
作為一名seo經理或者專員，剛剛到一家公司上任，如何在一個月之內，有效...
2014-02-10 -
網站類型的確定
網站設計最常見的用途就是為人們提供信息。例如：假設人們只想查閱某種產品...
2014-07-31 -
做一個企業(yè)網站大概多少錢？來看看網站建設明細
建立企業(yè)網站需要什么樣的費用？準備要花多少錢？這是許多企業(yè)非常關心的問...
2020-04-10 -
中小型企業(yè)對網絡營銷的正確認識
北京網站建設公司尚品中國：根據《第29次中國互聯(lián)網絡發(fā)展狀況統(tǒng)計報告》...
2012-02-13
如果您的網站可以增加轉化次數(shù)并提高客戶滿意度，該怎么辦？
預約專業(yè)咨詢顧問溝通！
Copyright ? 2024 恒久尚品 版權所有 | 京ICP備09066521號
| 公安機關備案號:11011502003910
免責聲明
誠信企業(yè)
尚品專注高端網站建設，系統(tǒng)平臺開發(fā)，微信小程序及APP開發(fā)服務
尚品專注高端網站建設，系統(tǒng)平臺開發(fā)，微信小程序及APP開發(fā)服務
免責聲明
非常感謝您訪問我們的網站。在您使用本網站之前，請您仔細閱讀本聲明的所有條款。
1、本站部分內容來源自網絡，涉及到的部分文章和圖片版權屬于原作者，本站轉載僅供大家學習和交流，切勿用于任何商業(yè)活動。
2、本站不承擔用戶因使用這些資源對自己和他人造成任何形式的損失或傷害。
3、本聲明未涉及的問題參見國家有關法律法規(guī)，當本聲明與國家法律法規(guī)沖突時，以國家法律法規(guī)為準。
4、如果侵害了您的合法權益，請您及時與我們,我們會在第一時間刪除相關內容!
聯(lián)系方式：010-60259772
電子郵件：394588593@qq.com
