看得見的大數據
大數據到底是什么?大數據能做什么?已經討論得太多太多,但是還是有很多值得聊一聊的,比如,大數據信息可視化,這是 大數據應用于實際中必須要解決的問題。
早在18世紀,英國統計學家普萊費爾·蘭伯特就提出了統計信息可視化的理念,經過長期的發展,信息可視化技術到今天已經成為大數據展示的重要手段,信息可視化作為視覺信息轉換技術,以提高數據表現效果為目的,可以更直觀對大數據進行瀏覽與觀察,明確數據相關性和隱藏特征。
因此,在整個大數據開發利用的閉環中,讓大數據能夠被感知并看到,是必不可少的一環,可視化的最終目標就是讓每一個人都能看到大數據到底是什么。
信息可視化技術是一個相對比較廣泛的領域,它能運用到醫學、氣象、地質、航天等多項技術部門中,也可以運用到商業、政府機構中為其數據的整合提供一個可靠的信息環境”因此信息可視化是一項偉大的國家科學技術和國家經濟發展的技術具有重要意義。
現在移動互聯網技術高速發展,網絡傳輸等方面可以利用圖像或是數據處理技術可以清晰直觀的對數據有所掌握,并進實時交互,實現資源共享。
那么大數據信息可視化技術到底是什么呢?信息可視化在本質上是一個可視化的界面,是人機交互技術的綜合研究。通過信息可視化技術可以實現多學科的有效整合,對抽象信息更直觀的處理,用戶可以利用人機計算機交互技術對抽象信息的準確識別”信息可視化技術是數據挖掘、圖像處理、人機交互和可視化技術的有機結合,是為了讓人們使用直觀的感知和視覺觀察的方法研究信息。
基于圖形設計與認知心理學的信息可視化技術,平面設計注重視覺表現問題的藝術性,對實際操作經驗的具體指導。認知心理學是以人的知覺過程為主要研究課題,著力解決人類認知和認知過程的問題。信息可視化是一種數據可視化映射過程,可以通過整合、映射等形式傳遞信息特征,通過圖片、圖像、動畫等形式來表達信息、圖像、文字和聲音的內容,可以稱之為信息可視化的信息源,可以通過各種方式將其呈現在人們的面前。
嗯?數據怎么不準確?
近兩年, 大數據在應用方面頻頻出新,特別是基于移動通訊信號端抓取的人流熱力分析,那是火爆的不得。。目前正在貴陽觀山湖燈會上所運用的大數據人力地圖,即是大數據可視化的具體體現。春運大數據分析報告,觀山湖燈會時時人流信息抓取,貴州春節旅游大數據分析報告,連續三分基于此技術誕生的典型大數據具體應用獲得了廣泛推廣和好評, 但是,在推廣的過程中,有些問題并不能回避,那就是顯示出的可視化數據有一定的誤差值,這到底是咋回事呢?小編今天試著解釋下哈。
必須肯定的是基于移動通訊基站所抓取的手機數據本身肯定是精準的,不會出現任何的偏差。但是由于數據抓取都是基于各家服務商自身基站的信息,那么為了表現整體的數據信息,就必須通過統計學概率的原則對原始數據按服務商市場占比進行一定程度的擴容,同時在擴容中還要加上沒有手機人群比例,一般來說擴容的比例在1.25至5之間。由于手機信號抓取的樣本足夠大,按科學方法擴容后,顯示出來的數據應該是相當準確的,可是實際運用過程中還有問題。
按手機信號抓取數據的規則,一部手機到了設定好抓取范圍內就被計數一次,這個范圍可以小到一棟大樓,也可以大到整個世界。當手機離開這個被抓取范圍后,在次進入該范圍就會被再次計數。了解了這個原理后,我們就可以清晰發現,實際上目前通過移動信號抓取技術,所獲得的以基于貴州省全境內的流動數據會出現人流數大于真實數值的情況,原因有二,一是將過境旅客誤認為目的地為貴州的旅客,二是重復記錄居住在省界之間居民數據信號。
在大范圍存在計數過大的問題,而在小范圍內還有另外一種情況,就是數據可視化過程中數據延遲的問題。因為計算機按照事先設定好的程序,將信息轉化為可視化數據的過程會出現數據遲滯的情況,導致顯示界面的數據與真實數值出現偏差。簡單說,就是在較長時間范圍內,計數是準確無誤的,而在較短的范圍內,計數可能出現遲滯,顯示出的結果就會看起來不準確。
現在我們來討論解決問題的方法。首先是關于大范圍計數重復和無法擯除過境旅客的情況,計數重復可以通過算法優化加以解決,而過境旅客被視為游客的情況,需要嫁接多維數據加以優化,比如嫁接交通數據、旅游景區數據等進行綜合分析。其次關于遲滯的問題,解決起來一個字“錢”,通過花錢擴容服務器承載和計算能力,加快計算機處理可視化數據的進程,就能輕松搞定了。