維克托·邁爾-舍恩伯格的《大數(shù)據(jù)時(shí)代》被認(rèn)為是迄今為止全世界最好的一本大數(shù)據(jù)專著。書中明確提出了大數(shù)據(jù)時(shí)代的重大轉(zhuǎn)變，我喜歡稱這種轉(zhuǎn)變?yōu)榇髷?shù)據(jù)思維，并特別贊同這本書所突出的三個(gè)特點(diǎn)：1）利用全體數(shù)據(jù)，而不是僅僅依靠少量的數(shù)據(jù)樣本；2）重視混雜數(shù)據(jù)，而不是刻意追求狹隘的精確數(shù)據(jù)；3）關(guān)注相關(guān)關(guān)系，而不先探求難以捉摸的因果聯(lián)系。
今天想談?wù)摰脑掝}，與第一條和第二條都有關(guān)。獲取全體數(shù)據(jù)在大多數(shù)情況下都是一個(gè)假設(shè)的理想條件，隨著我們所獲取的數(shù)據(jù)變得越來越龐大，我們也正在逐步逼近全體數(shù)據(jù)，更多的測量意味著更全的數(shù)據(jù)。由此也帶來了第二個(gè)問題，那就是數(shù)據(jù)的混雜項(xiàng)：數(shù)據(jù)量的大幅增加會(huì)造成結(jié)果的不準(zhǔn)確，一些錯(cuò)誤的數(shù)據(jù)也可能混進(jìn)數(shù)據(jù)庫，但這些問題顯然并非無法避免的。從另一個(gè)方面講，大數(shù)據(jù)因?yàn)楦鼜?qiáng)調(diào)數(shù)據(jù)的完整性和混雜性，可幫助我們進(jìn)一步接近事物的真相。如果我們過度關(guān)注精確性，就會(huì)將視野局限在那些可以分析和能夠確定的數(shù)據(jù)上，缺乏從不同角度來觀察事物，對(duì)事物的整體理解也就會(huì)出現(xiàn)偏差甚至錯(cuò)誤。
讓環(huán)境監(jiān)測走眾包測量之路，一直是我最期盼的事兒，也是最近在許多場合與朋友們討論最多的話題。我喜迎便攜的環(huán)境監(jiān)測設(shè)備問世，最好是基于手機(jī)插件或可穿戴設(shè)備的傳感器出現(xiàn)。有關(guān)用手機(jī)眾包方式進(jìn)行氣象測量的話題，我之前有多篇文章進(jìn)行了介紹[1-4]，但進(jìn)行環(huán)境測量的案例并不是很多。因此，一個(gè)月之前，當(dāng)我看到一篇文章介紹手機(jī)將擁有嗅探功能，可利用這個(gè)功能進(jìn)行大氣污染物測定的潛力時(shí)，有些興奮不已，并為此寫了一篇文章進(jìn)行介紹：智能手機(jī)終于要擁有嗅覺功能了[5]。
原來，這種興奮的感覺還可以繼續(xù)的。昨天又看到Nature上的一篇文章“污染巡邏”（Pollution Patrol）[6]，硬是將這種興奮持續(xù)到完成這篇博文。首先說一下這篇文章的名字“污染巡邏”，很像一款游戲吧。一查，還真是一款簡單的移動(dòng)跳躍躲避類動(dòng)作游戲，游戲者需要移動(dòng)小球到達(dá)藍(lán)色小球，同時(shí)必須注意避開一些不能碰的小球，否則就受到污染了，污染到一定程度就丟掉了性命。
這 篇文章是從介紹烏蘭巴托的冬季開始的。蒙古的烏蘭巴托是世界上最寒冷的首都，居民用煤或薪材加熱那并不保溫的房子。隨著冬季降臨，空氣開始變壞，煙塵充滿 天空，人們要帶上口罩，數(shù)百米開外的建筑籠罩在濃霧之中，穿上白色衣服在這樣的環(huán)境中只需要數(shù)小時(shí)就會(huì)變成灰色。這個(gè)城市是世界上污染最嚴(yán)重的之一。根據(jù) 世界衛(wèi)生組織（WHO）估計(jì)，空氣中顆粒物污染會(huì)導(dǎo)致城市十分之一的死亡率。但有關(guān)污染程度的信息是很有限的。WHO的在線數(shù)據(jù)庫只有烏蘭巴托一年的讀 數(shù)，顯示有害顆粒PM10和PM2.5的濃度。為了填補(bǔ)這個(gè)空白，新聞研究所（Press Institute）的記者自己動(dòng)手來進(jìn)行監(jiān)測了。他們通過與地球記者網(wǎng)絡(luò)（Earth Journalism Network）合作，2014年7月份在整個(gè)城市安裝了兒童飯盒大小的5個(gè)監(jiān)測設(shè)備。這個(gè)設(shè)備稱為DustDuinos，測量顆粒物濃度并可迅速將數(shù)據(jù) 上傳到公共網(wǎng)站（圖1）。這些設(shè)備的充電和連接還存在一些小問題，從城市中心傳感器所測定的初步結(jié)果顯示，PM10濃度至少高達(dá)世界衛(wèi)生組織所建議極限值 的兩倍。
圖1 DustDuino。測定大小等于或小于10微米（PM10）和2.5微米（PM2.5）的污染顆粒濃度
DustDuino及其他一些污染傳感器，用50美元就可以搞定，網(wǎng)上有這些傳感器的使用說明， 這是下一波環(huán)境運(yùn)動(dòng)的部分成果。如果要問，你家里或者居民小區(qū)受到污染了嗎？即使到目前為止，這也是非常難于回答的問題，因?yàn)槟軠y量大氣污染的監(jiān)測設(shè)備價(jià) 格昂貴，一座城市只在有限的地方進(jìn)行了安裝，數(shù)據(jù)分布非常有限，大多離自己住的地方很遠(yuǎn)。于是，全球各地的記者、游說團(tuán)體、黑客等等開始倡導(dǎo)使用低成本的 監(jiān)測設(shè)備來大幅擴(kuò)大有關(guān)污染的數(shù)據(jù)量。這些DIY運(yùn)動(dòng)，導(dǎo)致了低成本傳感器的出現(xiàn)，可以在線購買或者根據(jù)線上指導(dǎo)進(jìn)行建造。這些設(shè)備很容易裝備起來，相比 于官方數(shù)據(jù)網(wǎng)絡(luò)采用復(fù)雜而稀疏的傳感器設(shè)備進(jìn)行監(jiān)測，是一個(gè)重要的補(bǔ)充。公民科學(xué)的方法旨在對(duì)人們實(shí)際生活地方的空氣污染進(jìn)行高分辨率的測量。還有一些工 作正在開發(fā)可穿戴傳感器用于監(jiān)控人們所暴露大氣的實(shí)際水平。
讓普通民眾來參與污染監(jiān)測是只到近些年才開始發(fā)生的事兒。傳統(tǒng)的空氣質(zhì)量傳感器是很昂貴的，或者需要進(jìn)行一定的培訓(xùn)，所測定的數(shù)據(jù)一般是獲得不了的，或者難以使用和分享。當(dāng)一些玩家開始考慮自己焊接一些電路和傳感器來進(jìn)行DIY的時(shí)候，這種變化就開始發(fā)生并產(chǎn)生了新了的挑戰(zhàn)。這 個(gè)運(yùn)動(dòng)可追溯到2006年，當(dāng)加州大學(xué)歐文分校的Beatriz da Costa將一個(gè)小型傳感器綁到信鴿身上。Da Costa曾與工程師開發(fā)了一套儀器組件，測量一氧化碳和氮氧化物。還有一個(gè)全球定位系統(tǒng)（GPS）接收機(jī)跟蹤鴿子的運(yùn)動(dòng)軌跡。她將這些數(shù)據(jù)發(fā)布出來，稱 為PigeonBlog，她的目的就是為了打破目前的現(xiàn)狀，讓公眾在收集污染數(shù)據(jù)中扮演重要的角色。大約在同一時(shí)期，用于其他方面的傳感器也開始出現(xiàn)了。 超過三分之二的美國成年人現(xiàn)在說他們利用技術(shù)來跟蹤心率和其他健康數(shù)據(jù)；一些家用設(shè)備可時(shí)時(shí)刻刻監(jiān)測水和電的使用情況，城市使用傳感器來跟蹤從行人交通到 管道漏水的方方面面。
2011年，一群電腦高手、制作者和藝術(shù)家們聚集在阿姆斯特丹和紐約，組成了一個(gè)自稱為Sensemakers的聯(lián)盟。他們?cè)谧约旱牟┛椭袑懙溃?strong>政府沒有在地方水平監(jiān)測那些實(shí)際影響到人們生活的污染。Sensemakers發(fā)起了一個(gè)在線呼吁，要通過社區(qū)來開發(fā)傳感器對(duì)空氣污染進(jìn)行測量。他們通過眾籌平臺(tái)Kickstarter募集了超過144000美元的資金，開發(fā)出了可測量溫度、濕度、二氧化碳和二氧化氮的設(shè)備空氣質(zhì)量蛋 （AQE，Air Quality Egg）（圖2）。傳感器的成本185美元，不到中檔設(shè)備價(jià)格的十分之一。大約在幾乎相同的時(shí)間，西班牙也出現(xiàn)了類似的工作。巴塞羅那微觀裝配實(shí)驗(yàn)室 （Fab Lab Barcelona）主任Diez Ladera 夢想公民們能夠?qū)崟r(shí)監(jiān)控他們呼吸的空氣，以便社區(qū)的其他人都能從中受益。他們經(jīng)過一年時(shí)間考察一些可用的技術(shù)，最后確定他們可以自己實(shí)現(xiàn)這個(gè)夢想了。他們 早期的原型發(fā)展成一個(gè)傳感器組件，稱為智能公民工具包（SCK） （圖3），可以測量空氣質(zhì)量蛋中的所有指標(biāo)，還包括光強(qiáng)和噪音。這個(gè)團(tuán)體建立了一個(gè)網(wǎng)站，鼓勵(lì)DIY們建造或購買設(shè)備來監(jiān)控當(dāng)?shù)氐奈廴緺顩r。因?yàn)檫@樣的開 源傳感器可以在任何地方進(jìn)行制造，所以很難追查到究竟已經(jīng)生產(chǎn)了多少了。根據(jù)這些設(shè)備的發(fā)明者所提供的信息，至少有35套DustDuinos，2500 套AQE和1000套SCK了。這些設(shè)備產(chǎn)生的數(shù)據(jù)在類似Xively等在線平臺(tái)上向公眾開放。
圖2 空氣質(zhì)量蛋（AQE）。測定二氧化氮和一氧化碳、濕度和溫度。在線數(shù)據(jù)通過單獨(dú)基站獲取。
圖3 智能公民工具包（SCK）。測定二氧化氮和一氧化碳，以及以及光、濕度、溫度和噪音污染。
美 國得克薩斯大學(xué)環(huán)境研究人員Joshua Apte之前的工作表明，了解人類生活的環(huán)境中的污染水平是多么重要。2014年他花了四個(gè)月的時(shí)間，用人力車安置了一個(gè)中等距離的傳感器稱為 DustTrak，并帶著它穿過新德里的道路，實(shí)時(shí)測性污染信息。Apte想了解污染水平如何改變?nèi)藗兊娜粘９ぷ鳎l(fā)現(xiàn)了很大的變化。在交通要道，例如 卡車通過所噴出的煙霧會(huì)導(dǎo)致PM2.5濃度增加高達(dá)50%。在這個(gè)測試中，Apte還發(fā)現(xiàn)比PM2.5還小的有害超細(xì)顆粒物以及純碳粒有更大的波動(dòng)。如果 要在整個(gè)城市部署空氣污染的監(jiān)測網(wǎng)絡(luò)，每個(gè)傳感器要高達(dá)一萬美元，還不一定做得成。
這 些努力已經(jīng)吸引了一些市政府和公民團(tuán)體的注意。2014年初，阿姆斯特丹官員向100位市民提供了SCK，以及如何在居民區(qū)使用這種設(shè)備的說明。 在2014年5月，由曼徹斯特創(chuàng)新實(shí)驗(yàn)室的FutureEverything組織的團(tuán)體，在英國建立了一個(gè)圍繞城市中心的傳感器網(wǎng)絡(luò)，目的是測試一下如 何用這些數(shù)據(jù)來提高城市的生活質(zhì)量。
這樣的DIY設(shè)備，建立在開放的原則基礎(chǔ)上，努力推動(dòng)對(duì)空氣質(zhì)量進(jìn)行民主化監(jiān)測，不再僅僅是政府和學(xué)術(shù)研究領(lǐng)域。但該方法的倡導(dǎo)者仍然需要說服那些常規(guī)污染研究人員，因?yàn)檫@些研究人員擔(dān)心這些廉價(jià)設(shè)備所測數(shù)據(jù)的質(zhì)量問題，而且都是一些相對(duì)缺乏訓(xùn)練的人在進(jìn)行測量。
看來，支持者的熱情并沒有打動(dòng)環(huán)境研究者。 環(huán)境研究者認(rèn)為，用于SCK和AQE的傳感器無法提供強(qiáng)有力的污染數(shù)據(jù)，監(jiān)控空氣污染水平遠(yuǎn)比廉價(jià)傳感器的制造者和供應(yīng)者所建議的要復(fù)雜。溫度、濕度和氣 體會(huì)影響AQE和SCK的測定，使人們難以比較不同設(shè)備所獲得的數(shù)據(jù)。 這些DIY的努力也缺乏污染專家的投入，專業(yè)技術(shù)人員和科學(xué)家會(huì)非常關(guān)注安裝儀器的位置以及對(duì)傳感器的維護(hù)，如果不關(guān)注這些事情，數(shù)據(jù)本質(zhì)上就毫無意義， 因?yàn)?strong>錯(cuò)誤的測量數(shù)據(jù)沒有可比性。因此，這些問題減少了數(shù)據(jù)在環(huán)境保護(hù)中的有效性。
曾開發(fā)了用于室內(nèi)顆粒物傳感器的Smith說，這些數(shù)據(jù)的傳遞和儲(chǔ)存方式使其難以分析和形象地講述一個(gè)連貫的故事，并說他們從開發(fā)自己的智能廉價(jià)傳感器中學(xué)到的一件事，就是這些設(shè)備所產(chǎn)生的數(shù)據(jù)并不干凈，要得到一些有用的數(shù)據(jù)最終還需要很多工作。 鑒于這種擔(dān)憂，科學(xué)數(shù)據(jù)集的儲(chǔ)存中心尚未接受大多數(shù)DIY傳感器產(chǎn)生的信息。而且他們還表示，在市民傳感器項(xiàng)目得到的數(shù)據(jù)得到改善之前，是不會(huì)將這些數(shù)據(jù)納入倫敦空氣質(zhì)量網(wǎng)的。
上面這個(gè)糾結(jié)的故事說明，在 許多方面，我們還在信息匱乏的假設(shè)下做很多事情，依然是小數(shù)據(jù)思維模式。我們已經(jīng)形成了一種習(xí)慣，在我們的制度、處理過程和激勵(lì)機(jī)制中盡可能地減少數(shù)據(jù)的 使用。我們甚至發(fā)展了一些使用盡可能少的信息的處理技術(shù)，統(tǒng)計(jì)學(xué)的一個(gè)目的就是用盡可能少的數(shù)據(jù)來證實(shí)盡可能重大的發(fā)現(xiàn)。如果我們總是假定自己只能收集到 少量信息，那結(jié)果可能就真的如此了。但是，我們已經(jīng)進(jìn)入了一個(gè)新的世界，在這里人人都擁有能收集和處理更大規(guī)模數(shù)據(jù)的能力，這是一個(gè)自我實(shí)現(xiàn)的過程。
這就涉及從小數(shù)據(jù)到大數(shù)據(jù)思維轉(zhuǎn)換中精確性與混雜性的問題。在數(shù)據(jù)量不斷增加的新情況下，允許不精確的出現(xiàn)已經(jīng)成為一個(gè)新亮點(diǎn)，而非缺點(diǎn)[7]。放松了容錯(cuò)標(biāo)準(zhǔn)，人們獲得了更多數(shù)據(jù)，反而可以利用這些數(shù)據(jù)做更多新的事情。這就不是大量數(shù)據(jù)優(yōu)于少量數(shù)據(jù)那么簡單了，而是大量數(shù)據(jù)增加了觀測事物的維度。隨著數(shù)據(jù)的增加，錯(cuò)誤率也會(huì)相應(yīng)增加，但眾多的數(shù)據(jù)合起來就可以提供一個(gè)更加準(zhǔn)確的結(jié)果。 因?yàn)檫@里面包含了更多的數(shù)據(jù)，而它提供的價(jià)值不僅能抵消掉錯(cuò)誤數(shù)據(jù)造成的影響，還能提供更多的額外價(jià)值。如果只有一個(gè)測試儀，那么就必須確保這個(gè)測試儀是 精確的而且能夠一直工作。另外，更多的數(shù)據(jù)意味著單條記錄不是那么重要，即使有偶爾錯(cuò)誤的數(shù)據(jù)出現(xiàn)，但已經(jīng)在數(shù)據(jù)洪流中被淹沒了，其集中的趨勢反而顯得更 加精確。更重要的是，可觀察到一些本可能被錯(cuò)過的變化。
DustDuino的開發(fā)者M(jìn)atthew Schroyer說，將一個(gè)具有足夠時(shí)間跨度的數(shù)據(jù)進(jìn)行平均，是可以與更昂貴傳感器所產(chǎn)生的數(shù)據(jù)進(jìn)行比較的。一 個(gè)獨(dú)立研究小組報(bào)告稱，當(dāng)取樣時(shí)間窗達(dá)到1小時(shí)時(shí)，DustDuino與更高成本的傳感器表現(xiàn)一樣良好。Schroyer也承認(rèn)，在瞬時(shí)數(shù)據(jù)收集方 面，DustDuino還不夠精確，因?yàn)槠錅y量結(jié)果包括太多噪音。 AQE和SCK的開發(fā)者也承認(rèn)，傳感器面臨萌芽期期的困難，但他們表示這是能夠解決的。預(yù)計(jì)2015年年初將發(fā)布新一代SCK，該設(shè)備可預(yù)先校準(zhǔn)，也配 置更好的傳感器，數(shù)據(jù)質(zhì)量足以同官方空氣質(zhì)量標(biāo)準(zhǔn)相媲美。
目 前，一些研究人員正在與公民監(jiān)測運(yùn)動(dòng)進(jìn)行聯(lián)合。例如，盡管存在數(shù)據(jù)質(zhì)量的問題，倫敦可持續(xù)性交換項(xiàng)目的倡導(dǎo)者正在與社區(qū)合作來測定城市的空氣污染。EPA 也開始接受市民監(jiān)測的概念，他們正在考慮如何用低成本、低精確度的傳感器所獲得的數(shù)據(jù)來補(bǔ)充那些零星分布的頂級(jí)測量設(shè)備。這些新的技術(shù)具有潛在的價(jià)值，無論我們是否準(zhǔn)備投資或使用它，它已經(jīng)到來了。2013年，美國環(huán)保署宣布，讓開發(fā)者來制作集成了空氣質(zhì)量與健康數(shù)據(jù)測量的低成本可穿戴傳感器。在接下來的幾個(gè)月，美國環(huán)保署將宣布資助獲勝方450萬美元用于研究社區(qū)的低成本空氣質(zhì)量傳感器。隨著政府削減預(yù)算，昂貴傳感器網(wǎng)絡(luò)也會(huì)減少，開發(fā)公民監(jiān)測可填補(bǔ)這一缺口。預(yù)計(jì)有一天，人們的衣服就能直接測量所接觸的致癌物質(zhì)，手機(jī)能嗅出污染顆粒物，無人機(jī)盤旋在城市上空尋找天然氣泄漏。可移動(dòng)的紡織品健康監(jiān)測，這是很有可能的，目前全世界各地有許多高手正在研究這些技術(shù)。
京公網(wǎng)安備 11010502049343號(hào)