在20世紀90年代，天體物理學家Alex Szalay博士和計算機科學家Jim Gray博士集展開了這樣一項頭腦風暴：如果數據庫可以變成一個數據望遠鏡，這個望遠鏡可以進行數據挖掘會怎么樣？如果可以自由使用這樣的數據，天文學領域將發生徹底的改變。

 

隨著時間的推移，這個想法變成了斯隆數字巡天（SDSS），這是一個由數十家機構的數百名科學家組成的國際合作組織。

 

斯隆數字巡天的目標是使用位于新墨西哥州Apache Point天文臺的專用2.5米望遠鏡對星空編制索引。配備1.2億像素攝像頭的望遠鏡可拍攝超過四分之一的夜空，一次拍攝1.5平方度（1.5 square degrees at a time）。該項目使用Microsoft SQL Server作為后端數據庫。

 

從1998年到2009年間，望遠鏡同時在成像模式和光譜模式下運行。斯隆數字巡天于2009年停止使用成像相機，但望遠鏡仍繼續以光譜模式進行觀測活動。數據可通過SkyServer數據庫（在線門戶網站）公開獲取。如今，該數據庫擁有15TB可查詢的公共數據集，以及大約150TB的額外原始文件和校準文件。

 

 

約翰霍普金斯大學文理學院和惠廷工程學院的彭博物理學、天文學和計算機科學杰出教授Szalay解釋說：“在傳統的天文學中，項目的想法是由天文學家提出來的，但首先，他們需要找到目標。”

 

在斯隆數字巡天還沒有成立之前，這是一個耗時的過程。天文學家必須寫提案并選擇大面積的空域來探索可能的目標，對想法進行測試。如果提案被接受，天文學家就可以預約使用望遠鏡的時間。

 

Szalay說：“在長達半年的時間里，你只要有空就會去山頂的天文臺。如果你很幸運，適逢那天天晴且無云，你就能將一些數據帶回去。”

 

Szalay說，自此，天文學家可能要花幾個月的時間對這些數據進行圖像處理，也許會發現幾百個目標。一旦有了目標，天文學家將提議使用更大型的望遠鏡，詳細探索這些目標。在獲得使用望遠鏡的時間并收集數據后，天文學家將花費幾個月的時間來進行數據簡化。

 

Szalay說：“經過長達兩年半的時間，你才能真正測試自己的想法。”

 

斯隆數字巡天改變了這一切。天文學家現在必須學習如何在SQL中編寫查詢，但這樣做可以極大地加快研究速度。

 

Szalay說：“現在你可以進入網站，將這個虛擬望遠鏡指向天空的任何部分——你不需要做任何數據簡化——只需選擇你想要的目標，在五分鐘之內，你就可以對準天空并用更大的望遠鏡來觀測（目標）。這使周期減短了數年。”

 

在斯隆數字巡天還沒成立之前，天文學家擁有不到20萬個星系的數據。如今，斯隆數字巡天擁有超過2.2億個星系的數據。

 

Gray是微軟的技術研究員，他因為對數據庫和事務處理研究的開創性貢獻而于1998年獲得圖靈獎，他與Szalay和斯隆數字巡天展開了密切合作，直到他在2007年開游艇出航時失蹤。Gray是SkyServer和TerraServer-USA的主要貢獻者。（SkyServer和TerraServer-USA于2016年關閉，成為Microsoft Research Maps）。Gray和Szalay開發了空間索引技術，以便在斯隆數字巡天存檔上進行數據挖掘。Szalay指出，他和Gray創建的空間索引將成為Microsoft SQL Server的一部分。

 

“Szalay及其團隊在構建應用程序研究星系的關聯特性時發現，其統計分析中的許多模式都涉及到各種各樣的任務，這些任務在數據庫引擎內部的執行效果要比外部好，即在平面文件上執行效果更好”，微軟公司的副總裁Joseph Sirosh和微軟數據集團的首席軟件工程師Rimma V. Nehme這樣寫道。“Microsoft SQL Server使他們可以使用多個CPU，多個磁盤和大型主存儲器對復雜的謂詞進行高速的順序搜索。它還具備復雜的索引和數據連接算法，遠遠優于針對平面文件（flat file）的手寫程序。由于有了復雜的查詢優化器（query optimizer），多日的批處理文件被能在幾分鐘內運行的數據庫查詢所取代。”

 

 

斯隆數字巡天也在一定程度上使天文學親民化。在該項目還沒成立之前，只有一流的科學家和天文學家才能使用望遠鏡和其它儀器來收集數據。其他科學家只能將就使用他們所提供的數據。Sirosh和Nehme指出，在過去14年中，SkyServer已經記錄了超過16億次網絡點擊，并產生了科學發現，如數千顆小行星的測量，外部銀河系合并歷程的地圖。斯隆數字巡天提供的數據為5,800篇論文和245,000多次引用提供了支持。Szalay說，世界上大約有三分之二的專業天文學社區每天都在使用SkyServer。

 

如今，科學家和天文學家開始利用機器學習和神經網絡對大量由斯隆數字巡天提供的數據進行處理，以協助完成從圖像中清除噪點等任務。

 

斯隆數字巡天項目還在進行中，但很快就會有繼任者。大型綜合巡天望遠鏡（LSST）目前正在智利建造。該計劃就是利用廣角巡天的反射式望遠鏡，從2022年1月開始，每隔幾個夜晚拍攝整個可探測的天空，如此持續10年。圖像將由一個32億像素的CCD成像相機記錄下來。它的尺寸為5.5英尺×9.8英尺（約等同于小型汽車的大小），是有史以來最大的數碼相機。

 

大型綜合巡天望遠鏡的科學咨詢委員會的成員Szalay表示，大型綜合巡天望遠鏡將能夠在短短3個夜晚的時間里完成斯隆數字巡天要花8年才能完成的任務。它將生成一個大約60PB的數據庫。