摘要 : 信息時代正面臨著潛在的負載傾向,這種傾向反映到前沿科技上就是業界所謂的“大數據”。
信息時代正面臨著潛在的負載傾向。這種傾向反映到前沿科技上就是業界所謂的“大數據”——即指數據的總量過大,以至于傳統的數據庫難以將其消化,甚至無法負荷。而后,“大數據”一詞又衍生出了指一類需使用大量數據運算的科技之意。
因此無論何時,只要我們關注的某類數據中包含著數十億(甚至數萬億)條來自網絡及其他途徑的記錄,我們就是在談論“大數據”。 然而很多時候,我們都忽略了在每日與科技的接觸中,比如使用移動設備上的自動糾錯功能、文字處理軟件和電郵客戶端時,會與“大數據”一詞產生多大的關聯。
自動糾錯與字詞推薦
自動糾錯功能有時錯的令人無語,以至于許多網站致力于貼圖展示那些搞笑(且經常黃暴)的“修改結果”。盡管如此,這種在移動設備上的自動改正錯誤拼寫甚至預測下一個詞語的功能依然是超乎想象的好用,畢竟更多時候它替你避免了許多由手指輸入而可能造成的尷尬局面。
不過有時想想也會驚出一身雞皮疙瘩。 智能機可以根據你鍵入的任意字母順序,列出可能產生的所有詞語結果。再考慮到外語編程的可行性,以及現在多數智能手機的滑動輸入功能,可以說由此產生的幾乎無限多的詞語組合確確實實是“大數據”。
字詞推薦和自動糾錯功能基于一種智能手機自帶的算法。基本來說,它可以將你的鍵入與內置詞典進行比對,并找出與之不同的拼寫。而它的的內置詞典往往涵蓋多種語言。舉例來說,每次我鍵入外語字母時,手機都會提供相應詞典的聯想與糾錯功能。
當鍵入的內容與字典相符時,手機會顯示可能與其相配的字詞。如果建議的詞語正確,這項功能會大大縮短打字時間,提高溝通效率。如果無可用結果,手機程序會繼續提供更多字詞選擇,其中有的文法正確,有些還算合理,有些甚至你都沒想過,剩下的基本就是網上那些“手機輸入法搞笑圖片”的素材了。
找到最合適的搭配
怎樣的鍵入會有怎樣的推薦詞,這是程序員要面對的諸多挑戰之一,這其中又包括如下兩點:
1、 制作出全面的詞庫——該詞庫的功能不能因時代發展而打折,反而應與時俱進,具有高實用度,比如要收錄容易出現在短信中的網絡流行語等。
2、 敲定出沒有明顯缺陷的語言模型——該模型應可以檢驗用戶輸入的字詞并對可能的錯誤給出合理建議。
這也就是說,如果鍵入了“taxos”,那么是“taxis”呢還是“tacos”呢?你的輸入法鍵盤會同時提供這兩個推薦。但是如果你想輸入的是“taxes”,那就需要輸入法已知上下文意,如“there’s nothing sure but death and…”,才能正確給出taxes。如果并無前后文提示,只是單純錯輸了taxos,除非使用極成熟的輸入法,一般說來只能得到“taxis”、“tacos”,或者“taxos”的推薦。當然,絕大多數使用自動糾錯和字詞聯想功能的人還是會被它的精確率驚艷到的。
輸入法如何知曉
Google搜索引擎的拼寫檢查程序會記錄學習用戶偏好,并據此對搜索結果加以修正。然而絕大多數的手機鍵盤并非如此智能,部分原因是收集用戶的打字習慣并生成數據庫很可能會侵犯個人隱私。
用于自動糾錯的詞庫一般從不受專利限制的文集中獲得詞匯。程序員已經設計出了一系列的算法,用于識別常用句法,某詞的主要用法和重復,拼寫,以及可能的字母串位,當然還有由于鍵盤布局而時常發生的字母錯誤。
即使如此,手機也會學習你對于自動糾錯后的字詞的修正方式。這更常見于輸入如商業術語等專有名詞和新生詞語時。
大數據從何而來
沒有大數據對海量字詞組合的管理 ,智能輸入法也就無所謂智能了。然而,大數據還能讓鍵盤變得比現有功能更具智慧。隨著技術日趨成熟,手機可以存儲更多信息,手機詞庫也將變得愈大、愈精。
未來,輸入法開發人員將會使用大數據和機器學習來完善所有依賴鍵盤和基于文本的功能,而鍵盤的使用感也將會大大提升。