視頻在人們的溝通交流中扮演著日益重要的角色。為此，F(xiàn)acebook一直希望提供一種先進(jìn)的創(chuàng)意工具豐富人們的自我表達(dá)手段。近日，F(xiàn)acebook宣布，他們正在測試（目前只在部分國家的移動(dòng)設(shè)備上）Facebook應(yīng)用新增的一個(gè)創(chuàng)意效果相機(jī)。借助一項(xiàng)名為“風(fēng)格轉(zhuǎn)換”的技術(shù)，該功能可以幫助人們快速地將視頻變成藝術(shù)品，比如，將梵高的油畫風(fēng)格運(yùn)用到其他的圖像或視頻上。在此之前，這很難完成，因?yàn)樾枰獙⒁曨l或圖像的內(nèi)容發(fā)送到數(shù)據(jù)中心的大型計(jì)算服務(wù)器上進(jìn)行處理。而現(xiàn)在，F(xiàn)acebook開發(fā)了一個(gè)可以在移動(dòng)平臺上實(shí)時(shí)獲取、分析、處理像素的深度學(xué)習(xí)框架Caffe2Go。
據(jù)介紹，為了可以在iOS和Android設(shè)備上高效地運(yùn)行各種深度神經(jīng)網(wǎng)絡(luò)，F(xiàn)acebook將用于圖像和視頻處理的AI模型壓縮了100倍。最終，他們可以在某些手機(jī)上用不到二十分之一秒的時(shí)間完成AI推斷，而人一眨眼的時(shí)間是三分之一秒。
Facebook的風(fēng)格轉(zhuǎn)換工具融合了兩種技術(shù)：Caffe2go運(yùn)行時(shí)和風(fēng)格轉(zhuǎn)換模型。Caffe2go是一個(gè)以開源項(xiàng)目Caffe2為基礎(chǔ)、使用Unix理念構(gòu)建的輕量級、模塊化框架。其核心架構(gòu)非常輕量化，而且可以附加多個(gè)模塊。考慮到速度是計(jì)算密集型移動(dòng)應(yīng)用的核心，該框架的輕量化設(shè)計(jì)讓他們可以針對特定平臺上定義的操作符進(jìn)行優(yōu)化。例如，Caffe2將一個(gè)名為NNPack的程序庫集成進(jìn)了移動(dòng)運(yùn)行時(shí)。借助一項(xiàng)名為NEON的移動(dòng)CPU特性，他們提升了移動(dòng)計(jì)算速度。在iOS設(shè)備上，他們也著手集成加速特性，如Metal語言。Caffe2go提升了AI處理速度，讓它可以在移動(dòng)終端上運(yùn)行。但要實(shí)現(xiàn)實(shí)時(shí)性，并提供高質(zhì)量、高分辨率的圖像，風(fēng)格轉(zhuǎn)換模型也需要進(jìn)行優(yōu)化。 他們采用了多種方法來減少模型大小，包括優(yōu)化卷積層數(shù)量和每一層的寬度，調(diào)整處理過程中的空間分辨率等。另外，他們還構(gòu)建了包括A/B測試在內(nèi)的可視化工具，并訓(xùn)練了不同的模型。
Facebook承諾，他們會(huì)和社區(qū)分享這款軟件及其設(shè)計(jì)，并在接下來的幾個(gè)月里開源這個(gè)AI框架的某些部分。
另據(jù)VB報(bào)道，谷歌去年也在谷歌翻譯中做了一些類似的事情，他們還于近日展示了自己的神經(jīng)網(wǎng)絡(luò)風(fēng)格轉(zhuǎn)換技術(shù)。Facebook和谷歌在這個(gè)領(lǐng)域的工作要晚于移動(dòng)應(yīng)用Prisma，后者允許用戶為照片和視頻添加樣式。
此外，Caffe2go是Facebook的第二個(gè)AI平臺，第一個(gè)是已有的開源深度學(xué)習(xí)框架Torch。但是現(xiàn)在，F(xiàn)acebook將Caffe2go推上了戰(zhàn)略地位，因?yàn)?ldquo;它的大小、速度和靈活性”。
京公網(wǎng)安備 11010502049343號