歷經 12 年創新發展與技術迭代,Cocos 于今年上半年完成了新一輪融資,并不斷擴展合作伙伴,開設新的業務賽道。憑借多年的技術積累,在資本的加持與開發者的支持下,Cocos 迎來了新的里程碑節點-- 旗下核心產品,可視化數字內容編輯器Cocos Creator 3.6 版本正式發布。
近日,51CTO 采訪了 Cocos Creator 引擎技術總監凌華彬(Panda),講述了 Cocos Creator V3.6 重大的功能與框架更新,以及如今 Cocos 在火熱的元宇宙賽道的布局與生態。
為什么說這是一個里程碑版本?
可能有部分讀者不太熟悉Cocos,這家公司成立于2010 年,如今已是全球領先的數字互動內容開發平臺之一,《劍與遠征》《亂世王者》《列王的紛爭》《擴散性百萬亞瑟王》《開心消消樂》 《保衛蘿卜》《歡樂斗地主》《大話/夢幻西游》《熱血傳奇》等國內外知名游戲都是采用 Cocos 開發。近幾年,Cocos 一直在不斷修煉內功,于2016年推出 Cocos Creator 編輯器,而后重構 3D 渲染器,同時支持 2D 和 3D 游戲開發。
在歷經多個版本的迭代更新后,近日,Cocos Creator 發布了里程碑版本V3.6,并稱其為“里程碑級的版本”,Panda將原因歸結為三點:
首先,V3.6 是有史以來單版本投入精力最大的版本,前后花費了一年時間;其次,V3.6 版本增加的功能特性,讓 Cocos Creator 在成為一個優秀的現代 3D 渲染引擎之路上更進了一步;其三,V3.6 版本采用了產品驅動開發模式,其中有諸多功能都是由產品驅動,經過需求拆解、產品設計、反向驗證等環節,并最終合并到版本中。產品驅動開發的模式,也讓引擎在易用性和體驗方面有了飛躍的提升。
在這次誠意和功能都滿滿當當的更新中,我們不難看出,Cocos 引擎持續不斷自我變革的決心與毅力。作為生產工具而言,3D引擎需要不斷進化以適應硬件的更新和用戶需求的變化,但在歷時彌久的更新過程中,Cocos 仍能始終堅持移動端友好的特性,兼顧 Web 、H5、原生等平臺。再疊加Cocos 一直擁有低功耗、高性能和小包體等優勢,基于 Cocos 引擎開發的產品通常都具有很好的伸縮性,同時保證高算力平臺與低算力設備都能“物盡其用”,達到最佳的使用體驗。此外,由于 Cocos 引擎底層架構開源,這使得開發者在游戲打包后,所有運行內容都是開發者可控,遇到問題可以快速找到方法來解決。
此次發布的 V3.6 版本中,Cocos 在底層原生化的基礎之上,對 2D 和 3D 性能進行了架構級優化,編輯器層面更是新增了大量實用功能,如編輯器預覽、動畫嵌入播放器、粒子Noise模組、多語言編輯器等,這些功能都可以極大提高工作效率,降低開發門檻,讓游戲開發者可以更加專注在游戲內容創作上。
V3.6 讓 Cocos 在3D領域站穩了
在 V3.6 版本中,Cocos 優化了諸多圖形渲染能力,包括 Surface
Shader 自定義材質、CSM 級聯陰影、GGX 環境反射卷積圖、各向異性光照模型等等,幫助開發者實現游戲畫面品質的提升;此外,Cocos 還打造了編輯器全新的外觀,對編輯器的 UI 和交互體驗進行了優化,提升了開發者的使用體驗。
1.圖形渲染能力的優化與提升
(1)SurfaceShader 自定義材質
Surface Shader 使用統一渲染流程和結構,開發者可以通過簡潔的代碼創建表面材質信息、用于組合的光照和著色模型,同時提升了版本兼容性,不易產生渲染錯誤。
(2)CSM級聯陰影
在 Creator 之前的版本中,陰影貼圖的使用方式是相對比較粗糙的,特別是近處把區域放大時,陰影質量就會大幅降低,提高陰影貼圖質量又會拖慢運行速度。在加入 GSM 級聯陰影后,可以讓整個場景無論多大,都可以支撐較高質量的陰影。在近處可以是很精細的陰影,在遠處相對模糊,并且不會占用比之前更多的算力資源。
(3)GGX環境反射卷積圖
在全局的光照方面,Creator增加了IBL的反射(Image based lighting),全局光照反射通過GGX 環境反射卷積圖,實現了粗糙表面,也達到了更好的、更正確的光照反射效果。如圖所示:
(4)各向異性光照模型
各向異性光照也進一步進行了光照模型的優化,讓頭發、絲綢這樣的表面材質可以得到更好的效果。日常中,我們看到頭發時,在不同方向上頭發的高光散射是不一樣的,會看到一些光圈,這種光圈就是各向異性光照帶來的效果。在 V3.6 版本中,Cocos 充分擴展 PBR 光照模型,目前已經完整支持了在精確光源和環境光源下,各向同性和各向異性的材質與光照模型,開發者可以對接 Substaince PBR 材質庫,制作拉絲紋路的金屬、頭發、絲綢等等。
2.編輯器 UI 全面升級
在 V3.6 版本中,Cocos 還對編輯器的 UI 和交互體驗進行了多達幾百處的升級和全面優化,并加入了編輯器預覽 GameView,渲染模式DebugView,動畫嵌入播放器,粒子噪聲圖等功能,大大提升了開發者的使用體驗。
(1)支持編輯器預覽(GameView)模式
V3.6 版本新增編輯器預覽(GameView)模式(實驗性),支持在編輯器中直接運行、調試游戲。編輯器的預覽可以讓開發者在編輯器編輯的同時,看到游戲運行時的效果,可以在運行時效果中得到及時的反饋,并且及時調整游戲中的設計。
(2)動畫嵌入播放器
在傳統編輯動畫時,需要配合其他的模塊,比如說粒子模塊、音頻模塊、其他動畫板塊等,這些模塊之間的交互時需要分開編輯,需要通過腳本的方式來達到同步,不僅容易出錯,還特別繁瑣。在 V3.6 版本中,Creator 在動畫編輯器中嵌入了粒子、光效、音頻等軌道,開發者可實時預覽、查看效果,并直觀地做出調整。目前在 V3.6 版本中提供了粒子和動畫兩種播放器,可以在實驗室設置中啟用。
(3)集成多語言支持的 L10n 工具
隨著市場的快速變化,開發者出海的需求大增。因此,Cocos
在 V3.6 版本中集成了多語言編輯器,內置了 Localization Editor 插件,通過高自動化工具提高用戶翻譯的效率,并且以無代碼方式降低了用戶使用門檻。
Panda 表示,V3.6 版本啟用了全新的編輯器 UI,Cocos希望通過交互來改善視覺感受,通過視覺來影響交互體驗,并從這兩個層面進一步提高用戶體驗。未來,Cocos 將繼續基于 Cocos 的設計目標、設計系統、設計原則進行規范化設計,持續更新迭代,優化核心交互和工作流程。
3.引擎原生化
V3.6 版本中一個重要的具有里程碑意義的標志,就是引擎原生化的進步。在 2D 渲染性能上,V3.6和上一代純2D游戲引擎 2.x 達到了同樣的水準。這就意味著,如果是 Cocos 2.x版本的用戶,出于 3D 需求或持續迭代需求,可以放心升級到 3.x。此外,Panda 著重介紹了引擎原生化的幾個關鍵點。
首先,原生化包括整個場景管理以及節點樹的原生化,其中包括 3D 場景數據、2D 場景數據,這里面還包括光照、模型,模型內部數據、材質、Mesh等數據已經全部實現原生化。
第二是資源的原生化,在材質、Mesh 等與渲染相關的核心資源原生化后,開發者就可以在渲染過程中直接在原生層取用數據,極大地提升開發效率。
第三是 2D 性能的原生化,包括 2D 渲染數據結構、2D 合批管理器和渲染流程,讓 2D 的合批和提交渲染的流程都在原生層進行,以達到類似 2.x 的性能表現。
Panda 表示,底層架構原生化不僅使得引擎性能大幅提升,更為 Cocos 未來性能優化開啟了新的大門。“在這次性能改造和底層重構之后,未來我們還會將更多的內容下降到原生層,在原生層內部進行性能優化,這也意味著 Cocos 引擎未來還有很大的拓展空間。”
產品驅動開發
據 Panda 介紹,在 V3.6 版本中,有多項功能是通過產品驅動模式開發的。前期,Cocos與合作伙伴共同調研需求,在產生新的需求后,產品會優先介入,由產品分析廠商的需求,深入觀察他們在游戲中的需求本質,然后再拆解為實際的開發任務。在開發任務完成后,還會進行產品側的驗收,由產品側來進行實際的測試,從而評估是否符合預期。最后,Cocos 會提前交付給一些用戶,應用到項目中進行體驗。當 V3.6 版本所構建的項目質量都穩定后,還會在合作項目或者社區內進行定向升級測試,觀測合作伙伴的升級流程是否順暢,從而為新版本的正式發布打下基礎。
此外,在 V3.6 封版之后,Cocos 還進行了為期一個半月的開放測試,共收到了超過600條測試反饋。對于一個開源引擎來說,有這么多開發者愿意自發地花費時間、精力去測試體驗一個新版本,這也從側面印證了 Cocos 社區生態的繁榮。Panda 告訴 51CTO,“由于用戶積極地參與開放測試,幫助我們提高了重要版本的穩定性和質量,還能幫助我們及時發現問題并進行修復。”
插件是 Cocos 生態中重要的一環,因為它不僅補充了引擎所不具備的功能,還為廣大開發者提供了定制化問題的解決方案。此次 V3.6 版本升級時,為了保障插件的生態,Cocos 抽取了插件商店中排名前 30 的插件進行主動測試,幫助這些插件升級到 V3.6 后查看是否會出現問題,若出現問題,則會從引擎側解決進行兼容修復,若插件問題則會反饋給生態,推動他們解決修復。
生態驅動的開發模式,不僅能幫助 Cocos 更好地發現和理解用戶的需求,更能借助開發者的力量不斷完善自身平臺功能,實現產品可持續性穩定的發展,正可謂是源于生態,回饋生態。
不止于游戲 加速元宇宙布局
元宇宙是近一年中最火熱的話題之一,也是XR、虛擬人、數字孿生等多種技術的集大成者。在元宇宙概念中,實時渲染技術、和3D 建模技術是不可或缺的重要組成部分,通過這些技術可以得到與現實世界完全一致的數字孿生世界,這也是實現元宇宙的重要基礎。
Panda 認為,元宇宙是 3D 化虛擬的世界,而所有的 3D 化內容其實都可以通過游戲引擎或者渲染引擎的方式來生產。因此,作為普適的泛內容生產平臺,Cocos 能天然地成為元宇宙基礎設施層面的構建工具,幫助用戶搭建元宇宙中所有的可視化內容。
在做好基礎設施層面構建的同時,Cocos 還會關注一些具體的應用場景,例如虛擬偶像和XR。Panda 告訴 51CTO,“我們希望虛擬偶像不僅是提供一個技術能力,而提供一個完整的技術內容生態,快速地降低整個生產鏈路和實際發布鏈路的成本和門檻。”
因此,在虛擬偶像方面,Cocos 提供了生態中不同層面的能力。在虛擬角色方面,Cocos定義虛擬角色的創作標準,實現捏臉、換裝、面部、動畫等能力的快速復用;在工具層面,Cocos 擁有素材的認證,可實現從編輯器到素材的分發、再到SDK集成的完整鏈路。Panda 透露,在今年下半年,Cocos 也會發布虛擬偶像編輯器,可以快速生成虛擬角色,并且形成社區生態,大家互相貢獻生產的虛擬角色并且在技術層面實現共享;在美術層面,Cocos 會打造素材市場,幫助開發者快速搭建虛擬角色;在技術合作方面,Cocos 也會于諸多合作伙伴合作,形成共創共贏,例如在虛擬偶像方面與聲網合作,共同搭建 SDK,幫助開發者集成后完成自己的內容創作;與百度希壤合作,為元宇宙提供更完整的技術平臺底座,共同推動國產元宇宙的發展與成熟。
Panda 強調,與部分需離線渲染的虛擬人相異,Cocos 一直專注于創造實時渲染、可互動的虛擬偶像。據了解,Cocos 的虛擬偶像不僅做到了人物渲染,還實現了面部捕捉、動作捕捉、口型互動、口型同步等復雜功能。在渲染方面,Cocos 更傾向于卡通寫實風格虛擬人的打造,因此在渲染表現力方面的要求也相對較高。在優良的底層架構支撐下,Cocos 所建立的整套虛擬人解決方案可以支持在大多數中低端的移動平臺上的實時、流暢(每秒30+幀)運行。
虛擬人編輯器預覽
在 XR 方面,Cocos 既不做硬件,也不做最終的內容,而是做底層技術的支撐。通過 Cocos引擎集成 XR 平臺,讓開發者可以基于 Cocos 引擎快速實現跨平臺部署的內容創作,幫助開發者在XR環境中創造內容,降低在 XR 方面開發的門檻。據Panda介紹,Cocos XR集成OpenXR標準協議,目前已經成功適配Quest2, Neo3, Rokid
Air等國內外主流XR設備,該編輯器將于今年下半年發布。
XR編輯器預覽
“我們相信,隨著科技的發展與用戶習慣的遷移,未來使用方式更為輕便的移動端交互一定會成為主流,移動端 XR 也大概率會成為承載元宇宙的核心平臺,與此同時,Cocos 也會不斷優化引擎在低算力市場、輕量級平臺和穿戴平臺方面的性能和可用性。”
結語
渲染引擎好比 3D Max、PhotoShop、MAYA 等工具軟件,大家可以通過工具軟件來開發出自己的作品。越是復雜的工具軟件開發,就越需要長期的堅持與持續的投入,引擎尤其如此。目前,國內引擎開發面臨諸多挑戰,技術積累薄弱、人才積累不足、商業化變現困難等,都在阻礙著國產引擎的快速發展。
Cocos 成立 12 年,始終圍繞著以工具為平臺的定位,不斷堅持自我革新,持續進行團隊建設以及技術積累,對引擎打造的延續性也是國內其他引擎所無法比擬的。但發揮優勢的同時,Cocos 仍需不斷突破自己,打磨自身技術,持續優化 2D 的同時在 3D 方面不斷進步,并且擴大生態力量,用技術實力來證明國產引擎可以實現彎道超車的可能。
未來,也希望 Cocos 能秉承“以技術推動數字內容行業的效率提升”的企業使命,借助更豐富的服務能力、更廣闊的應用場景、更多元的合作伙伴,持續為用戶打造更好的引擎。