要學習一門新的語言，特別是像漢語這樣高難度的語言，必須讓學生獲得大量實際練習對話技能的機會。通過沉浸式的文化氛圍自然而然地掌握一門新語言，可能要比非沉浸式的練習有效得多。但是，大多數漢語初學者無法獲得體驗式學習的機會。這就是我們開發 CIR 的初衷。
沉浸式游戲化課堂環境
為了實現多種模式的自然沉浸式對話，CIR 綜合了語音文本轉換，自然語言理解和計算機視覺等多種先進技術。教室里放置了一套 360 度全景式顯示系統、一套音頻系統、多個攝像頭、多部 Kinect 設備和多個話筒，當然還有用于支持 AI 技術的計算機系統，其中一部分放在教室里，還有一些位于云端。
我們的目標是將沉浸式的認知技術與游戲元素相結合，讓學生體驗到一種文化環境，練習日常對話任務，并且獲得智能助手的幫助。我們通過漢語項目，在 CIR 中使用 IBM Watson 作為對話機器人，與學習漢語的學生進行交流。該項目采用了 IBM Watson 語音識別技術和針對英漢兩種語言的自然語言理解技術。
在通過沉浸式氛圍學習外語的過程中，學生遇到的最大障礙之一就是，害怕被母語使用者評判。但是在 CIR 中，學生可以借助虛擬的對話合作伙伴來練習詞匯和發音，不必承受真實環境中的壓力。
許多語言學習研究者都在使用虛擬現實或增強現實技術，但我們研究的是真人沉浸式游戲環境，學生不需要穿戴專門的設備，就可以在這樣的環境中實際游覽。這反映了人機交互領域的一個大趨勢，那就是我們在日常生活中的信息交流將會有更強的沉浸感，而人們與智能機器的交互也會向深度融合的方向邁進。
2017 年晚秋時節，我們的系統已經在 RPI 校園里的中文 1 級課程中接受了測試。今年秋天，我們將繼續在中文 1 級、2 級和 3 級課程中使用 AI 作為教學工具，目標是在 2019 年夏天推出綜合中文 1-3 級內容的新課程。
課堂背后的研究 —— 不僅僅是研究課堂
認知與沉浸式系統實驗室(CISL) 是 IBM 人工智能地平線網絡 (IBM AI Horizons Network) 的一部分，專門構建并運用各種先進的技術，包括上下文感知系統(context-aware systems)、語音聲調軌跡分析(pitch tone contour analysis)、人類與 AI 機器人之間自然語言對話中的中英雙語切換(language-switch between Chinese and English in a natural language conversation between people and AI agents)、多用戶多模式交互(multi-user multimodal interaction)、決策過程中的推理和規劃(reasoning and planning in the decision-making process)，以及自動生成描述、視覺和聽覺信息的多模式故事敘述(multimodal storytelling with automatic generation of narrative, visualization and sonification)。
認知沉浸室 (CIR) 是 CISL 的四個應用案例之一。該實驗室還致力于增強群體智能，用于董事會等現實環境中的關鍵決策。在未來，這些新型認知與沉浸式系統將會從根本上改變人們的生活和工作方式。CIR 的早期原型已經提供了很多研究用戶交互的機會，讓我們能夠發現并應對語言學習領域的新挑戰。
京公網安備 11010502049343號