TensorFlow Lite是開源深度學習框架TensorFlow的輕量級方案,支持設備內置的會話建模,來將智能會話功能插入到聊天應用。TensorFlow團隊最近發(fā)布了TensorFlow Lite的開發(fā)者預覽版本,可以在移動和嵌入式設備中使用。
在過去的幾年中,在移動和嵌入式設備上部署機器學習模型的需求持續(xù)增長。今年早些時候,谷歌團隊發(fā)布了Android Wear 2.0技術,將谷歌助手帶到了您的手腕上。這是第一個針對智能通訊的設備內置機器學習技術,也讓基于云的類似Smart Reply(已經(jīng)在Gmail、Inbox和Allo可用)的技術,能夠不連接到云就直接在應用中使用。
TensorFlow已經(jīng)應用在從服務器到物聯(lián)網(wǎng)設備的許多平臺上。現(xiàn)在,TensorFlow Lite可以用來,使得設備內置的機器學習模型,能夠進行低延遲的推理。TensorFlow Lite被設計成輕量和跨平臺的,使得可以運行在不同的平臺上,首先是Android平臺和iOS平臺。它使用了各種低延遲的技術,例如優(yōu)化移動應用的內核、預融合激活(pre-fused)以及允許更小和更快(定點數(shù)學)模型的量化內核。
重點要提的是,TensorFlow已經(jīng)支持TensorFlow Mobile API,后者被移動和嵌入式設備中部署的機器學習模型使用。TensorFlow Lite是TensorFlow Mobile的演化版,隨著它逐漸發(fā)展成熟,它會成為在設備上部署模型的推薦方案。
TensorFlow Lite的架構設計包括以下組件:
TensorFlow Model: 一個保存在硬盤上的訓練過的TensorFlow模型。Converter: 這個程序將模型轉換成TensorFlow Lite文件格式。Model File: 一份基于FlatBuffers格式的優(yōu)化了速度和大小的模版文件。TensorFlow Lite支持用Android Neural Networks API進行硬件加速。它還支持不同的模型,例如MobileNet、Inception v3和Smart Reply。
設備內置的會話建模
作為TensorFlow Lite庫的一部分,TensorFlow團隊還已經(jīng)發(fā)布了一個設備內置的會話模型和一個使用自然語言應用例子的樣本應用。開發(fā)者和研究人員可以通過這個應用來構建新的基于設備內置推理的機器智能功能。這個模型使用可以輕松插入到聊天應用的推理功能,生成回復建議,來輸入會話聊天消息。這種推理需要會話智能功能。
這個會話模型使用了一種用來訓練緊湊型神經(jīng)網(wǎng)絡的新的機器學習架構。這種架構基于一個聯(lián)合的優(yōu)化框架,這種框架在Sujith Ravi關于使用神經(jīng)投射的設備內置深度網(wǎng)絡的調研報告有所討論。這種架構使用高效的“投射”操作,將輸入轉換成一個緊湊的位向量表示。相似的輸入被投射到相近的向量,而向量的密集或稀疏取決于投射的類型。例如,像“嗨,現(xiàn)在怎么樣了”和“伙計,現(xiàn)在怎么樣了“的消息,可能會被投射到相同的向量表示。
這個設備內置模型被使用一個機器學習框架進行端到端的訓練。這個機器學習框架,混合訓練兩種類型的模型:一種緊湊的投射模型和一種訓練者模型。這個模型被訓練之后,投射模型可以直接用來在設備上進行推理。
在未來的版本中,TensorFlow Lite會支持更多模型和內置操作,提高定點和浮點模型的性能。
TensorFlow Lite開發(fā)者預覽版本的文檔、代碼示例、應用樣本都可以在GitHub上查看。你還可以找到被這個會話模型使用的樣本消息列表。
查看英文原文:TensorFlow Lite Supports On-Device Conversational Modeling