下面是這些挑戰(zhàn)的一些錯綜復(fù)雜的部分，以及戰(zhàn)略研發(fā)管理可以起到一些作用的方法。

 

 

與傳統(tǒng)軟件系統(tǒng)不同，在傳統(tǒng)軟件系統(tǒng)中，重復(fù)和可預(yù)測性對功能既是預(yù)期的，也是至關(guān)重要的，AI應(yīng)用程序的非確定性性質(zhì)意味著它們不會從相同的輸入產(chǎn)生一致的、可預(yù)測的結(jié)果。他們也不應(yīng)該——如果ChatGPT一遍又一遍地進行相同的腳本響應(yīng)，而不是每次都有新的東西，它就不會引起如此大的轟動。

 

這種不可預(yù)測性源于ML和深度學(xué)習(xí)中使用的算法，這些算法依賴于統(tǒng)計模型和復(fù)雜的神經(jīng)網(wǎng)絡(luò)。這些AI系統(tǒng)旨在不斷從數(shù)據(jù)中學(xué)習(xí)并做出明智的決策，從而根據(jù)上下文、訓(xùn)練輸入和模型配置產(chǎn)生不同的輸出。

 

 

由于其概率結(jié)果、針對不確定性而編程的算法以及對統(tǒng)計模型的依賴，AI應(yīng)用程序使基于預(yù)定預(yù)期定義明確的成功衡量標準變得具有挑戰(zhàn)性。換句話說，從本質(zhì)上講，AI可以以類似于人類思維的方式思考、學(xué)習(xí)和創(chuàng)造。但我們怎么知道它認為什么是正確的呢?

 

另一個關(guān)鍵的復(fù)雜因素是數(shù)據(jù)質(zhì)量和多樣性的影響。AI模型在很大程度上依賴于它們所訓(xùn)練的數(shù)據(jù)的質(zhì)量、相關(guān)性和多樣性——它們從這些信息中“學(xué)習(xí)”。為了使這些應(yīng)用程序獲得成功，它們必須接受包含各種場景(包括邊緣案例)的代表性數(shù)據(jù)的培訓(xùn)。評估訓(xùn)練數(shù)據(jù)的充分性和準確表示對于確定AI應(yīng)用程序的整體成功至關(guān)重要。然而，考慮到AI的相對新穎性，以及它所使用的數(shù)據(jù)的質(zhì)量和多樣性的標準尚未確定，結(jié)果的質(zhì)量在不同的應(yīng)用程序中波動很大。

 

然而，有時是人類思維的影響——更具體地說，是語境解釋和人類偏見——讓衡量AI的成功變得復(fù)雜。AI工具通常需要這種人工評估，因為這些應(yīng)用程序需要適應(yīng)不同的情況、用戶偏見和其他主觀因素。

 

因此，在這種情況下衡量成功成為一項復(fù)雜的任務(wù)，因為它涉及到獲取用戶滿意度、主觀評估和特定于用戶的結(jié)果，而這些結(jié)果可能不容易量化。

 

 

了解這些復(fù)雜情況背后的背景是提出改進成功評估和使AI工具更好地工作所需戰(zhàn)略的第一步。以下是三個可以幫助你的策略：

 

1.定義概率成功指標

 

鑒于AI應(yīng)用結(jié)果固有的不確定性，那些負責(zé)評估其成功的人必須拿出專門為捕捉概率結(jié)果而設(shè)計的全新指標。可能對傳統(tǒng)軟件系統(tǒng)有意義的成功模式與AI工具配置根本不兼容。

 

與其只關(guān)注確定性的績效指標，如準確度或精確度，不如將可信區(qū)間或概率分布等概率指標納入其中——這些統(tǒng)計指標評估特定參數(shù)內(nèi)不同結(jié)果的概率——可以提供更全面的成功圖景。

 

2.更強大的驗證和評估

 

建立嚴格的驗證和評估框架對AI應(yīng)用至關(guān)重要。這包括全面測試、對照相關(guān)樣本數(shù)據(jù)集進行基準測試，以及進行敏感性分析以評估系統(tǒng)在不同條件下的性能。定期更新和再培訓(xùn)模型，以適應(yīng)不斷變化的數(shù)據(jù)模式，有助于保持準確性和可靠性。

 

3.以用戶為中心的測評

 

AI的成功不僅僅存在于算法的范圍內(nèi)。從接受產(chǎn)出的人的角度來看，產(chǎn)出的有效性同樣重要。

 

因此，在衡量AI應(yīng)用程序的成功時，尤其是針對面向消費者的工具，納入用戶反饋和主觀評估是至關(guān)重要的。通過調(diào)查、用戶研究和定性評估收集見解，可以提供有關(guān)用戶滿意度、信任度和感知效用的寶貴信息。平衡客觀的績效指標和以用戶為中心的產(chǎn)出評估，將產(chǎn)生更全面的成功視角。

 

 

衡量任何給定AI工具的成功需要一種微妙的方法，承認其輸出的概率性質(zhì)。那些參與創(chuàng)造和微調(diào)任何能力的AI的人，特別是從研發(fā)角度來看，必須認識到這種固有的不確定性帶來的挑戰(zhàn)。

 

只有定義適當(dāng)?shù)母怕手笜耍M行嚴格的驗證，并納入以用戶為中心的評估，該行業(yè)才能有效地駕馭AI激動人心的潛在能力。

 

 

國內(nèi)主流的to B IT門戶，同時在運營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。同時運營19個IT行業(yè)公眾號(微信搜索D1net即可關(guān)注)。

 

版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。