瞭解深層科技在推進企業採用與創新過程中所扮演的角色。
文/Rudina Seseri‧譯/高忠義
生成式 AI 與其深層基礎模型代表了創新的範式轉移,對探索 AI 應用的企業正產生重大影響。前所未見的,因為生成式 AI 模型,我們開發出的系統能夠以接近人類水準的方式瞭解自然語言並且能夠在多種不同的媒體上生成並統合產出,包括文字與圖像。促成這種科技的,是強大的,通用的基礎模型,而且這種模型能成為基礎或起點以開發其他更專門化的生成式 AI 模型。這些基礎模型經過大量資料的訓練。得到自然語言指令時,可以利用習得的成果在具體的背景中產生讓人極為驚奇的複雜產出。若採用生成式 AI 來產生圖像,那可類比成一個很有才華的藝術家,應對委託人的指示,將一輩子看到的其他藝術家的作品融合她的想像力創造出全新的成果。
一個個新的循環相繼地推進這些進展,對許多業務主管與高階主管來說,生成式 AI 好像是突然就冒出來了。然而,事實上這些新的構造是以過去數十年間演進而成的方法為基礎而建成的。因此,瞭解深層科技在推動進步、企業採用與創新機會過程中所扮演的關鍵角色是極為重要的。
我們如何走到這裡
在生成式 AI 中最值得一提的賦能科技就是深度學習、嵌入、遷移學習(這些科技全部在 2000 年代中期出現),以及神經網路轉換器(在 2017 年發明)。以前所未見的規模(無論就模型的規模來說,或就訓練的數量來說)運用這些科技的能力,是近期才出現而極具關鍵重要性的現象。
深度學習在 2000 年代初期在學界出現,而大約從 2010 年起開始獲得產業廣泛採用。深度學習是機械學習的子領域,藉著呈現範例來訓練各種任務的模型。深度學習可以應用在所謂人工神經網路的特定種類模型,那是由多層相互連結的簡單運算點(所謂的神經元)組成的。每一個神經元都會處理由其他神經元傳送給它的資訊,然後將處理結果傳送到接續各層的神經元。並且利用訓練時呈現給該模型的範來調整神經網路模型的參數。模型之後即可預測或歸類新的未見過的資料。舉例來說,如果我們用數千幅狗的圖片來訓練模型,那個模型就可以利用這些圖片來偵測之前未顯示過圖片的狗。
遷移學習出現在 2000 年中期,而後很快地流行起來。那是一種機械學習技巧,運用從某項任務獲得的知識改善模型在另一項任務的表現。有個比喻可以瞭解這種強大的技巧,就是學習某種「拉丁語系」的語言,例如西班牙語。因為拉丁語系的相似性,所以人們可能發現很容易再學習另一種拉丁語,像是義大利語。遷移學習在生成式 AI 中是很關鍵的,因為它讓模型能夠將它從某項任務習得的知識運用在另一個相關的工作上。這種技巧已獲證實有開創性的效果,因為它能降低資料稀少的挑戰。遷移學習也已證明可改善生成內容的多樣性與品質。舉例來說,一個預先接受大量文字資料集訓練的模型可以在規模較小,屬於特定領域或風格的文字資料集裡微調。這讓模型可以鎖定特定領域或風格生成更一致也更具相關性的文字。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球 CIO 同步獲取精華見解 ]
在 2000 年代初期到中期變得普遍的另一個技巧則是嵌入。這是呈現資料的一種方式,最常用來呈現文字,例如數字向量。雖然消費者導向的科技,例如 ChatGPT 顯現出像人類那樣的邏輯,它們是文字嵌入的極佳例子。文字嵌入的目的是要攫取文字語意與句法關係。舉例來說,「狗」與「獅子」兩者間的向量呈現比與「蘋果」的向量空間更為接近。 原因在於「狗」與「獅子」有相當高的脈絡近似性。在生成式 AI ,這讓模型可以瞭解文字間的關係以及它們在脈絡下的意義,讓 ChatGPT 這樣的模型可以提供與脈絡相關,而且在語意上也具有準確性的原創文字。
嵌入證實在呈現語言上獲得極大的成功,而且也推進新的更有力的神經網路構造的探索。「transformer」(轉換器)是最重要的此類構造之一,那是在 2017 年開發出來的。轉換器是一種神經網路,設計的目的在於處理連續的輸入資料,例如自然語言,並執行像是文字摘要或翻譯之類的任務。更值得一提的,轉換器結合了「自注意力」(self-attention)機制。這讓模型可以聚焦在輸入序列的不同部分,而為了以能判斷上下文關係的方式掌握文字之間的複雜關係,需要這樣的功能。因此,該模型可以學習針對各種上下文對輸入資料各個部分作出不同的重要性衡量。舉例來說,如果有個句子「狗因為太累了沒有跳過柵欄」,模型會檢視句子以判斷每個字與它的地位。而後,透過自注意,模型會衡量字的地位以判斷與「它」的最密切關聯性。自注意是用來產生對句子中每一個字與我們正要處理的那個字「它」的關係之理解。因此,該模型可以將「它」與「狗」關聯起來,而不是與「柵欄」這個字關聯起來。
深度學習構造、有效分散運算與訓練演算法及方法論的進展讓較大模型的訓練變為可能。在撰寫本文的時候,最大的模型是 OpenAI 的 ChatGPT3,那包含有 1,730 億個參數;ChatGPT4 參數資訊尚無法取得。ChatGPT3 還有一點值得一提,它「吸收」了人類所知最大量的文字,45TB 的資料,都是文字範例,包括網際網路所有的文字內容,與其他形式的人類表述。
結合諸如遷移學習、嵌入與轉換器之運用,讓生成式 AI 具有進化性,而同時對於 AI 系統建構方式與企業的採用之影響也是極具革命性的。因此,基礎模型競逐支配地位,例如普遍大型語言模型(LLMs)即受到致力追求贏者全拿或佔最大優勢地位的既有公司與新創公司青睞。
雖然基礎模型的資本需求高昂,適於大型的既有科技公司或資金極雄厚的新創事業(數十億美元),但在各行各業都有生成式 AI 深度而廣泛的顛覆性創新機會。
瞭解科技堆疊
要有效地利用生成式 AI 的潛力,企業與新創者應該瞭解它的不同的科技層級是如何分類的,以及各個類型對於價值創造有何衍生的影響。
要瞭解生成式 AI 的周邊科技最基本的方法就是用三層的科技「堆疊」(stack)將它們組織起來。在這個堆疊的底層就是基礎模型,這代表著類似個人運算或網路的轉型浪潮。這一層將由根基牢固的既有廠商主導,像是微軟、Google 與 Meta,而沒有新創事業的地位,這跟我們在行動革命或雲端運算看到的情況並無太大的差異。這種現象基本上有兩個關鍵原因。首先,在於這類公司營運的規模,以及他們資產負債表的規模極為龐大。其次,今天穩固的公司掌控能推動基礎模型的主要資源:運算與資料。
在這個堆疊的頂層則是應用程式,為了特定用途具體運用案例而開發的軟體。堆疊中的下一層則是「中間層」(middle layer)。中間層是促成頂層應用程式,並擴展基礎模型能力的資源。舉例來說,MosaicML 讓使用者可以在自己的資料上建構自己的 AI,作法是將資料轉入能夠在使用者基礎架構中的任何雲端上有效執行機械學習工作的大規模 AI 模型。要特別說明的,此處並未深入評量中間層。在循環中對堆疊的此一部分做早期預測可能充滿著各種風險。雖然地位穩固的既有廠商用以吸引使用者使用其基礎模型的各種免費工具可能造成中間層的商品化,但跨平台或跨基礎模型,但是那些能提供附加能力並使模型最佳化而最適合特定使用情境的工具也可能改變局勢。
近期,因為已有進一步的發展促成中間層的產品與平台,應用程式的層級呈現生成式 AI 投資者與建構者可利用的大量機會。特別引人興趣的是使用者導向,時常除了運作公用的基礎模型之外,也能運作自有模型系列的產品。這些是端到端的應用程式。這種從模型到使用者導向的應用程式層級垂直整合的應用程式因為能提供門檻所以最有價值。自有模型是很有價值的,因為在自有產品資料中對模型做再訓練可以創造門檻,與差異化。然而這需要更高的資本密集度,而對於希望維持敏捷的產品團隊來說也有挑戰。
生成式 AI 應用程式的使用案例
若要妥適審酌未來近期應用程式層級的生成式 AI 使用案例與機會,需要對於資料或內容的增量價值有所認識,而且也必須完整瞭解準確度不完善的衍生影響。因此,未來近期的機會可能在於有高度增量價值的資料或內容,即使對企業來說可能有更多資料具有經濟價值,而且準確度不完善的後果也不高。
還有其他應考量的事項包括訓練與生成資料的結構,以及 AI 訓練師(human-in-the-loop,HITL)的角色,這是一種人類積極參與的 AI 系統,人類可以檢查模型的工作成果。
生成式 AI 給創業者與企業帶來的機會在於資料結構安排的使用案例,例如軟體程式碼。此外,AI 訓練師 可以減輕 AI 可能犯下的錯誤。具有這些特性的目標行銷行業與使用案例就是生成式 AI 初期的機會所在。它們包括:
●內容創造
生成式 AI 可以提升創造力、內容創造率與內容品質。也可以利用科技來分析不同類型內容的績效,例如部落格或社群媒體廣告,並提供關於什麼內容引發受眾迴響的情報。
●客戶服務與支援
生成式 AI 可以透過聊天機器人或虛擬助理提升客戶服務與支援工作並加以自動化。這有助於事業提供更快速且更有效率的服務給他們的顧客,而同時也能降低客戶服務營運的成本。藉著用大量的文字資料預先訓練,基礎模型可以學習準確地解答顧客提出的問題並提供更準確的回應,以提升顧客滿意度並減少營運成本。運用生成式 AI 的新參進事業之間的差異化在很大程度上取決於他們能否運用細膩調校的較小模型以更妥適地瞭解特定產業的語言、行話或一般顧客的問題,以此機制提供量身定作而能滿足各個顧客需求的支援並持續改善產品以得出更準確也更有效的成果。
●銷售與行銷
AI 可以分析顧客行為與偏好並產生個人化的產品建議。這有助於事業提高銷售量,也能協助行銷團隊用正確的訊息在正確的時間鎖定顧客。藉著分析顧客行為的資料,模型可以預測哪一個顧客最有可能改變選擇,以及哪一種訊息最有效果。而那對新參進者來說可以成為強力的差異化因素,藉此奪取市場佔有率。
●軟體與產品開發
生成式 AI 可以簡化整個開發循環,從程式生成、完成程式、偵錯、文書作業與測試。基礎模型讓開發者可以聚焦在設計與特徵建構,而不是浪費力氣在訂正程式的錯誤。舉例來說,新的參進廠商可以提供由 AI 驅動的助理,並加以調校以理解程式設計概念而能提供配合特定脈絡的支援,幫助開發者熟習複雜的程式開發基礎,找出相關文書,或者建議程式碼片段。這有助於幫開發者節省時間,提升他們的能力,並改善程式品質。
認識過去以掌握未來
雖然距離 AI 與基礎模型解鎖廣大的企業與新創價值尚有一段時間,但從創業家到高階決策者每個人都能從瞭解我們如何由過去進展到今天這種情況的歷史獲益。而且,瞭解這些概念有助於實現規模潛力、重新建構框架並擴大事業機會。瞭解這些機會存在何處可以讓人做出明智的決定而開創啟發人心的未來前景。
(本文授權非營利轉載,請註明出處:CIO Taiwan)