從頭開始建立一個新的大型語言模型(LLM)可能會讓公司花費數百萬甚至數億的成本。但是有幾種方式可以部署定制化的 LLM,這些方式更快、更簡單,而且最重要的是更便宜。
文/Maria Korolov‧譯/Frances
這是史上進展最迅速的新技術。生成式人工智慧正在改變著世界,改變我們創造圖像、影片、音訊、文字和程式碼的方式。
根據 Dell 在九月對 IT 決策者進行的調查,76%的人表示生成式人工智慧(gen AI)對他們的組織將有「顯著而且可能是轉型性的」影響,而且大多數人預計在接下來的一年能夠看到具有實質效果的結果。
大型語言模型(LLM)是一種生成式人工智慧(gen AI),專注於文本和程式碼,而不是圖像或音訊,儘管有些模型已開始整合不同的模態。目前在企業界最受歡迎的 LLM 包括 ChatGPT 和其他 OpenAI GPT 模型、Anthropic 的 Claude、Meta 的 Llama 2,以及 Falcon。Falcon 是一個由阿布達比科技創新研究所開源的模型,以支援英文以外的語言而聞名。
企業在部署 LLM 時有幾種方式,像是給員工使用公共應用程式(public apps),使用提示工程和 API(prompt engineering and APIs)將 LLM 嵌入現有軟體,以及使用「向量資料庫」(vector databases)來提升準確性和相關性。此外,企業還可以微調現有模型或自行建立自己的模型。
部署公共 LLM
Dig Security 是一家以色列的雲端資料安全公司,其工程師透過使用 ChatGPT 來撰寫程式碼。Dig Security 的執行長 Dan Benjamin 表示:「工程師們會使用各種工具來提升撰寫程式的效率。」而 ChatGPT 則是其中一個最早且最容易使用的程式開發助手。然而,這同時也帶來了一個問題 ─ 你無法確定上傳的資訊是否會被用來訓練下一代模型。為了解決這個可能性,Dig Security 採取了兩種方法。
首先,該公司使用「安全閘道」來檢查上傳的資訊。
Benjamin 表示:「我們的員工知道他們不能上傳任何敏感的資訊」,這些資訊都會被封鎖。
其次,該公司將其工程師引導至在私有 Azure 雲端上運行的 ChatGPT 版本。這意味著 Dig Security 擁有獨立的 ChatGPT 實例,以確保資料的安全性。即使採取這種「腰帶和吊帶」(belt-and-suspenders)式的安全措施(這個慣用語表達了他們極為謹慎的作法,不僅使用了一重保護措施,還額外增加了另一重保護措施)。然而,Benjamin 也承認這並非完美解決方案。他明白在資訊安全領域中並不存在絕對完美的解決方案,任何以為有絕對完美解決方案的組織都是在自欺欺人。
例如,某人可以使用 VPN 或個人電腦來存取 ChatGPT 的公開版本。這就涉及到另一層面的風險防範。
[ CIO 必讀:企業面臨的 4 大項 LLM 威脅 ]
Dig Security 不是唯一的公司。加州的 Skyhigh Security 表示,在 2023 年上半年,在近一百萬終端用戶透過企業基礎設施存取 ChatGPT,而使用者數量在一月至六月間增加了 1,500%,Skyhigh 的企業行銷總監 Tracy Holden 表示。
根據 Netskope 威脅實驗室七月份的報告,相較於其他敏感數據類型,每個月每 10,000個企業用戶中有 158 次事件涉及原始程式被上傳至 ChatGPT。
近期,企業開始獲得更安全、更符合企業需求的選擇,例如微軟的 Copilot,它結合了易用性與額外的控制和保護功能。而在先前的 OpenAI DevDay 中,執行長 Sam Altman 表示,現已有 1 億活躍用戶使用該公司的 ChatGPT 聊天機器人,同時超過 200 萬開發人員使用其 API,且超過 92% 的財富 500 強企業正在 OpenAI 平臺上進行開發工作。
向量資料庫和 RAG
對於大多數希望客製化自己的大型語言模型(LLM)的公司來說,檢索增強生成(Retrieval Augmented Generation,RAG)是一種理想的選擇。當有人提到嵌入(embeddings)或向量資料庫(vector databases)時,通常指的就是 RAG。
RAG 的工作方式如下:當用戶提出一個問題,例如公司政策或產品問題時,該問題不會立即發送到 LLM。相反地,首先對問題進行確認 ─ 用戶是否有權存取該資訊?如果有權限,則通常從向量資料庫中檢索所有可能相關的資訊。然後,將問題和相關資訊發送到 LLM 並嵌入到最佳化的提示中,該提示可能還會指定答案的最佳格式和 LLM 應使用的語氣。
簡單來說,RAG 利用檢索的相關資訊,以及 LLM 模型的生成能力,來產生回答。它可以確保獲取到的資訊與用戶的問題相關,並根據需要進行生成的格式和語氣進行嵌入。這種方法在客製化 LLM 時被許多公司廣泛使用,並通常與嵌入或向量資料庫相關。它能夠提供更準確和有上下文的回答,從而滿足企業的需求。
向量資料庫是一種按照不同屬性排序的一系列列表來組織資訊的方式。例如,你可以有一個按字母順序排列的列表,回答越接近字母排序,相關性越高。
一個按字母順序排列的列表是一個「一維向量資料庫」,但向量資料庫可以擁有無限多個維度,讓你能夠根據任意數量的因素的接近程度,來搜尋相關的回答。這使得它們非常適合與 LLM 一起使用。
「現在,我們正在將所有資料轉換為向量資料庫,」Salesloft 的資深產品和工程長 Ellie Fields 表示。「是的,它們正在發揮作用。」
她表示,與使用簡單文件提供 LLM 查詢的上下文比對,它更加有效。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球 CIO 同步獲取精華見解 ]
該公司主要使用的是開源向量儲存庫 ChromaDB,其主要用於 LLM。Salesloft 還使用了另一個向量資料庫 Pgvector,它是針對 PostgreSQL 資料庫的向量相似性搜尋擴充。
「但我們還進行了一些使用 FAISS 和 Pinecone 的研究,」她說道。FAISS,即 Facebook AI 相似性搜尋,是由 Meta 提供的開源庫,支援在多媒體文件中進行相似性搜尋。
Pinecone 是一個專有的雲端向量資料庫,也受到開發者的歡迎,其免費版本支援高達 100,000個向量。一旦從向量資料庫檢索到相關資訊並嵌入提示中,該查詢會被發送到運行在 Microsoft Azure 上的私有 OpenAI 實例中。
「我們將 Azure 認證為我們平臺上新的子處理器(sub-processor),」Fields 說道。「我們總是會通知客戶,當我們為其資料增加新的處理器時。」
Salesloft 也與 Google 和 IBM 合作,並正在開發一種使用這些平臺的通用 AI 功能。
她說道:「事情每週都在變化。如果你不關注不同的模型,你就會錯過機會。所以我們絕對會與不同的供應商和不同的模型合作。」因此,RAG 允許企業將其專有資料與模型本身分離,使得在更好的模型發布時更輕鬆地替換模型。此外,向量資料庫可以進行更新,甚至是即時更新,而無需進行更多的微調或重新訓練模型。
[ CIO 必讀:生成式 AI 應用在軟體開發領域 ]
Fields 表示:「我們已經從 OpenAI 切換到在 Azure 上運行的 OpenAI 模型。我們之間也切換了不同的 OpenAI 模型。我們甚至可能為客戶群的不同部分提供不同的模型支援。」
她補充說,有時不同的模型具有不同的 API。她指出:「切換模型並非一件輕而易舉的事情。」但是相較於重新訓練,切換模型還是比較容易。Fields 補充道:「我們尚未找到一個比使用向量資料庫更適合的微調用例。」她表示:「我相信這樣的用例存在,但到目前為止,我們尚未找到一個表現更好的用例。」
Salesloft 最早推出的 LLM 應用之一是增加了一個功能,讓客戶可以生成針對潛在客戶的銷售郵件。Fields 表示:「客戶在撰寫這些郵件時花費了很多時間。」她說:「開始很困難,而且容易出現寫作障礙。」所以現在客戶可以指定目標人物、價值主張(value proposition)和行動引導(call to action)然後他們將收到三封不同的草稿郵件,可以進行個性化調整。Salesloft 使用 OpenAI 的 GPT 3.5 來撰寫這些郵件,Fields 說道。
(本文授權非營利轉載,請註明出處:CIO Taiwan)