文／AMD
AMD 偕同數位通國際及撼訊科技輔導新創團隊榮獲2024年AI+新銳選拔賽獎項
為響應政府推動AI產業化的政策腳步，AMD受邀擔任數位發展部數位產業署「2024年AI+新銳選拔賽」的需求業者，助力AI新創團隊開發創新AI解決方案，攜手落實AI應用、推動AI產業發展。AMD與生態系夥伴共同提案，包含與數位通國際及數位無限合作，共同輔導社群洞察公司使用AMD Instinct MI300X加速器，對特定法令釋疑建立大語言模型；另外與撼訊科技合作，共同輔導繆偲公司、雲林科技大學醫學影像處理實驗室及虎智科技，運用AMD Radeon RX 7900 XT顯示卡進行多項AI推論應用。
AI新創團隊經過數個月的努力，由數位發展部數位產業署審核、並獲得AI+新銳廠商獎項的肯定，各新創團隊的簡介以及所建立的AI應用如下：
「社群洞察公司」提供成熟的生成式AI解決方案，協助組織建立AI代理（AI Agent），實現無痛轉型、邁向智慧化升級。透過蒐集、整理與分析來自各種社群媒體的龐大數據，協助企業、品牌、政府機關等客戶，更深入地了解目標受眾、掌握市場趨勢、優化行銷策略，並做出更明智的決策。在本次選拔賽中，社群洞察公司推出採用AMD Instinct MI300X加速器的「法令釋疑智慧小幫手」，憑藉其強大算力在模型訓練與推論兩階段均展現無與倫比的效率。AMD Instinct MI300X加速器基於AMD CDNA 3架構，配備最優異的192GB HBM3記憶體容量以及每秒5.3TB的峰值記憶體頻寬，能夠一次性載入更多繁體中文法令資料進行訓練，支援更大規模的模型參數優化。在日常 fine-tuning 的訓練過程需求，甚至僅需半小時就完成經常性的模型微調工程。在推論的部分，AMD Instinct MI300X 加速器同樣展現出色的運算能力。「法令釋疑智慧小幫手」能即時協助第一線戶政人員快速檢索並解讀法令函釋內容，將原本繁瑣的查找流程時間大幅縮減 30%。
「繆偲（Voiss）」以AI智能對話互動式內容平台為核心服務，其跨領域專家經驗標記與審查知識框架能用於即時評分系統中的開放式問題和模擬對話演練，提供專業且精準的評估。目前市面上的生成式AI工具過於通用，且只能回答簡單問題，難以應對製造業的需求；或者過度客製化，耗費大量時間成本，對企業導入門檻過高。透過與AMD及撼訊科技的合作，繆偲使用AMD Radeon RX 7900 XT顯示卡系統性的建立PLM知識庫邏輯，並針對製造工廠的產線維修紀錄進行意圖識別，訓練出精準的專屬大型語言模型（LLM），逐步實現模組化與規模化解決方案，以降低邊際成本。通過客戶實測各種非預期內的需求及問題，其驗證準確率達99%以上，藉此提升工廠端的知識累積和產能，並打造本地端生成式AI的知識管理解決方案。
「國立雲林科技大學醫學影像處理實驗室」成立於 2003年，由即將接任校長的張傳育教授所指導，研究重點聚焦於AI智慧辨識、醫學影像處理及分析、新生兒哭聲辨識技術、AOI自動光學檢測之技術研發，並致力培養應用機器學習及影像處理技術能力，目前已與台大醫院雲林分院、成大醫院、大林慈濟醫院等醫師團隊合作開發多項AI輔助診斷系統。實驗室於本次競賽使用撼訊科技所提供的AMD Radeon RX 7900 XT顯示卡開發具Re-Rank機制的RAG LLM AI機器人。Radeon RX 7900 XT顯示卡提供20GB的高速GPU記憶體和168個AI加速器，更緊湊的封裝提供更低功耗需求，在PyTorch上加速機器學習研發動能。同時藉由AMD ROCm開放軟體堆疊與PyTorch框架的高度兼容性，讓開發流程更加流暢。
「虎智科技」為臺灣科技大學傑出校友聯誼會攜手創新育成中心投資成立的新創公司。為了普及AI於產業運用，由撼訊科技全力支援AI GPU，提供研發資源協助開發AI助理機器人產品，力助新創團隊的AI軟硬體技術為建築設計產業帶來進步和貢獻。本次參賽由臺科大智慧製造所陳子立、鄧志峰、工管系李應豪三位教授帶領研究所同學一起進行研發。透過撼訊科技提供工廠內的產品維修數據，得以實踐AI技術，並在研發實驗獲得Multi-Agent RAG突破發展。其中特別使用AMD Radeon RX 7900 XT顯示卡時發現，在同級產品的對比中，AMD在AI表現上有著更高性價比特性，未來推廣AI應用上將有助於企業優化其AI系統的建置成本。 AMD亦持續推進AI軟體功能和開放產業體系的發展，在AMD ROCm開放軟體堆疊中帶來支援生成式AI工作負載訓練和推論的最新功能。ROCm為FlashAttention、HIPGraph與vLLM等多個生成式AI全新關鍵功能新增支援，可透過PyTorch、Triton、Hugging Face等最為廣泛使用的開源AI軟體模型、演算法與框架，驅動創新、簡化部署AMD AI解決方案與釋放生成式AI的真正潛力。目前，AMD開放軟體堆疊包括支援AMD Instinct加速器與AMD Radeon顯示卡的AMD ROCm，支援自行調適加速器、SoC和FPGA的AMD Vitis AI，以及支援AMD EPYC™ 處理器的AMD ZenDNN開源函式庫。此外，AMD也正朝整合式AI軟體堆疊的方向發展，助力開發者在AMD所有產品組合中都能使用熟悉的AI架構，並針對任何AMD裝置進行開發。
