編譯器技術為基石 進軍 AI 產業最大利器
傳統通用型 GPU 晶片價格非常昂貴，成為全球發展邊緣 AI 應用服務最大阻礙。Skymizer 以編譯器技術為基礎，推出 EdgeThought、HyperThought 等兩大產品線，為邊緣 AI 發展帶來革命性的發展。
採訪／施鑫澤‧文／林裕洋
2022 年 ChatGPT 問世，讓全球見到生成式 AI 結合大型語言模型（LLM）的強大威力，引爆企業加速引進此技術的速度，如今正以驚人速度滲透到不同產業、環節之中。無論是智慧製造、智慧零售等等，都證明市場對於 AI 技術的強烈需求。
根據 IDC 公布「AI 對全球經濟與就業市場之影響」報告指出，2024 年 AI 將為全球經濟產值貢獻 1.2 兆美元，預計 2030 年 AI 將為全球經濟產值貢獻 4.9 兆美元。只是在生成式 AI 大規模落地應用過程中，仍然面臨不同層面的嚴峻挑戰，其中最核心問題正是 AI 硬體成本與效能之間的平衡。
目前市場上主流的 AI 運算晶片價格非常昂貴，即便是消費型的 NVIDIA GeForce RTX 5070 顯卡系列，價格仍然高達 500 美元以上，很難普及到消費性電子產品之間，包括主打價格低廉的家電產品，或者大規模部署於數量龐大、預算有限的零售終端設備之中。
Skymizer（臺灣發展軟體科技）創辦人暨技術長唐文力指出，現今各種開源 AI 模型如雨後春筍般出現，儘管產品之間特色迥異，然共同點則均是在高性能資料中心進行訓練而成，所以 AI 模型的規模與複雜度高，往往難以直接部署到運算能力、記憶體和電力等都會有極大限制的邊緣裝置上。
正因如此，當企業要在邊緣設備中部署推論服務時，實際運行效能與理論效能之間存在巨大鴻溝，同時也增加了開發者將 AI 模型移植、優化到不同硬體平台上難度，更遑論後續進行維護工作。我們很早就觀察到這些問題，所以在 2023 年從編譯器跨足 LPU（語言處理器）推理加速器 IP，為用戶提供兼具高效能與成本效益的解決方案，並簡化 AI 應用的開發與部署流程。
深厚編譯器技術為基礎，跨足大語言模型領域
看準電腦硬體架構和系統軟體架構都蘊藏著革命性的機會，創立於 2013 年 11 月的 Skymizer，憑藉著豐富的知識與技術能力，以及獨步市場的編譯器軟體技術，成功扮演協助 IC 設計公司提升產品的功能、效能和可靠性，進而在商業市場保有強大競爭力。該公司編譯器技術可將抽象程式語言轉換為硬體引擎的控制指令，進而在晶片運作過程中妥善管理硬體和軟體資源，並確保高記憶體和匯流排系統利用率。
唐文力說，我們早期以協助 ARM 處理器效能優化為主，2018 年跨入 CNN 加速器 IP 領域，主要是看準市面上很多晶片設計公司僅向客戶提供函數庫或有限的工具，對軟體開發業者是項極大挑戰，我們的編譯器技術可協助 AI 晶片設計公司實現 AI 應用開發的自動化，即將 TensorFlow、TensorFlow Lite、PyTorch、ONNX 和 Android NNAPI 等 AI 框架，連接到深度學習加速器 ASIC，藉此達到提升效率的目的。
為此，我們研究針對量產過程中的各種潛在挑戰，包括編譯器、校準器、執行時間、虛擬平台和基準模型庫。透過這些解決方案，讓不同產業客戶能夠提升系統效能，並將推理精度提升到極致。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG，與全球CIO同步獲取精華見解 ]
2022 年底生成式 AI 結合大型語言模型成為市場主流，Skymizer 也開始關注相關技術發展。而在 2023 年 META 推出 LLaMA 大語言模型後，Skymizer 認為未來執行 LLM 架構的 AI 晶片將有通用標準，於是決定投入此領域，並推出第一款 ET2（EdgeThought 2）解決方案，讓 AI 晶片具備每秒跑 30 tokens/s的能力。
鎖定 AI 推論晶片市場，EdgeThought 2 問世
由於 AI 模型訓練是項複雜工作，多數企業根本不可能自行投入，所以勢必是運用市面上開源 AI 模型結合自身資料進行優化訓練之後，用於特定領域的推論服務，也代表市場對AI推論晶片需求勢必比較大，預估推論晶片與訓練晶片將是 17：1。雖然市面上已有不少通用型的 Edge AI GPU，但是整體性能約莫在 20 tokens/s 左右，且價格昂貴，墊高了邊緣裝置的成本。
而 Skymizer ET2 解決方案主要聚焦邊緣運算、LLM、AI 推論等三大領域，業者可依照使用的大語言模型參數量，彈性擴充合適的運算資源，如 GPU 運算力、記憶體等，平均可達到 30 tokens/s。
唐文力指出，我們能在短時間內發表 ET2 解決方案的關鍵，在於擁有非常深厚的編譯器技術，這項技術在資訊科學領域中被譽為最具挑戰性的項目之一。編譯器技術可將高階指令轉換為晶片能理解並高效執行的機器碼，而我們能針對特定硬體的指令集架構、記憶體層次結構、並行處理能力等特性，進行智慧排程、記憶體管理和計算圖最佳化。如此一來，自然能達到提升 AI 模型的執行效率、降低延遲和功耗，當應用服務業者運用 ET2 解決方案之後，能為資源有限的邊緣裝置，提供絕佳 AI 推論服務。
發表 HyperThought ，讓邊緣裝置邁向智慧化
繼 2024 年成功推出開創性邊緣推論加速器 EdgeThought 之後，Skymizer 也針對即時、多模態與 Agent AI，推出全新一代 AI 加速器 IP-「HyperThought」，代表 AI 加速性能、擴充性與部署靈活性等重大進展。看準市場對對 Agent 型 AI 的需求日益成長需求，Skymizer LPU IP 不僅是 AI 晶片加速器，更是一個可完全整合的子系統，賦能 SoC 團隊設計並部署專屬應用客製化 AI 晶片，讓開發者能自由結合自身主機 CPU 及邊緣子系統，實現領域特定智慧整合。
HyperThought 採用 Skymizer 最新的 Language Instruction Set Architecture（LISA）v3，支援多模態處理、並行多模型執行，以及原生 Agent 型 AI 工作流程。搭配更新版的編譯器與執行時平台，HyperThought 提供卓越的計算、記憶體與頻寬效率，完美適用於從智慧設備到自動化系統的各類邊緣 AI 應用。
「EdgeThought 將 LLM 推理服務帶到邊緣，HyperThought 則讓邊緣設備更智慧，創造更好的智慧推理服務。HyperThought 透過 LISA v3 不只是加速 token，進一步啟動具備推理、多模態互動與即時適應能力的智能 Agent，這絕對是邊緣 AI 發展的重大里程碑。」唐文力解釋：「Skymizer LISA v3 不僅支援語言模型，更支援即時智能系統，能感知、推論與適應，是實現真正自主管理 AI 系統的基石。」
Skymizer HyperThought 的特色非常多，首先是「建構於 LISA v3」，這是 Skymizer 第三代語言指令集架構，具備動態圖控制、平行 Agent 執行與進階記憶體操作，並完全由硬體支援。其次是「多模態能力」，支援文字、影像與指令型模型的無縫執行，資源共享，彈性高效。
第三點是「並行多模型執行」，可同時推理多個量化後的 LLM，適用於低延遲、多應用場景。第四點是「Agent 型 AI 架構」，支援持續運作、具目標導向的 Agent，可執行互動式與具情境推理的任務。第五點是「最佳化軟體堆疊」，與硬體共同設計的編譯器與執行時平台，有效平衡運算、記憶體與頻寬。最後則是「可擴充整合性」，模組化設計，體積精巧，適合快速整合至行動裝置、嵌入式系統與車規級 SoC，HyperThought 靠著其 Hyper-threading 的能力，可以擴充成多核，彈性擴充合適的運算資源，可使效能翻倍增長，達到 1,200 tokens/s。
建構頂尖 AI 團隊 人才全方位佈局
面對生成式 AI 浪潮席捲全球的時代，技術人才成為企業競爭的核心資源。Skymizer 能在競爭激烈 AI 產業中佔有一席之地，關鍵在於長期的系統性的培養機制、極具挑戰性的招聘流程、與清晰的技術定位，建立起一支近 60 人的 AI 工程團隊。
公司創立之初，Skymizer 即知道要招募人才並不容易，所以很早就透過多所大專院校建立實習、專題與共同研究等方式尋找潛力人才，並進行完善的培養制度，才能建構出高度契合的團隊文化與技術默契。此種策略不僅讓團隊保有強烈的文化一致性，也使新進成員能快速融入並延續技術深度與挑戰精神。
[推薦閱讀：企業 AI 預算規劃的方法論與實戰策略 ]
唐文力指出，軟體工程師的能力差異極大，頂尖工程師產出能力可能是普通工程師的 10 倍，甚至高達 30 倍以上。為此，我們設計一套極具挑戰性的招聘機制，在長達4～5 小時面試時間中，甚至可攜伴參與及上網查詢，但過程中將面對大量不確定性與開放性問題。
我們並不追求應徵者「答對多少題」，而是觀察其面對未知與壓力時的真實反應、學習潛力與問題解決思維。Skymizer 只錄取能坦然說出「我不知道」，並願意探索答案的人。這不僅是選才標準，也是團隊文化的體現。
Skymizer 實習計畫堪稱臺灣資訊科學界最具競爭力的機會之一。2025 年錄取率僅約千分之三，2023 年也僅為千分之四，曾有一年僅錄取四人。實習生一旦錄取將直接參與實際專案，與正職工程師並肩工作，接受相同標準的挑戰與指導。
生成式 AI 威力強大 企業需加快引進速度
隨著 AI 技術快速成熟，其應用場景已從科幻走向現實，並在零售、飯店、教育、企業營運、家電、醫療等領域掀起一波波創新浪潮。從虛擬銷售員到智慧藥箱，AI 正逐步重塑產業面貌，加速流程效率，並改寫人才結構與商業模式。以零售、廣告與飯店業為例，AI 技術應用涵蓋語音互動、虛擬銷售員與 AI 主播等功能，幫助業者達到自動化銷售、節省人力與刺激消費。
唐文力表示 AI 不僅改變客戶端應用，也正重塑企業內部流程。如 PwC Chat、KPMG 的管理顧問系統等 SaaS 工具，已廣泛應用於投影片製作、內部諮詢與文件處理，大幅降低營運成本並強化知識整合效率。此外，AI 在跨部門溝通、資料整併與流程優化上的潛力，正成為 CIO 推動轉型的重要助力。AI 可成為企業開發新市場的 turnkey 解決方案，在大型集團與跨部門需求下展現高度靈活性。
生成式 AI 與大型語言模型之間的搭配，已是提升軟體開發效率好幫手，不少工程團隊導入 AI 後，開發速度提升三至四倍，專案時效縮短至原先的 30%，且部分模組開發由 AI 自動完成，降低對初階工程師的依賴。在醫療領域，智慧藥箱已於醫院中大量部署，每套價格高達 150 萬元，能協助解決人力短缺與流程瓶頸。雖然目前 AI 能力約達人類 PR80 等級，尚無法取代高專業醫療判斷，但在基礎作業與日常照護上已有顯著貢獻。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
