• 登入
  • 註冊網站會員
CIO Taiwan
  • 活動
  • 影音
  • 趨勢分析
  • CIO 雜誌
  • CISO精選
  • 電子報
  • 下載
  • 聯繫我們
沒有結果
查看所有結果
CIO Taiwan
沒有結果
查看所有結果
首頁 新聞速寫

針對視訊會議的 NVIDIA Maxine SDK

2021-06-25
分類 : 新聞速寫
0
A A
0
針對視訊會議的 NVIDIA Maxine SDK

在 NVIDIA (輝達) 研究人員開發的人工智慧 (AI) 協助下,從床上起床、打開筆電電源和網路攝影機,便能在每次進行視訊通話時,呈現完美的畫面。

NVIDIA 針對視訊會議推出的 NVIDIA Maxine SDK,背後運用眾多深度學習模型,其中包含 Vid2Vid Cameo,該模型使用生成對抗網路 (GAN),只要使用單一人像平面照片,就能在視訊通話中合成出說話者栩栩如生的立體頭像。

參與者只需要在加入視訊通話前先上傳一張參考圖片,可以是自己的真實照片或卡通圖片,就能使用這項功能。開會時,AI 模型會抓取每個人的即時動作,接著將這些動作套用在先前上傳的靜態圖片上。

這意味著只要與會者先上傳好穿著正式服裝的照片,就算剛起床且頂著一頭亂髮、身上還穿著睡衣,直接進行會議也沒問題,因為 AI 會將與會者的臉部動作套用在靜態的參考照片上,在會議平台中顯現出體面的打扮。要是與會者將身體轉向左邊,這項技術可以調整視角,讓這個人看起來像是正對著網路攝影機。

除了讓與會者看起來體面之外,這項 AI 技術還能將視訊會議所需的頻寬減少十倍,以避免出現畫面抖動和延遲的情況。該技術很快就會在 NVIDIA Video Codec SDK 中,作為 AI Face Codec 供大家使用。

這項專案的共同作者,也是 NVIDIA 的研究人員劉洺堉(Ming-Yu Liu)表示:「許多人使用的網路頻寬有限,但還是想要與親友們流暢地在網路上聊天,而這項技術除了能協助他們之外,此基本技術還能協助動畫師、照片編輯員和遊戲開發者完成手上的工作。」

NVIDIA 本週將於著名的 Conference on Computer Vision and Pattern Recognition (CVPR) 大會上發表 Vid2Vid Cameo,這是 NVIDIA 在這場線上大會中發表的 28 篇論文之一。Vid2Vid Cameo也可以在 AI Playground 上找到,任何人都可以在那裡親身體驗我們的研究演示。

人工智慧在大會上搶盡風頭

為了向經典的竊盜類電影還有 Netflix 的熱門節目致敬,NVIDIA 的研究人員在某次的視訊會議中,讓他們的對話頭像 GAN 模型大顯身手。在演示的過程中強調 Vid2Vid Cameo 的重點功能,包括臉部重新定向、動畫化身和資料壓縮。你可以透過以下影片更加暸解Vid2Vid 及Vid2Vid Cameo。

這些功能很快就會出現在 NVIDIA Maxine SDK 內,為開發人員提供經最佳化調整的預先訓練模型,以用於視訊會議及直播串流中的視訊、音訊及擴增實境效果。

開發人員已經可以使用 Maxine AI 的效果,包括智慧降噪、視訊畫質提升與人體姿勢預估。供免費下載的 SDK 還能搭配 NVIDIA Jarvis 平台使用,以用於包括轉錄和翻譯在內的對話式 AI 應用項目。

AI 向你打招呼

Vid2Vid Cameo 只需要兩個元素,便能建立出用於視訊會議的逼真 AI 對話頭像,包含一張使用者的臉部照片以及一個視訊串流內容,其將決定這個影像要如何進行動作。

該模型在 NVIDIA DGX 系統上使用 18 萬個高品質對話頭像的資料集來進行訓練。該網路學習辨識二十個關鍵點,以便在沒有人類加以標柱的情況下,針對臉部動作建立模型。這些關鍵點針對包括眼睛、嘴巴和鼻子在內的特徵位置進行編碼。

接著,模型會從通話者的參考圖片中擷取這些關鍵點,通話者的圖片可以事先發送給其他參與視訊會議的人,或從過往的會議中重複使用。如此一來,視訊會議平台只需發送說話者臉部關鍵點的動作資料,而不用在每一個與會者之間發送龐大的即時視訊串流內容。

對接收者來說,GAN 模型在接收端使用這些資訊來合成一個模仿參考圖片外觀的視訊內容。

這項技術只需要壓縮和來回發送頭部位置及關鍵點,不用發送完整的視訊串流內容,便能將視訊會議的頻寬需求減少十倍,讓用戶擁有更流暢的通話體驗。因此,可以在不影響視覺品質的情況下,配合各種頻寬環境來調整模型,以傳輸不同數量的關鍵點。

使用者也能自由調整產生出的對話頭像視角,從側面或正面顯示、調低或調高攝影機的角度。照片編輯員同樣能將這項功能應用在平面照片上。

NVIDIA 的研究人員發現,Vid2Vid Cameo 可以產生更為真實清晰的結果,不管參考圖片和視訊內容是否出自同一個人,還是當 AI 把一個人的動作轉移到另一個人的參考圖片上,它的表現都比最先進的模型更出色。

後面這項功能可以把說話者的臉部動作,用在視訊會議裡的數位化身上,並讓它們動起來,甚至是讓遊戲或卡通人物呈現出更有真實感的表情和動作。

Vid2Vid Cameo 模型論文的作者為 NVIDIA 研究人員 Arun Mallya和兩位來自台灣的 Ting-Chun Wang、和 Ming-Yu Liu。NVIDIA Research 團隊由全球兩百多名科學家組成,專注於 AI、電腦視覺、自動駕駛車、機器人和繪圖等領域。

在此特別感謝於 Netflix 播出的《紙房子》影集中,替教授進行英語配音的演員 Edan Moses,感謝他為上述我們最新的 AI 研究成果影片所做出的貢獻。

標籤: AIMaxine SDKNVIDIA
上一篇文章

搭載預先訓練模型及遷移學習工具的快速生產型 AI

下一篇文章

疫情推升資安人員戰技

相關文章

半導體擴廠人才荒 Profet AI 助企業擴大專家量能
新聞速寫

半導體擴廠人才荒 Profet AI 助企業擴大專家量能

2026-11-19
中華電信建置 30 處備援站臺 強化雲林防救災通訊韌性
新聞速寫

中華電信建置 30 處備援站臺 強化雲林防救災通訊韌性

2026-11-19
台灣最爛密碼還是「123456」奪冠!從「metallica」到「skibiditoilet」流行文化讓帳號秒破解
新聞速寫

台灣最爛密碼還是「123456」奪冠!從「metallica」到「skibiditoilet」流行文化讓帳號秒破解

2026-11-18
下一篇文章

疫情推升資安人員戰技

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

2026 Elite Vendor

追蹤我們的 Facebook

近期文章

  • AI 代理人應用於銀行法遵的價值與導入關鍵
  • AI 自己會寫程式,未來真的不需要工程師了嗎?解析軟體開發的大變革!
  • 半導體擴廠人才荒 Profet AI 助企業擴大專家量能
  • 中華電信建置 30 處備援站臺 強化雲林防救災通訊韌性
  • 雲林培育 2,900 人次智慧農業人才 推動 AI 導入與產業升級

📈 CIO點閱文章週排行

  • AI 自己會寫程式,未來真的不需要工程師了嗎?解析軟體開發的大變革!

    0 分享
    分享 0 Tweet 0
  • 平台業者個資外洩 消費者問責品牌商

    0 分享
    分享 0 Tweet 0
  • 強化金融資安韌性 金管會:聚焦 AI 攻擊與代理 AI 安全

    0 分享
    分享 0 Tweet 0
  • 國科會定調九大科技議題 推動 AI 產業化與供應鏈韌性

    0 分享
    分享 0 Tweet 0
  • 台灣數位資產與未來資本市場協會成立 布局代幣化金融基礎設施

    0 分享
    分享 0 Tweet 0
  • 【調查報告】GTIG 首度揭露無人介入漏洞利用 AI 代理自主發動攻擊

    0 分享
    分享 0 Tweet 0
  • 【專訪】合作金庫銀行電子金融部協理潘雲霞:以信任與治理 邁向可信賴 AI

    0 分享
    分享 0 Tweet 0
  • 【專訪】國泰金控數位數據暨科技發展中心副總經理陳維銘

    0 分享
    分享 0 Tweet 0
  • 【專訪】台北富邦銀行執行副總經理暨數位金融總處長陳弘儒:全行 AI 能力,打造金融生態圈

    0 分享
    分享 0 Tweet 0
  • AI 網攻擴大企業受害 72 小時內應變成資安關鍵

    0 分享
    分享 0 Tweet 0

數位及平面

  • CIO Taiwan 網站
  • CIO 雜誌紙本
  • CIO 雜誌 HYREAD 版
  • CIO 雜誌 Zinio 版

關注社群

  • Line 加入好友
  • Facebook 粉絲頁

合作夥伴

  • CIO 協進會

關於我們

  • 公司介紹及工作機會
  • 隱私權政策

旗訊科技股份有限公司|統編:84493719|台北市 100 中正區杭州南路一段 15-1 號 19 樓|TEL: 886-2-23214335
Copyright © Flag Information Co.,Ltd. All Rights Reserved.

CIO Taiwan 歡迎你回來!

可用 使用者名稱 或 Email 登入

忘記密碼 註冊

歡迎註冊 CIO Taiwan 網站會員

請設定 Email 及 使用者名稱(使用者名稱不接受中文、將來無法更改)

欄位皆為必填 登入

找回密碼

請輸入 使用者名稱 或 Email 以重設密碼

登入
  • 登入
  • 註冊
沒有結果
查看所有結果
  • 活動
  • 影音
  • 產業速報
  • 新聞速寫
  • 風雲人物
  • 產業瞭望
  • 專欄
  • 精選文章
  • 原生現場
  • 供應商視野
  • 線上調查
  • CIO 雜誌
  • 電子報
  • 下載
  • 聯繫我們

© 2020 CIO Taiwan 版權所有

7/28 活動延期通知

因高雄市政府於7/28早上宣布全日停班停課,因此「智慧醫療研討會高雄場」活動延期舉辦。主辦單位將另行公告研討會相關訊息,歡迎報名參加!

您已閒置超過 3 分鐘了,為您推薦其他文章!點擊空白處、ESC 鍵或關閉回到網頁

【專訪】合作金庫銀行電子金融部協理潘雲霞:以信任與治理 邁向可信賴 AI

「沒有治理的 AI 是風險,有治理的 AI 才是資產。」合作金庫高度重視相關治理

2027 CIO Insight (2) AI 就緒與效益:八成 CIO 看好 AI,只有一成認為已準備好

對 AI 前景樂觀的 CIO 占八成,認為公司已準備好規模化的只有一成二;效益多

從 AI 提示詞公開,談企業如何把關資訊

從 AI 使用到資訊公開 釐清審查責任與發布關卡 文/游政卿 關於近日競選網站的

2026 IMD 世界數位與 AI 競爭力 我國 13 項指標居全球前三

整理/鄭宜芬 瑞士洛桑管理學院(IMD)11 日發布「2026 年世界數位與 A

金融業 2025 年投資金融科技 324 億元 2026 年預算增近五成

整理/鄭宜芬 金融業持續擴大金融科技布局。台灣金融服務業聯合總會 10 日公布「

國科會定調九大科技議題 推動 AI 產業化與供應鏈韌性

整理/鄭宜芬 國家科學及技術委員會今(16)日召開第 24 次委員會議,由數位發

【威脅分析】CrowdStrike:網攻滲透律師事務所,實體攻擊風險升高

攻擊者招募人員滲透律師事務所,竊取客戶機密資訊,進一步進行資料竊取與勒索。CHA

2026 AI 物聯網大聯盟年會 聚焦主權 AI、算力建設與產業 AI 模型

採訪/鄭宜芬 2026 AI 物聯網大聯盟年會 28 日登場,國發會主委葉俊顯與

2027 CIO Insight (6) CIO 影響力:積極投入 AI 策略,把地基搭得更穩固更安全

35.7% 的 CIO 投入 AI 策略的時間占工作時間 10% 以下;多位受訪

文章分類

  • 產業速報
  • 專欄
  • 影音
  • 風雲人物
  • CXO分享
  • 產業瞭望
  • 原生現場
  • 精選文章
  • 趨勢分析
  • 供應商視野
  • 新聞速寫
  • 下載
  • Sponsors

熱門標籤

  • 最新文章
  • 雲端運算
  • 人工智慧
  • 數位轉型
  • 製造業
  • 物聯網
  • 資料與分析
  • 資安
  • 區塊鏈
  • 5G
  • 儲存
  • 基礎架構

活動

  • CIO價值學院 四堂課
  • 智慧醫療研討會 台北/高雄場
  • 金融科技高峰會 春季/秋季場
  • 製造業CIO論壇 台北/台中/高雄場
  • 商業服務科技論壇
  • 亞太CIO論壇
  • CISO資安學院 金融/醫療/新竹場
  • CIO Insight 調查

影音

  • 影音