NVIDIA (NVDA) 2023Q4 財報：推理占比飆升至 40%，AI 工廠正在挖深護城河！

FinSight主編 的大頭貼Posted by

備註：此為 2024 財年 Q4 財報。(主編定義的 2023Q4 財報)

亮點：推理業務占 2024 財年 (2023日歷年) 資料中心收入 40%

  • 2024財年資料中心收入為475億美元，同比增長三倍。
  • Q4資料中心收入為184億美元，環比增長27%，同比增長409%。
  • 推理與訓練需求齊頭並進：傳統看法認為推理市場規模不及訓練，但規模空前的AI模型(如GPT-3)對訓練提出了更高的算力需求，另一方面越來越多的推理應用場景也對算力提出了更高要求
  • NVIDIA的GPU架構可以靈活地支援訓練與推理工作負載，並可以隨著需求變化進行彈性調整。
  • 2024/3/5公司：我們所做的工作是專注於未來的推理。不是過去30年的二進制響應類型的推理，而是理解大規模數據需要毫秒級的響應速度。我們知道我們將成為該市場的關鍵。

1. 推理業務占比大幅提升：NVDA地位提升。

NVIDIA之前很少直接公佈推理業務占資料中心收入的比重。上一次公告還是多年前僅佔10% (2019/2推理佔比不到10%；2019/11推理佔比達資料中心雙位數)，而現在黃仁勳透露這一數字已經達到了40%，這意味著推理業務在過去幾年中實現了跨越式增長，在NVIDIA資料中心業務中的地位和貢獻度大幅提升。(2019/11起開始不斷強調對話式AI的訓練與推論需求大增，GPT3首次發布於2020/6)

  • MSFT：AI服務貢獻6個百分點的增長，主要是人們採用API進行推理。
  • GOOG：Vertex AI平臺的API調用量從上半年到下半年增長了近6倍。

2. 推論大幅成長受惠兩大趨勢：加速運算與生成式AI。

  • ＊加速計算＊用於推薦系統與搜尋引擎 (主要)：2024/3/5的會議中，公司表示推論應用幾乎主要來自互聯網服務和數位內容的推薦系統，幾乎所有的互聯網公司，從搜索、電商、社交媒體到新聞、視頻和娛樂服務，都在利用GPU加速的深度學習推薦系統來提升使用者參與度和廣告效果。
    而推薦系統是當今世界上最大的軟體，每天要為數以億計的使用者提供個性化的內容和廣告投放，推理算力需求非常龐大。如今GPU加速已經滲透到推薦系統的各個環節，包括嵌入(embedding)、最近鄰搜索、重排(reranking)以及資訊生成。
    一年前推薦系統主要還是基於CPU的方法，但最近轉向了使用GPU加速的深度學習和生成式AI方法，現在GPU在推薦系統的每一步都有應用(尤其是圖像與視頻多模態推理是NVIDIA業務成長重點)。通用計算開始停滯，需要加速所有工作負載以提高能效和降低成本。
  • 生成式AI (才剛開始)：極大加速使生成式AI成為可能。這是一個全新的應用，代表新的計算方式和新的行業。現在正在生成式AI的早階段，一些公司還在建構大型語言模型，一些則轉向Copilot和變現。每次使用ChatGPT、Midjourney、Adobe Firefly等服務時都在使用英偉達GPU進行推理。一年前這些服務都不存在，現在100%依賴NVIDIA GPU推理，對公司而言是增量的新需求與未來巨大成長動能。
  • 主權AI (目前主要在訓練階段)：主權AI是新興趨勢，各國投資自己的AI基礎設施。不同地區的語言、知識、歷史和文化各不相同，他們希望利用自己的資料來訓練AI模型並提供服務。這在日本、加拿大、法國等地區正在興起。但目前政府在主權AI上的支出主要集中在訓練大型語言模型，之後會轉向應用和解決方案。
    另外，中國在第四季度占資料中心收入的個位數百分比，預計第一季度將保持在類似水準。
  • 多行業拓展 (需求正在提升)：黃仁勳還提到金融、健康醫療、汽車、工業、電信等行業也在加速adopting GPU推理方案。比如金融機構用於即時欺詐檢測，汽車行業用於自動駕駛和智慧座艙，工業領域用於預測性維護等。NVIDIA正通過針對特定行業優化的軟體框架(如Clara、Drive)讓更多企業受益於AI推理技術。
  • 公司認為：40%資料中心收入來自推理可能還是保守估計，實際比例可能更高。

公司談到具體使用客戶：消費者互聯網、SaaS、汽車。

  1. 第四季度幾乎每一個與消費者互聯網、搜索、電子商務、社交媒體、新聞、視頻服務和娛樂相關的公司都在使用人工智慧來改善客戶參與度、廣告轉化率和點擊率。
  2. SaaS正在用生成式AI來增強他們過去的所有服務，這樣他們就可以有更多超個性化的內容被創建。(尤其是與生產力相關的2B SaaS)
  3. 汽車垂直行業通過雲或本地部署，對英偉達資料中心的收入貢獻去年超過10億美元。

每個軟體隨著模型規模提升、交互數據量的提升，對推論的速度與品質要求也會增加，進入良性循環。

從訓練到推論，AI 創造 NVIDIA 自我強化的飛輪效應

公司看好從2024日曆年到2025日曆年以及以後持續成長，因為現在正處於同時發生的兩個全行業過渡時期的開端：

  1. 通用計算向加速計算的過渡：可以通過CSP擴展和許多資料中心(包括我們自己的通用計算)將折舊從4年延長到6年來判斷。當你不能像過去那樣從根本上大幅提高輸送量時，就沒有理由用更多的CPU來更新了。(通用計算遇到瓶頸，使用GPU等加速器來提升性能的需求日益增長)
  2. 生成式AI：生成式AI是一個新的應用。它正在實現一種新的軟體發展方式，創造新型軟體。這是一種新的計算方式。你無法在傳統的通用計算上實現生成式AI。你必須對它進行加速。

綜合以上，現在正催生一個全新的行業：AI工廠。

  • 資料中心的角色正在發生轉變，不再僅僅是計算、存儲數據和為公司員工服務。新型資料中心是關於AI生成的，可以被稱為"AI生成工廠"，這些AI工廠以數據為原材料，使用NVIDIA製造的AI超級電腦對數據進行轉換，生成有價值的"權杖"(Tokens)。
  • AI生成應用多角化：ChatGPT、Midjourney、搜尋引擎與推薦系統都受到權杖的加持而更個性化，許多新創公司也利用AI工廠在數位生物學領域生成蛋白質、化學品等。
  • 每次用戶與ChatGPT互動，使用Midjourney，觀看Sora視頻或Runway編輯的視頻，以及使用NVIDIA Firefly時，都在使用NVIDIA的推理能力，因此NVIDIA的推理部分已經大幅增長至40%。同時，訓練的數量還在繼續增加，因為這些模型變得越來越大，推理的數量也進一步增加。
  • 大型雲端服務提供商(CSP)仍在繼續建設AI工廠，從他們的資本支出和討論中可見一斑；同時也出現一個新的類別：GPU專用CSP；企業軟體平臺也正在部署人工智慧。

新型態的資料中心，創造NVIDIA在GPU之外的其他業務：

  1. 網路業務：超過130億美元的年化收入運營率。Quantum InfiniBand解決方案同比增長超過5倍。
    (還有自製CPU也是會受惠)
  2. 軟體和服務：在第四季度達到10億美元的年化收入運營率。預計世界上所有企業最終都會採用NVIDIA AI Enterprise，尤其是針對英偉達的GPU。這個業務有望變得非常大。

NVIDIA 自我強化的下一個飛輪：軟體與服務

Jenson：軟體對於加速計算至關重要，沒有軟體就無法開拓新市場和支援新應用。軟體是加速計算和通用計算的根本區別，大多數人花了很長時間才理解，但現在人們已經明白軟體的關鍵作用。

  • 加速計算與通用計算的區別：加速計算與通用計算有很大不同，不能簡單地用C++編譯後在所有CPU上運行。從結構化數據到非結構化數據，從經典機器學習到大語言模型，不同領域需要不同的軟體堆疊，這就是NVIDIA提供數百個軟體庫的原因。
  • NVIDIA與雲服務提供者和企業的合作：隨著生成式人工智慧使每個企業和企業軟體公司都開始採用加速計算，這些公司沒有大型工程團隊來維護和優化軟體堆疊，以便在各種環境中運行，英偉達將為他們管理、優化和調整軟體堆疊，並將其容器化為NVIDIA AI Enterprise。這個軟體堆疊類似於一個人工智慧作業系統，主要針對企業客戶。
  • NVIDIA AI Enterprise的商業模式：NVIDIA AI Enterprise被視為一個像操作系統一樣的運行時，是一個人工智慧操作系統。NVIDIA對每個GPU每年收取4500美元的費用。幾乎每個部署軟體的企業和企業軟體公司都將運行在NVIDIA AI Enterprise上，目前已經達到了10億美元的規模。
  • NVIDIA推理業務增長的支柱是軟體棧與開發者生態：NVIDIA在推理領域構建了全面的軟體棧，從基礎類庫到推理加速工具再到垂直行業應用框架，NVIDIA擁有全球最龐大、最活躍的AI開發者社區之一，易用的工具和活躍的生態加速了推理應用的落地。
  • NVIDIA架構的演進與優化：自AlexNet以來，NVIDIA架構支持了各種AI模型的演進，並持續優化軟體堆疊。最新的軟硬體發明可以快速帶到安裝基礎中，讓客戶受益，當出現革命性新技術時，NVIDIA也能創建全新功能，如專為Transformer設計的Hopper Transformer Engine。未來可能會有更多基於大語言模型的突破，NVIDIA能讓所有客戶與自己一起成長，同時在未來實現飛躍。

NVIDIA表示他們正在追蹤兩個主要的軟體與服務成長機會，分別是針對企業AI訓練的DGX Cloud服務，以及針對企業AI推論的NVIDIA AI Enterprise軟體。

長線我對AI工廠的想法：「雙元宇宙」－工業元宇宙和消費元宇宙

工業元宇宙：模擬現實，優化生產

  • 以NVIDIA Omniverse為代表的工業元宇宙平臺，其核心價值在於建構一個高度模擬的虛擬環境，使之能夠最大程度地模擬真實世界的物理規律和運轉邏輯。
  • 在這個虛擬空間中，企業可以對工廠佈局、生產流程、設備運維等進行反覆測試和優化，而無需承擔現實世界的高昂成本和安全風險。通過千百萬次的模擬，可以找到最優的解決方案。
  • 這種"虛擬孿生"的方法，使得企業能夠在投入實際生產之前，就對產品設計、工藝路線、效率瓶頸等有一個全面而精准的把握，從而大幅降低試錯成本，提升生產效率。
  • 更重要的是，這個過程並非單向的。通過在虛擬空間訓練出的模型和演算法，可以反哺到現實世界的生產控制系統中，實現從雲到端的閉環優化。工業元宇宙因此成為了連接虛擬與現實的重要紐帶。

消費元宇宙：超越現實，釋放想像

  • 與工業元宇宙不同，消費元宇宙的核心訴求在於提供一個超越物理限制的虛擬空間，讓用戶能夠自由地探索、創造、社交和娛樂。
  • 在這個空間中，物理法則不再是約束，創意和想像力才是唯一的邊界。生成式AI將成為構建這個虛擬世界的重要工具。
  • 利用DALL-E、Stable Diffusion等生成式模型，開發者可以快速、低成本地創造出豐富多彩的虛擬場景、角色、道具等，而無需嚴格遵循真實世界的物理規律。
  • 這種技術路線將大大降低虛擬內容創作的門檻，使得消費元宇宙的建設和反覆運算速度遠超傳統的3D建模方式。生成式AI也將為用戶提供更加個性化、沉浸式的虛擬體驗。

結論：兩大飛輪加持下，NVIDIA 持續挖深護城河加速 AI 發展

上次（2024/3/28）說到：本季狀況有所改變：原先的擔憂一個一個消失

  1. CAPEX 沒有影響獲利，獲利能力甚至更好
  2. 公有雲成長性全面回溫，各家都講到 AI 貢獻 + 廠商不再降低成本
  3. 競爭對手追上 (Anthropic)，不再是 OpenAI 一家領先，不能再擠牙膏
  4. 應用變現提升相關公司的現金流與獲利
  5. GenAI 開始夠好用了 (多模態 + Token 越來越多，更直觀好用可一站式解決)

人人有機會，加速競逐更好的模型，當技術到位，應用就會出現，更何況目前的市場也不會太小，而且不追逐會在下一世代被淘汰。所以LLM廠商應該會拚了、進入加速投資階段，目前傳OpenAI傳夏天推出GPT5、競爭對手Anthropic持續融資 (AMZN.GOOG)，競爭白熱化將會使這條大語言模型的追逐持續下去。

NVDA提供更強火藥庫，支持廠商持續擴大模型規模。
(只要花錢買晶片，就有機會再創建更大更好用的模型，畢竟參數量越大、Token越多，一定會越好用是事實。)

對NVDA更重要的是：從前吃不到「推論」市場，未來只有他能吃。

廠商當然不想要過度依賴NVDA，但AI就像指數成長的球賽，NVDA護城河極深仍將維持強大優勢，反而是不採用的廠商有可能會在下一輪出局。

  • 像2020前後，很多人想降低對台積電的依賴，所以分散下單，結果在2020以資料為核心的資料中心成為主體之後，如果廠商不採用台積電的先進製程+立體封裝，那被淘汰的是廠商。
  • 同理，我認為現在各家雲端業者當然希望硬體不要被NVIDIA綁架，但隨著模型越來越大、推論越來越多，且NVIDIA提供更強火藥庫使追逐更大模型成本越來越低，就很有可能推出更大模型到市場上，在有時間壓力的競合下，廠商依舊必須依靠NVDA的完整生態系，不用的將被淘汰。（尤其採GPU進行推論）

軟體將推升NVDA長線評價，創造NVDA新的飛輪效應。

  • 用「AI工廠」進行評價，PE 該被持續 re-rate。
  • 看好科技未來長期持有：NVDA、TSMC、BTC (軟體競合較激烈)

附錄 – 整理4Q23大型消費網路公司如何使用GenAI於自身業務中

GOOG：強調GenAI已成為其核心業務創新和增長的關鍵驅動力。通過將GenAI深度融入搜索、廣告、YouTube、雲計算等產品，不僅能夠顯著提升用戶體驗、幫客戶實現更大價值，還能進一步鞏固自身在AI時代的領先地位，開拓新增長空間。

  • 搜索：谷歌正在搜索結果中引入生成式AI體驗(SGE)，由Gemini大型語言模型驅動。SGE可以綜合不同的資訊源，對複雜查詢給出更準確、更全面的答案，顯著提升了用戶滿意度。CEO Sundar Pichai表示，SGE將是搜索未來發展的重要方向，有望覆蓋更多查詢類型，為用戶帶來更智能、更個性化的搜索體驗。
  • 廣告：谷歌正在利用GenAI技術為廣告客戶提供更智慧的投放優化工具。例如，新推出的Gemini驅動的廣告對話式體驗，可以幫助廣告主快速創建高質量的搜索廣告，優化投放效果。GenAI還可以提升廣告創意的自動化生成水準，降低中小企業的投放門檻。管理層認為，GenAI有望進一步提升谷歌廣告產品的核心競爭力，為客戶創造更大價值。
  • YouTube：GenAI正在為YouTube創作者賦能。通過AI輔助的創意工具，創作者可以更輕鬆地製作出高質量的視頻內容，如一鍵替換背景、智能剪輯等。未來，GenAI還有望應用到YouTube的視頻廣告創意中，幫助廣告主快速生成引人入勝的視頻廣告，觸達更多受眾。
  • 雲計算：谷歌雲的Vertex AI平臺集成了豐富的GenAI模型和工具，使企業能夠便捷地開發、部署AI應用，顯著提升開發效率。谷歌還推出了Duet AI助手，將GenAI能力引入Google Workspace，幫助企業用戶更高效地處理日常工作，如撰寫郵件、分析數據等。

META：管理層對GenAI技術在其廣告業務中的應用前景表示樂觀。他們認為GenAI在智能創意生成、投放優化、個性化體驗打造等方面具有顯著優勢，可以幫助Meta構建更加智慧、高效的廣告平臺，為企業客戶創造更大價值。同時GenAI 也有望催生出更多創新的廣告互動形式，為Meta開拓新的商業化路徑。不過公司也強調應用需要過程，會在追求提升廣告效果的同時也在乎用戶更優質的體驗。

  • 智能化廣告創意生成：蘇珊·李(Susan Li)表示，Meta已經在第四季度全面推出了基於GenAI的廣告創意工具，如Text Variations和Image Expansion。這些工具可以幫助廣告主快速生成大量多樣化的素材版本，顯著提升創意的豐富度和效果。儘管還處在早期階段，這些GenAI工具的應用已經為廣告主帶來了切實的價值提升。
  • 加強廣告投放的自動化和優化：祖克伯在回答分析師提問時指出，GenAI技術有望進一步提升Meta Advantage+系列廣告自動化工具的智慧化水準。通過引入更先進的生成式AI演算法，Advantage+有望在素材創意、投放時段、出價策略等方面實現更精細化的自動優化，從而幫助廣告主獲得更高的投資回報率。
  • 提供更加個性化的廣告體驗：祖克伯認為，GenAI技術的一大優勢在於其強大的個性化生成能力。通過學習海量用戶數據，GenAI模型可以為每個用戶生成定制化的廣告內容和互動方式，從而顯著提升廣告的吸引力和轉化效果。這種"千人千面"的智慧化營銷方式，將是Meta廣告平臺的一個重要發展方向。
  • 創造更加吸引人的廣告形式：蘇珊·李表示，Meta正在探索利用GenAI技術創造出更加生動、互動性更強的廣告形式，以提升用戶的參與度。比如，生成個性化的廣告小遊戲、虛擬試妝或虛擬試駕等沉浸式體驗，讓用戶在娛樂中自然接受品牌資訊。這些創新的廣告形態有望為Meta帶來新的收入增長點。

AMZN：亞馬遜將gen AI視為一項通用賦能技術，可以融入到公司各項業務中，從而帶來創新性的功能、更敏捷的流程和更優質的客戶體驗。公司認為Gen AI最終將為亞馬遜帶來數百上千億美元的增量市值空間。

  • 電商業務：亞馬遜推出了一款名為Rufus的AI購物助手。它利用大型語言模型結合知識圖譜，能夠理解消費者以自然語言表達的複雜購物需求，並給出高度個性化的商品推薦。Andy Jassy認為，Rufus代表了gen AI在電商搜索和推薦領域的重大創新，將顯著提升消費者的購物體驗和轉化率。
  • 廣告業務：亞馬遜正在利用gen AI自動生成個性化的廣告素材，提高投放的精准度和轉化率。這有助於吸引更多品牌商在亞馬遜平臺投放廣告，擴大廣告收入。
  • 物流業務：亞馬遜將gen AI技術應用於需求預測、倉儲調度等環節。通過對海量歷史數據和實時信號的分析，AI演算法能夠更加精准地預測未來一段時間內各個商品的銷量走勢，從而優化庫存管理和補貨策略，提高供應鏈效率。
  • 雲業務 AWS：Gen AI的應用更是無處不在。除了前面提到的AI晶片和開發平臺，AWS還將gen AI嵌入到了諸如CodeWhisperer(程式員助手)、Connect(客服對話機器人)等各個垂直場景的產品中，從而顯著提升了這些產品的智能化水準和客戶體驗。
免責聲明：本文章內容僅供投資人參考，無任何推薦與買賣邀約之情事，投資人應獨立審慎判斷，自負買賣風險謹慎投資，本網站不負任何法律責任。