「業內人士看 GenAI 發展」之三：Anthropic CEO 暢談 AI 未來

FinSight主編 的大頭貼Posted by

延續前兩篇，想繼續知道業內人士對 AI 趨勢演變的看法，因此整理相關內容並將我的看法或補充用藍色顯示。

這篇是最近大家討論很多的 Anthropic CEO 的影片：https://youtu.be/xm6jNMSFT7g?si=ftSSprOqiDuhSEHq

（影片發布於 2024/6/26，但錄製的時間應該是 6/24 Claude 3.5 Sonnet 發布之前。）

重點整理

一、AI 技術發展趨勢與 Anthropic 的最新突破

  1. AI 技術的發展趨勢仍在持續，預計未來一年內會出現更強大、智慧的大型模型。Anthropic 將推出一個新 AI 模型，有可能是目前世界上最智慧強大的模型。
  2. Anthropic 正致力於開發AI模型的可解釋性 (Interpretability)，希望能夠看清楚 AI 模型內部的運作方式，了解它們做出決策的原因。
    可解釋性目前仍在研究階段，大約只了解模型運作的 3%，但進展非常迅速。透過可解釋性，未來有機會知道模型是真的洞察問題，還是只是背答案。

補充：他說到新 AI 模型可能會在播出時發布，所以指的是 Claude 3.5 Sonnet（的確是讓人驚豔的好模型）。至於可解釋性這件事情，其實是繼續發展很關鍵的一環，畢竟生成式 AI 被詬病的就是如同黑盒子的決策，我們無法去找出優化的變因。若可以看到模型運作的可解釋性，就可以在未來使黑盒子的問題降低。

二、Anthropic 的 AI 助理 Claude 的特色

  1. Anthropic 於 2024 年發布了 Claude 3 系列模型，包括 Opus、Sonnet 和 Hiku 三個版本，分別在算力、智慧、速度和成本之間取得不同的平衡。發布時，Opus 是當時全球最強的通用型 AI 模型。
  2. Anthropic 投入大量心力設計 Claude 的性格特質，讓它的反應更有人性，減少機器人式的制式回答。Claude 的特色是溫暖、友善、更像人類，也特別強調創意寫作的能力，深受使用者歡迎。
  3. Anthropic 預計每隔幾個月就推出更強大的新版 Claude，在編程、數學、推理、生物醫學等方面不斷突破。

補充：Anthropic 的確和他說的一樣，幾個月就推出一版更強大的 Claude。

2023/3 推出 Claude；2023/4 推出 Claude 2；2024/3/5 推出 Claude 3 Opus、Sonnet、Hiku（這版評分正式超越 GPT-4）；2024/6/20 推出 Claude 3.5 Sonnet（OpenAI 推出 GPT-4o 才發布一個月又被追上）。公司表示他們預計年底之前會推出 Claude 3.5 Opus 和 Hiku（期待 3.5 Opus !!!）。然後 Claude 的人設真的比較友善，但更讚的是上下文 Token 量夠多、提示工程也夠直覺，所以互動起來會比先前的 GPT-4 輕鬆很多。

三、AI 發展可能帶來的巨大影響與變革

  1. 如果AI模型達到頂尖專家的水準，對生物醫學、藥物開發、投資交易、教育等領域都會帶來重大突破。
  2. 若 AI 普及，等於人人都有一位"幕僚長"級的助理，可大幅提升生產力。保守估計至少提高 15%。
  3. AI 可能延長人類的工作年限，若平均延長 10 年，等於多出 1/6 的勞動人口，對經濟的助益非常可觀。
  4. 大規模的生產力提升將產生通縮效應，物價將會下降。

補充：藥物開發也是黃仁勳認為 AI 應用的一大藍海。此外，未來 20 年全球將面臨非常嚴峻的人口斷崖（去年出生人口在亞洲國家較十年前減少約 30~50%），若可以多出 1/6 的勞動人口，可望填補部份缺口。

四、AI 訓練成本與晶片市場

  1. Dario Amodei 表示，Anthropic 約有 1 億美元的訓練預算 (已發布的模型)，目前正在訓練的模型已接近 10 億美元的規模。他預測 AI 訓練的規模可能在 2025~ 2027 年增加到 100 億或 1000 億美元，屆時 AI 模型的能力有機會在大多數任務上超越人類。
  2. 整個 AI 產業對晶片的需求越來越大，帶動 Nvidia 等晶片大廠股價大漲，Nvidia 市值已達 1 兆美元，是挪威主權財富基金的兩倍 (挪威主權財富基金約 1.2 兆美元，是全球最大的主權財富基金)。
  3. 龐大的晶片需求反映了市場對 AI 前景的期待。AI 公司購買算力來訓練模型，期望藉此創造更多收益，目前這個階段晶片大廠最受惠，AI 公司的商業模式尚未完全實現。樂觀的前景是，AI 模型一旦成功運用，將帶來可觀的營收，屆時對晶片的需求還會進一步擴大。
  4. 從 Nvidia 等晶片大廠的市值，可以觀察到 AI 發展的階段與趨勢。晶片大廠市值領先代表業界持續投資建置 AI 基礎設施，AI 公司市值攀升代表 AI 商業模式逐漸成形，而受惠於AI的下游產業市值提升，則是 AI 發展成熟的指標。目前產業正由第一階段過渡到第二階段。

補充：他的這個看法和前面整理的兩篇業內人士看法類似，AI 投資規模呈現指數型成長的趨勢有可能延續到 2027。但 2027 是個蠻關鍵的檢查點，因為那時 AI 模型的能力應該要在大多數任務上超越人類，若是則可能出現前兩篇講到在出現一次對數加速（到時會出現爆發式的發展），但若是沒有，則可能進入那篇說到的蕭條（因為已經提供這麼多資源與算力還沒辦法大幅突破的話，就可能需要在進入多年的演算法調整）。

不過市場上的看法的確分成兩派：

  1. 目前看不到商業模式而感到過度投資的泡沫派
  2. 預期隨指數型成長讓模型更聰明就能看到應用落地的樂觀派

我自己的話，去年因為生成式AI的本質上是黑盒子，使用上又還有許多限制，所以對於應用落地我是存在問號的，那時候的我比較傾向「技術需要長期發展，短期過度投資可能會出現短期泡沫」。

但今年隨著 OpenAI 競爭對手站上檯面，光上半年模型的推陳出新就讓應用門檻大幅降低，尤其 GPT-4o 和 Claude 3.5 的發布，在模型更聰明與價格下滑的情況下，我現在是比較樂觀傾向「隨著模型更聰明，應用將會落地」的想法，因為就算應用還沒落地，現在個人使用上就已經感受到 GenAI 的巨大威力，當然會對其充滿期待。

那我會整理這些業內的看法，就是想知道他們這些正在投資的人在想什麼。看起來大家都很像，就是目前大家都還是相信 “Scaling Hypothesis" (擴展假說)，也就是通過增加模型的規模 (包括參數數量和訓練數據)，可以持續提升模型的能力。（這是 OpenAI 和 Anthropic 的核心理念）因此認為應用會隨模型更聰明而落地，那現階段的投資就是大型雲端平台沒人輸得起的戰爭，因為一旦有人使模型夠好用而讓應用爆發，而你這家大型雲端平台不在裡面，那就可能在下個世代出局了。（像是過去網路、移動端、雲端…等典範轉移過程）

但這件事，是動態需要關注的！包含以下幾個風險：

  1. " Scaling Hypothesis"會永遠持續下去嗎？
    OpenAI 延後 GPT-5 的發表時間到 2025 年底或 2026 年初，對我而言就是「很嚴重的負面訊號」    ，我會擔心出了甚麼問題，使這個假說無法按照計畫完成。（但好險同週有 Claude 3.5 發布出來扛，假設 OpenAI 遇上內部問題，那競爭對手應該要可以超車才證明這個假說並沒有被打破）
  2. 隨著模型更聰明，應用有落地了嗎？
    畢竟投資金額越來越高，接下來應用的市場有沒有增加一定要密切關注。目前看起來隨著模型更好用，大模型的新創公司營收有呈現倍數成長，至於公有雲的廠商目前看到貢獻不多，但短期也促使企業轉雲，所以短線還算可以。至於中期，則要有更明確的營收來源，我覺得樂觀派目前對 2027 期待非常高，所以若有進展，應該可以隨著模型推出兒看到逐步的數據支撐，所以在 2025~2026 應該就要有較明確的應用出現。（今年秋季 iOS 更新後，也可以看看 Apple Edge AI 可以做到什麼程度）

五、Anthropic 取得競爭優勢的關鍵

  1. 儘管 Anthropic 是 AI 圈的後起之秀，但仍在大型語言模型的開發上取得領先地位，關鍵在於該公司旗下有許多在 Google、OpenAI 等公司的 AI 專案 (如GPT-2、GPT-3) 中擔任關鍵角色的核心研發人員。
  2. 過去開發過程中，已經體認到擴展性(Scaling)極為重要，因此該公司的策略是全力投入模型的擴展，力求在算力使用上最大化。
  3. 資料 (Data) 是 Anthropic 目前的主要瓶頸，但該公司正積極研發以合成資料 (Synthetic Data) 來突破數據瓶頸的限制，期望複製 AlphaGo Zero 的成功經驗–讓 AI 自我對弈產生所需的資料。

六、Anthropic的營運規模與策略

  1. Anthropic 目前約有 600 名員工，CEO Dario Amodei 強調在徵才時，除了技術能力外，也重視對公共利益的使命感。
  2. 員工薪資並非 Anthropic 最主要的支出，運算資源的開銷占了超過 80%。
  3. Anthropic 未來仍將持續對外募資，以因應快速發展所需的資金。

七、AI 帶來的挑戰與隱憂

  1. 目前 AI 發展存在"閉環"的隱憂，由矽谷菁英主導開發，也主要服務這個群體，恐將擴大貧富差距。
  2. Anthropic 正在探討如何運用 AI 普惠大眾，包括開發中國家，如透過生物醫療、教育、改善政府服務等方式。
  3. 如果沒有審慎因應，AI 很可能加劇貧富不均。Anthropic 希望透過有意識的努力來縮小差距。

補充：因為目前發展需要大量的資金取得大量的 GPU，先前整理史丹福大學的看法也認為閉環表現可能會比開源好。至於若 GenAI 如樂觀派的想法發展，那這場戰爭不只現在檯面上的公有雲輸不起，政府也要出來扮演關鍵角色了，因此接下來「主權 AI」的確會成為關注重點！（但政府沒有企業這麼單純，他們如果贏不了，有可能出手破壞遊戲規則，所以短期政府投資要增加，這沒問題！但中期還是要留意政府監管的風險）

八、AI 的地緣政治影響

  1. 強大的 AI 模型若落入獨裁政權手中，可能造成災難性的後果，因此由民主陣營保持領先非常重要。Amodei 認為民主國家在AI技術上保持2-3年的領先優勢是很重要的。
  2. 部分國家可能會為了國安，自行發展語言模型。民主陣營的國家應該合作，共享資源。
  3. AI 已成為國家安全議題，歐洲對美國主導 AI 發展可能有疑慮，情勢類似核武。

九、AI 業界的競爭與自律

  1. AI 業界目前的競爭態勢類似 “race to the bottom"，可能會急於搶快而忽略安全性。Anthropic 提倡 “race to the top"的概念，希望以身作則，建立嚴謹的規範，帶動業界良性競爭，吸引其他公司跟進。
  2. Anthropic建立"負責任的擴展政策" (RSP)，在推出每個新模型前評估誤用風險及自主行為風險，希望成為業界標準。
  3. 對於 AI 的監管，Dario Amodei 主張應該由業界自律做起，先建立共識、累積經驗，再循序漸進立法，切忌操之過急。
  4. Anthropic 的 RSP 可視為是業界自律的濫觴，該公司願意公開 RSP 的內容，盼能起示範作用，帶動其他同業響應。目前 Google、OpenAI 等其他 AI 公司已紛紛制定類似規範。

十、Anthropic 的使命與文化

  1. Anthropic 是一家"公共利益公司" (Public Benefit Corporation)，追求商業利益之餘，也重視社會責任，而這一點深受創辦人的家庭背景與成長經歷影響。
  2. Dario Amodei 形容 Anthropic 的企業文化是 “務實為先" (Do the stupid simple thing that works)，強調簡單有效的方法，反對不必要的複雜化，無論是工程、研發還是道德規範的制定，都秉持這個精神。
  3. 在 Anthropic 內部，Dario Amodei 主要負責大方向的構思與策略研擬，而在執行層面則由共同創辦人兼總裁 Daniela Amodei 統籌管理。兩人分工互補，在 OpenAI 時期就累積了深厚的默契。

十一、對年輕人的建議

  1. AI 將深入各行各業，建議年輕人要熟悉這些新的 AI 技術，培養對信息的懷疑和辨別能力，並學習與 AI 共事。
  2. 隨著AI產生的資訊量爆炸式增長，培養對資訊的分辨、思辨能力變得越來越重要。

補充：學習如何使用 AI，會是我們這一代人維持競爭力的方式。至於信息的懷疑和辨別能力，我覺得是目前使用 GenAI 的關鍵。

免責聲明：本文章內容僅供投資人參考，無任何推薦與買賣邀約之情事，投資人應獨立審慎判斷，自負買賣風險謹慎投資，本網站不負任何法律責任。

NVIDIA 隨手記文章：

  1. NVIDIA (NVDA) 2023Q4 財報：推理占比飆升至 40%，AI 工廠正在挖深護城河！ (2024-04-10)
  2. NVIDIA (NVDA) 2024Q1 財報：軟體賦能硬體，推論與訓練的算力需求皆顯著成長 (2024-05-24)
  3. 美銀論壇整理：NVDA 看好 Token serving 與推論業務帶來的龐大市場 (2024-06-07)
  4. NVIDIA 軟體戰略全面解析：建構未來幾年內難以撼動、既寬且深的護城河 (2024-06-19)
  5. 回顧去年 NVIDIA 論壇：長期軟體營收可望過半，創造公司成長的下個飛輪 (2024-06-25)

AI 市場報告整理 – 隨手記文章：

  1. 整理：從史丹佛大學 2024 AI 報告看長線趨勢 (2024-05-08)
  2. 微軟 CEO Nadella 專訪解讀 AI 戰略：把握歷史性機遇，推進系統創新和平台構建 (2024-05-30)
  3. 「業內人士看 GenAI 發展」之一：從 OOM 推算人工智慧的指數型發展，預測 2027 年將迎來大突破 (2024-07-03)
  4. 「業內人士看 GenAI 發展」之二：AI 推理成本將隨時間大幅下滑，創造應用落地甜蜜點？ (2024-07-05)
  5. 「業內人士看 GenAI 發展」之三：Anthropic CEO 暢談 AI 未來 (2024-07-05)

發表留言