OpenAI新AI模型GPT-4o或將重塑人機互動 教師、同聲傳譯要失業？
AI手機還會遠嗎？

當地時間5月13日10時，OpenAI首席技術官Mira Murati在全球矚目的春季發佈會上揭幕了新一代AI巨擘——GPT-4o。這款全能型AI模型以其超乎尋常的實時多模態對話能力，引發全球關注。

OpenAI首席技術官Mira Murati。

據《華爾街見聞》，GPT-4o的特性在於其高度的即時響應和表達能力，如同真實人類一般，能夠同時處理文字、圖像、視頻和語音信息，且接受和中斷對話自如。OpenAI創始人Sam Altman暗示了GPT-4o強大的擬人化能力，他在社交平台上引用了電影《Her》中的概念，預示人機交互或開啓新篇章。

電影《Her》中，男主角愛上了一個像人類一樣「有血有肉」的AI。

Murati宣佈，相較於GPT-4 Turbo，GPT-4o速度提升了兩倍，開放API接口的同時，用戶請求速率上限提升至之前的五倍。

更為引人關注的是，這一先進模型將全面免費開放，惠及ChatGPT的所有用戶，取消其他所有限制，API價格降低50%。

發佈會還展示了桌面版ChatGPT及全新用戶界面(UI)。

GPT-4o即日起逐步向用戶開放，未來還將增加語音和視頻理解等功能。

Murati稱，GPT-4o為每個用戶都提供了GPT-4級別的智能，同時還改進了GPT-4在文本、視覺以及音頻方面的能力。

借助GPT-4o，OpenAI通過跨文本、視覺和音頻端到端訓練了新模型，使得所有輸入和輸出都由同一神經網絡處理，進一步降低了延遲。

AP圖片

據稱，GPT-4o的語音響應延遲已顯著降低，平均為320毫秒，接近人類對話的反應速度。

演示環節，Murati邀研究主管Mark Chen和後訓練團隊負責人Barret Zoph共同展示了GPT-4o的強大功能，包括解方程、解讀代碼、實時翻譯，甚至能通過視頻識別面部情緒。

1）看圖指導解方程
演示中，Zoph在白板上寫了一個方程式3x+1=4，ChatGPT給他提示，引導他完成每一步解答，識別他的書寫結果，幫助他解出了X的值。

2）解讀屏幕信息
Zoph將一段Python代碼輸入ChatGPT，並讓ChatGPT用一句話總結這段代碼在做什麼。GPT回答無誤，並詳細說明瞭數據是如何被處理的。

隨後，Zoph又運行了這段代碼，GPT能夠準確地描述出所生成圖表的具體含義，包括圖表主題、XY軸信息、峰值水平。

3）實時交替翻譯
GPT還在演示中扮演了翻譯員的角色。應社交媒體X的用戶請求，Murati現場對ChatGPT說起了意大利語，GPT則將她的話翻譯成英語，轉告Zoph和Chen；聽完Murati說的意大利語，GPT再將其翻譯為英文並告訴Chen：「Mark，她（Murati）想知道鯨魚會不會說話，它們會告訴我們什麼？」 

4）通過視頻識別面部情緒
演示中，Zoph將手機舉到自己面前正對著臉，要求ChatGPT檢測他現在的情緒。最初，GPT參考了他之前分享的一張照片，將他識別為「木質表面」。經過第二次嘗試，GPT表示：「你看起來非常的開心，可能還有一點激動，看樣子你應該心情很不錯。」

Zoph贊揚了GPT的回答並表示自己正在進行一場演示，以展示「你有多不可思議」，此時GPT情緒頗為激動地表示：「快別說了！你讓我害羞了。」

這些演示彷彿證實了GPT-4o的特性，其「o」代表著「omni」，象徵著「全能」。

在後續的網絡實測視頻中，官方和用戶還探索出了GPT-4o的花樣玩法。

將老照片中的手寫字轉錄為電子文本。

共享iPad屏幕後，讓GPT實時指導教學幾何題目。

和GPT視頻玩「石頭剪刀布」。

正如Murati說，GPT-4o的發佈意味著OpenAI在大模型的易用性方面邁出了一大步，Ta正在改變人機交互的協作模式。

那麼，AI手機還會遠嗎？

此前有媒體報道透露，蘋果已經與OpenAI達成協議，將在全新操作系統iOS 18中引入ChatGPT技術，以升級Siri的對話體驗。

AP圖片

這不由令人猜想，GPT-4o和Siri將如何結合？OpenAI和蘋果會締造出具有跨時代意義的AI手機嗎？

英偉達高級研究科學家Jim Fan在X平台表示，iOS集成GPT技術可能會有三個層級：
1）放棄Siri。OpenAI為iOS提煉出更小型、純設備上的GPT-4o，並可選擇付費升級以使用雲。
2）將相機或屏幕傳輸到模型中的基礎功能。對神經音頻/視頻編解碼器的芯片級支持。
3）集成iOS系統操作API和智能家居API。Siri快捷方式是時候復活了。

有分析指出，蘋果和OpenAI的合作能夠解決彼此在發展邊緣AI方面的痛點，真正做到各取所需。

目前，有分析預測，蘋果將在6月10日的WWDC大會上官宣和OpenAI的合作夥伴關係，並推出基於蘋果LLM的AI聊天機器人。

AP圖片

令人激動的是，已經有移動端App開始接入GPT-4o了。

用於輔助盲人和弱勢群體日常生活的手機App Be My Eyes嘗試了接入GPT-4o，發現日常決策的效率被大大提高。

AP圖片

宣傳視頻顯示，一名盲人打開Be My Eyes後，能夠通過和GPT-4o對話，讓GPT詳細告訴他眼前的景象，從而快速做出決策。

有網友表示，這是GPT-4o的最佳用例，它將為視障人士創造一個全新的世界。

AP圖片

在所有演示結束後，Murati總結道：「正如大家所見，（如今的ChatGPT）真的很神奇。」

深喉

** 博客文章文責自負,不代表本公司立場 **

自拜登政府上台以來，遏制中國芯片産業發展一直是其政策重點之一。據《華爾街日報》12月22日報道，如今距離卸任只剩幾周的美國商務部長雷蒙多稱，美國試圖限制中國獲得先進半導體技術的努力並沒有阻礙中國的進步，在芯片競賽中「試圖阻撓中國是『白費工夫』（a fool's errand）」。

《華爾街日報》報道截圖

當然，雷蒙多說出這番話是替拜登任內出台的《芯片與科學法案》「賺吆喝」。該法案提出在半導體製造、研發和勞動力等方面投資近530億美元，鼓勵半導體産業到美國投資。《華爾街日報》說，雷蒙多在訪談中表示，聯邦政府對美國國內創新的資金支持「比出口管制更重要」。

美國商務部長雷蒙多。AP資料圖片

報道稱，雷蒙多認為，努力將中國排除在「敏感技術」之外仍然很重要，但對華半導體出口管制只不過使中國向全球技術主導地位邁進的步伐「减速」而已。「打敗中國的唯一方法就是走在他們前面。」她說，「我們必須跑得更快，在創新方面超越他們，這才是制勝之道。」

這並非雷蒙多首次提出這種論調。去年2月，雷蒙多在美國喬治城大學做演講時，就公開闡述過拜登政府應對半導體領域中國競爭的「兩套戰略」。

據美媒當時報道，當被問及《芯片與科學法案》以及美國對中國實施的出口管制如何影響中美關係時，雷蒙多說：「當我考慮我們與中國的競爭時，有一個進攻戰略和一個防禦戰略。防禦戰略就是出口管制，不讓中國獲得我們的超高端技術；但進攻性戰略更重要，這就是投資美國。」

美國總統拜登將《芯片與科學法案》視為其重要的政治遺産。《華爾街日報》提到，本月早些時候，民主黨人拜登自誇其《芯片與科學法案》及相關立法是「羅斯福新政以來對美國最重大的投資」。

然而，鑒於共和黨前總統特朗普明年1月就將重返白宮，拜登政府的芯片産業政策前途難料。今年10月，特朗普曾批評《芯片與科學法案》「實在糟糕」。他反對通過補貼政策鼓勵半導體企業建廠，認為這吸引到的都不是「好公司」。相反，他建議徵收高額關稅，迫使企業「自願」回流美國。

特朗普還提議，加速對投資額超過10億美元的企業項目的審批，包括豁免相關環境審查程序等，鼓勵企業投資。據悉，這有望促成軟銀一筆價值1000億美元、與人工智能（AI）等前沿技術領域相關的投資在美落地。

對此，雷蒙多承認，拜登政府的一些監管措施阻礙了美國的競爭力，但她也反駁稱，像特朗普這樣「給公司一張空白支票，讓他們為所欲為」，是「一個巨大的錯誤」。

不過，在美媒看來，《芯片與科學法案》的實施確實面臨挑戰。
《華爾街日報》指出，法案的大部分資金被分配給了大型芯片製造商，如英特爾獲得了近80億美元的聯邦補助，但這個美國半導體巨頭在追趕外國競爭對手方面表現不佳。今年8月，英特爾宣布裁員15%，並將暫停向股東派發股息，這是英特爾有史以來最大規模裁員。在連續多個季度業績不佳後，公司CEO格爾辛格本月早些時候被迫離職。

此外，分析人士也質疑，《芯片與科學法案》是否過度重視芯片製造，而對研發投入不足。美國塔夫茨大學弗萊徹學院教授、《芯片戰爭》一書的作者克里斯•米勒（Chris Miller）指出，《芯片與科學法案》劃撥資金的80%都是建廠補貼，這種「不平衡」多少有些「令人失望」。

2022年10月和2023年10月，美國商務部工業與安全局（BIS）先後出台出口管制措施，針對中國先進芯片和相關製造設備的進口，意在全面加强打壓中國半導體行業的先進制程能力。本月2日，BIS又新增136家中國實體和4家中國實體海外子公司至「實體清單」，管制範圍同樣聚焦在先進AI領域相關芯片和所需設備。
對此，中國也對美國出台了半導體相關的原材料管制措施。12月3日，中方决定加强有關兩用物項對美國出口管制，包括：禁止兩用物項對美國軍事用戶或軍事用途出口；原則上不予許可鎵、鍺、銻、超硬材料相關兩用物項對美國出口；對石墨兩用物項對美國出口，實施更嚴格的最終用戶和最終用途審查。

在3日的例行發布會上，商務部新聞發言人應詢表示，中方此舉是為了維護國家安全和利益、履行防擴散等國際義務，且根據《中華人民共和國出口管制法》等法律規定作出相關决定。

發言人提到，近年來，美方泛化國家安全概念，將經貿科技問題政治化、武器化，濫用出口管制措施，無端限制有關産品對華出口，並將多家中國企業列入制裁清單進行打壓遏制，嚴重破壞國際貿易規則，嚴重損害企業正當合法權益，嚴重破壞全球産業鏈供應鏈穩定。

「中國政府堅定不移推進高水平對外開放，堅决反對任何泛化國家安全概念的錯誤做法。中方願與有關國家和地區加强出口管制領域對話，共同促進全球産業鏈供應鏈的安全與穩定。」發言人說。

彭博社當時指出，作為數十種關鍵礦産的全球最大供應國，中國擴大出口管制將對美國相關行業造成嚴重影響。更引發這家美媒關注的是，這是中國首次複製美西方此前慣用的「治外法權」，將出口管制延伸至中國境內外的公司，將中國産品或含有中國零部件的産品納入制裁範圍。

「中國在對美國發起反制方面一向比較行動緩慢或謹慎，但現在似乎很明顯的是，中國開始放開手脚了。」總部位於北京的策緯諮詢公司（Trivium China）副總監湯姆•努尼斯特分析稱。新加坡南洋理工大學助理教授駱明輝說：「這表明……在芯片方面，中國可以打出一些牌來打擊美國。」

美國知名經濟學家、耶魯大學高級研究員斯蒂芬•羅奇則投書英國《金融時報》指出，中方的反制措施「是一次外科手術式打擊」，「將對美國的關鍵産業産生重要的戰略影響」。他警告即將上任的特朗普政府應謹慎决策，因為「中國手裏還有很多『王牌』（trump cards）」。