①奧爾特曼表示,“雖然說這是2026年(要考慮)的事,但它是我個人最期待的部分之一?!?②在奧爾特曼的描述遠(yuǎn)景中,擁有成熟記憶能力的ChatGPT堪稱“開了掛的超級個人AI Agent”。 ③券商指出,隨著大模型應(yīng)用普及和上下文窗口擴(kuò)展,KV Cache技術(shù)的重要性將進(jìn)一步凸顯。
《科創(chuàng)板日報》12月22日訊 “這是整個系統(tǒng)里我個人最期待的部分之一?!痹谌涨暗腂ig Technology訪談中,OpenAI CEO山姆?奧爾特曼(Sam Altman)如此形容記憶功能。在他看來,AI的下一個重大飛躍并非是更敏銳的推理能力,而是更為根本的記憶。
ChatGPT問世三年多以來,聊天界面并沒有出現(xiàn)大變動,但底層功能進(jìn)步不少,其中就包括記憶功能。
在訪談中,當(dāng)被問及“記憶功能究竟發(fā)展到什么程度”時,奧爾特曼表示,“其實我認(rèn)為我們現(xiàn)在完全無法想象它最終能發(fā)展到什么程度。人類本身是有局限的:即使你擁有世界上最好的私人助理,他們也不可能記住你說過的每一句話,不可能讀過你的每一封郵件,不可能看過你寫的每一份文件,不可能每天觀察你的所有工作并記住每一個細(xì)節(jié),也不可能以那樣的深度參與到你的生活中——沒有任何人類擁有完美無限的記憶,但AI肯定可以做到這些?!?
記憶功能是OpenAI內(nèi)部經(jīng)常討論的一個問題。目前ChatGPT雖然迭代到了5.2,但記憶功能“依然非常粗糙、非常早期”,仍處于“GPT-2時代”。
一旦AI真的能記住你整個人生的每一個細(xì)節(jié),并在此基礎(chǔ)上加以個性化——不僅能記住事實,還能察覺、捕捉并利用那些連用戶自己都沒意識到未曾刻意表達(dá)過的小偏好,AI將變得極其強(qiáng)大。
“我覺得這是一個非常令人興奮的方向。雖然說這是2026年(要考慮)的事,但它是整個系統(tǒng)中我個人最期待的部分之一。”奧爾特曼直言。
▌KV Cache重要性凸顯
此前,OpenAI已于2024年2月啟動記憶功能小范圍測試,并于2025年4月升級為可參考全部歷史對話的長期記憶系統(tǒng),能跨對話保留用戶偏好、工作內(nèi)容與常用格式,在交互中持續(xù)調(diào)用,顯著強(qiáng)化個性化服務(wù)與用戶黏性。
可以看到,在奧爾特曼的描述遠(yuǎn)景中,擁有了成熟記憶能力的ChatGPT堪稱“開了掛的超級個人AI Agent”。
根據(jù)《Heterogeneous Memory Opportunity with Agentic AI and Memory Centric Computing》(Jinin So),構(gòu)建一個強(qiáng)大的“Agentic AI”,因為自注意力機(jī)制需要對序列中的每個元素(token)與序列中所有其他元素之間的關(guān)系進(jìn)行建模,因此對內(nèi)存和存儲系統(tǒng)提出了前所未有的、多層次的需求和挑戰(zhàn)。AI記憶系統(tǒng)可以被劃分為工作記憶(處理當(dāng)前任務(wù))和長期記憶(知識、技能、經(jīng)驗)。
程序性記憶(模型本身):隨著大語言模型參數(shù)量的增長,其自身大小已達(dá)到TB級別;
語義記憶(外部知識庫):存儲外部知識的向量數(shù)據(jù)庫,其容量需求可達(dá)數(shù)十TB;
工作記憶(運行時緩存):在高并發(fā)推理時,僅KV緩存(KV Cache)一項就能消耗上百TB的內(nèi)存。
整個系統(tǒng)融合了大模型(如Gemini)、外部數(shù)據(jù)庫(如Milvus)和高速緩存機(jī)制,并通過檢索、學(xué)習(xí)等方式進(jìn)行交互,這對數(shù)據(jù)流動的帶寬和延遲提出了極高要求。
其中,“能記住用戶說過的所有話、讀完所有郵件和文檔、深度全量參與用戶生活”的AI,需要的正是“工作記憶”。廣發(fā)證券指出,AI的“工作記憶”在技術(shù)上體現(xiàn)為大模型的“上下文窗口”,它是AI進(jìn)行復(fù)雜、多步推理和決策的工作臺與基礎(chǔ)。它的核心功能是整合所有相關(guān)信息以支持連貫思考。通過將系統(tǒng)指令、歷史對話、用戶問題、外部知識(來自語義記憶)和模型的中間思路全部“盡收眼底”,大模型才能進(jìn)行全面、有深度的推理,而不是孤立地看問題。
國金證券稱,目前隨著大模型應(yīng)用的普及和上下文窗口的不斷擴(kuò)展,KV Cache技術(shù)的重要性將進(jìn)一步凸顯。無論是ChatGPT的流暢對話體驗,還是Claude的長文檔處理能力,都需要KV Cache的技術(shù)支撐。未來KV Cache將在智能化、硬件加速、邊緣部署等方向持續(xù)演進(jìn),為更廣泛的AI應(yīng)用提供強(qiáng)有力的技術(shù)支撐。智能化與硬件化趨勢明確,KV Cache有望在未來數(shù)年持續(xù)提升大模型推理效率并改善算力成本結(jié)構(gòu)。
落實到具體方向上,東方證券認(rèn)為,存儲供不應(yīng)求持續(xù),同時海外存儲巨頭在通用存儲方面的擴(kuò)產(chǎn)進(jìn)度可能有限,建議關(guān)注國內(nèi)半導(dǎo)體設(shè)備企業(yè)中微公司、京儀裝備、微導(dǎo)納米、拓荊科技、北方華創(chuàng)等;布局端側(cè)AI存儲方案的兆易創(chuàng)新、北京君正等;受益存儲技術(shù)迭代的瀾起科技、聯(lián)蕓科技等;國產(chǎn)企業(yè)級SSD及存儲方案廠商江波龍、德明利、佰維存儲等。

