人工智能浪潮席卷全球，正以前所未有的速度、廣度和深度改 變生產(chǎn)生活方式。世界主要國(guó)家紛紛將推進(jìn)人工智能技術(shù)創(chuàng)新與應(yīng) 用作為國(guó)家戰(zhàn)略的重要方向，我國(guó)高度重視人工智能在培育新質(zhì)生 產(chǎn)力、塑造新動(dòng)能方面的重要作用。當(dāng)前，人工智能正處于邁向通用 智能的初始階段，并成為推動(dòng)經(jīng)濟(jì)社會(huì)持續(xù)發(fā)展的關(guān)鍵動(dòng)力。

以Transformer架構(gòu)為基礎(chǔ)的大模型不斷取得新突破，在大數(shù)據(jù)、 大算力加持下，逐漸實(shí)現(xiàn)從單任務(wù)智能到可擴(kuò)展、多任務(wù)智能的跨 越。這一關(guān)鍵突破，標(biāo)志著人工智能技術(shù)發(fā)展走向新范式。以大模型為代表的人工智能技術(shù)展現(xiàn)出了類人智能的“涌現(xiàn)”能力，呈現(xiàn)規(guī)模可擴(kuò)展、多任務(wù)適應(yīng)及能力可塑三大特征。

一是規(guī)模可擴(kuò)展。 模型的規(guī)模可擴(kuò)展性不僅體現(xiàn)在參數(shù)的擴(kuò)大，更依賴高質(zhì)量數(shù)據(jù)集 的供給以及大規(guī)模算力集群能力的增強(qiáng)。當(dāng)前在模型參數(shù)保持不變 的情況下，提高數(shù)據(jù)質(zhì)量、擴(kuò)大數(shù)據(jù)集規(guī)模或提升算力規(guī)模水平，都能夠顯著增強(qiáng)模型的復(fù)雜性和處理能力。

二是多任務(wù)適應(yīng)。大模型支持多任務(wù)多模態(tài)能力持續(xù)增強(qiáng)，可執(zhí)行任務(wù)已經(jīng)從文本對(duì)話拓 展到多模態(tài)理解、多模態(tài)生成等場(chǎng)景。

三是能力可塑。通用大模型 在訓(xùn)練階段通過結(jié)合增量預(yù)訓(xùn)練、有監(jiān)督微調(diào)、知識(shí)圖譜等方法， 實(shí)現(xiàn)將專業(yè)數(shù)據(jù)和知識(shí)注入模型中，提升大模型在專業(yè)領(lǐng)域的應(yīng)用 能力；在推理階段，通過引入檢索增強(qiáng)生成、提示詞工程和智能體 等技術(shù)，將更豐富的上下文信息和專業(yè)知識(shí)引入模型推理過程，解 決更復(fù)雜的推理任務(wù)，優(yōu)化模型表現(xiàn)。

具體從大模型算法演進(jìn)態(tài)勢(shì)看，深挖現(xiàn)有體系架構(gòu)潛力，以實(shí) 現(xiàn)理解推理能力和訓(xùn)練效率倍增仍是當(dāng)前發(fā)展主線。模型研發(fā)主體 紛紛圍繞算法理論融合（如 Transformer 架構(gòu)與其他路線結(jié)合）和模 型改造（如擴(kuò)大上下文窗口、思維鏈復(fù)雜推理、優(yōu)化注意力模塊、 網(wǎng)絡(luò)架構(gòu)稀疏化、多模態(tài)特征對(duì)齊與統(tǒng)一理解等）展開創(chuàng)新升級(jí)， 從而提高模型性能表現(xiàn)。近期 OpenAI o1 模型通過模仿人腦思考的 思維過程，顯著提升數(shù)學(xué)、物理、編程等復(fù)雜任務(wù)的性能水平。與 此同時(shí)，非 Transformer 模型的底層算法也在不斷創(chuàng)新。例如，基于 圖神經(jīng)網(wǎng)絡(luò)的 GraphCast、GNoME 在氣象和材料領(lǐng)域已取得重大突 破，基于物理約束的 PINN 網(wǎng)絡(luò)、基于算子學(xué)習(xí)的 DeepONet 和基于 傅里葉變換的 FNO 網(wǎng)絡(luò)已成為求解偏微分方程（PDEs）的重要手段。