目前迎賓機器人“大腦”技術(shù)以大模型為核心，為迎賓機器人提供 任務(wù)級交互、環(huán)境感知、任務(wù)規劃和決策控制能力。在任務(wù)交互方面， 基于大模型的語(yǔ)言/視覺(jué)運行處理方式可為迎賓機器人提供任務(wù)級交 互入口。在環(huán)境感知方面，大模型通過(guò)對多模態(tài)信息的統一處理與靈 活轉換，推動(dòng)多模態(tài)感知泛化。在任務(wù)規劃方面，大模型潛在的真實(shí) 世界知識學(xué)習能力、強大的思考、推理和生成能力為“大腦”的任務(wù)規 劃提供基礎。在決策控制方面，迎賓機器人基于大模型技術(shù)并優(yōu)化獎 勵策略，通過(guò)整合環(huán)境、運動(dòng)等多樣化信息，實(shí)現決策控制功能。

從功能需求角度出發(fā)，迎賓機器人的“大腦”需要具備以下能力：

1 實(shí)時(shí)交互能力

迎賓機器人需要具備與人類(lèi)實(shí)時(shí)的任務(wù)級交互能力，快速理解人類(lèi)通過(guò)語(yǔ)言、手勢等方式給出的指令，并有效執行。
當出現指令理解不清或任務(wù)執行完畢后，可以與人類(lèi)進(jìn)行進(jìn)一步的多 輪交互。

2 多模態(tài)感知能力

為了在復雜環(huán)境中做出正確決策，迎賓機器人需要能夠通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種感官獲取信息。大模型需要整 合這些多模態(tài)感知數據，以實(shí)現對環(huán)境的全面理解。

3 自主可靠決策能力

迎賓機器人在執行任務(wù)時(shí)，需要能夠理解任 務(wù)的復雜性，并將其分解為一系列可執行的子任務(wù)。這要求大模型具 備強大的語(yǔ)言理解能力和對物理世界的深刻理解。例如，機器人可能 需要理解“清理房間”這一任務(wù)，包括識別哪些物品需要移動(dòng)，哪些需 要丟棄。

4 涌現和泛化能力

除了在訓練數據上的表現，大模型還應具備超 出訓練范圍的執行能力。具體表現為迎賓機器人能夠在未見(jiàn)過(guò)的新環(huán) 境中執行任務(wù)，適應新的、未知的情況。面對新挑戰時(shí)，展現出創(chuàng )新 性的解決方案。