本發(fā)明公開一種基于圖像特征深度強(qiáng)化學(xué)習(xí)的AUV管道循管方法。首先,將AUV循管控制問題建模為連續(xù)狀態(tài)、連續(xù)動作的Markov決策過程;其次,控制策略抽象為AUV觀測狀態(tài)(攝像頭獲取的圖像)到運(yùn)動動作的映射,并利用深度神經(jīng)網(wǎng)絡(luò)表達(dá);最后,利用近端策略優(yōu)化(PPO)方法自主采集數(shù)據(jù)并訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),最終獲得具有一定泛化能力的端到端的循管控制策略。仿真結(jié)果表明,本發(fā)明能夠有效控制AUV的循管動作,而且對于新的和未知的管道幾何結(jié)構(gòu)具有較強(qiáng)的泛化能力。該方法是一種端到端(end?to?end)的視覺循管運(yùn)動控制方法,無需知曉AUV的運(yùn)動學(xué)/動力學(xué)模型,也無需人工特征提取。
聲明:
“基于圖像特征深度強(qiáng)化學(xué)習(xí)的AUV管道循管方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)