權(quán)利要求書： 1.基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，包括：

獲取風機葉片的圖像，對獲取的風機葉片圖像進行預處理；

將風機葉片圖像輸入至多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包括多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡，首先利用多任務主干網(wǎng)絡提取風機葉片圖像的底層共享特征，之后在兩個子任務分支網(wǎng)絡中分別提取損傷位置特征以及損傷類型特征，然后分別輸出風機葉片損傷的位置以及損傷類型的識別結(jié)果；

其中，將兩個子任務分支網(wǎng)絡分別在提取損傷位置特征以及損傷類型特征時進行特征提取任務相關(guān)聯(lián)，由線性映射函數(shù)將一個分支任務的損傷高維特征映射到另一個分支任務的特征提取的標簽空間中，并通過激活函數(shù)轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，獲取損傷位置特征以及損傷類型特征分支任務兩者之間存在的相關(guān)性。

2.如權(quán)利要求1所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中的損傷位置特征以及損傷類型特征的特征提取由特征提取單元實現(xiàn)，所述特征提取單元由注意力機制、卷積層以及殘差網(wǎng)絡組成，每個特征提取單元包括三個卷積層。

3.如權(quán)利要求2所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，在特征提取單元中引入注意力機制提高風機葉片圖像特征的表達能力，對風機葉片圖像的高維特征進行提取，將注意力機制的輸出作為卷積層的輸入，通過卷積層進一步提取風機葉片圖像的空間特征，然后將卷積層輸出的特征與輸入特征相加組成殘差網(wǎng)絡。

4.如權(quán)利要求1所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，所述多任務主干網(wǎng)絡中疊加兩個特征提取單元來提取共享的網(wǎng)絡特征參數(shù)，兩個子任務分支網(wǎng)絡各自疊加兩個特征提取單元，分別用于風機葉片損傷位置識別和損傷類型識別兩個任務，根據(jù)兩個子任務空間之間存在的潛在的映射關(guān)系，通過位置識別任務的特征來推理損傷類型識別任務的結(jié)果，同時，損傷類型識別任務的特征也來推理風機葉片損傷位置識別任務的特征。

5.如權(quán)利要求1所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，在子任務分支網(wǎng)絡的輸出層融入多任務相關(guān)性單元，提取損傷位置特征以及損傷類型特征任務之間的相互關(guān)聯(lián)性，通過使用一個分支任務的標簽來訓練另一個分支任務的特征提取過程，多任務相關(guān)性單元在高維特征空間提取多任務間的潛在相關(guān)性；然后，通過設計的損失函數(shù)對映射后的結(jié)果與真實標簽之間的不一致性進行最小化處理。

6.如權(quán)利要求5所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，所述多任務相關(guān)性單元的處理過程包括：多任務相關(guān)性提取由線性映射函數(shù)實現(xiàn)，將對應損傷特征提取分支任務的高維特征映射到另一個分支任務的標簽空間，并通過激活函數(shù)將其轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，使得相關(guān)性學習單元提煉兩任務分支之間存在的相關(guān)性，然后通過自適應平均池化來抽取特征樣本。

7.如權(quán)利要求6所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，使用交叉熵損失函數(shù)作為損傷位置識別以及損傷類型識別兩個子任務的損失函數(shù)進行訓練，使用相對熵作為相關(guān)損失函數(shù)來懲罰兩個子任務分支之間的不一致性。

8.如權(quán)利要求7所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，模型訓練中參數(shù)獲取方法包括：以交叉熵損失函數(shù)，最小為目的訓練由風機葉片損傷識別主干網(wǎng)絡與損傷位置識別以及損傷類型識別分支網(wǎng)絡組成的多任務神經(jīng)網(wǎng)絡架構(gòu)，得到預訓練模型參數(shù)。

9.如權(quán)利要求7所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，其特征在于，固定預訓練模型參數(shù)，引入多任務相關(guān)性單元并訓練其關(guān)聯(lián)性權(quán)重參數(shù)，之后進行模型微調(diào)。

10.基于多任務關(guān)聯(lián)的風機葉片損傷識別系統(tǒng)，其特征在于，包括：

圖像獲取模塊，用于獲取風機葉片的圖像，對獲取的風機葉片圖像進行預處理；

特征提取模塊，用于將風機葉片圖像輸入至多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包括多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡，首先利用多任務主干網(wǎng)絡提取風機葉片圖像的底層共享特征，之后在兩個子任務分支網(wǎng)絡中分別提取損傷位置特征以及損傷類型特征；

識別結(jié)果輸出模塊，用于分別輸出風機葉片損傷的位置以及損傷類型的識別結(jié)果；

其中，將兩個子任務分支網(wǎng)絡分別在提取損傷位置特征以及損傷類型特征時進行特征提取任務相關(guān)聯(lián)，由線性映射函數(shù)將一個分支任務的損傷高維特征映射到另一個分支任務的特征提取的標簽空間中，并通過激活函數(shù)轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，獲取損傷位置特征以及損傷類型特征分支任務兩者之間存在的相關(guān)性。

說明書： 基于多任務關(guān)聯(lián)的風機葉片損傷識別方法與系統(tǒng)技術(shù)領域[0001] 本公開涉及風機葉片圖像識別技術(shù)領域，具體涉及一種基于多任務關(guān)聯(lián)的風機葉片損傷識別方法與系統(tǒng)。背景技術(shù)[0002] 本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。[0003] 隨著風力發(fā)電技術(shù)的快速發(fā)展，風力發(fā)電機作為有效利用風能的核心設施已被廣泛應用在新能源發(fā)電領域。由于外界環(huán)境與自身結(jié)構(gòu)的作用，風力發(fā)電機的葉片往往會面臨各種結(jié)構(gòu)損傷。這些損傷可能會進一步導致風機運行異常，降低發(fā)電效率，甚至造成嚴重的安全事故。[0004] 現(xiàn)有的利用視覺進行風機葉片損傷識別時，往往通過照相機、無人機機載攝像機等圖像采集設備獲取風機葉片的圖像，并進一步依據(jù)圖像進行葉片損傷識別，該任務已在風機葉片結(jié)構(gòu)健康監(jiān)測任務中廣泛使用。然而，風機葉片損傷位置識別與類型識別這兩個任務具有一定的關(guān)聯(lián)性，因為風機葉片特定的損傷往往出現(xiàn)在風機葉片特定的位置。具體來講，風機葉片的迎風面和背風面是由結(jié)構(gòu)膠粘接在一起的，因此膠衣開裂一般都會出現(xiàn)在葉片粘合處，也就是葉片的前緣（翼型在旋轉(zhuǎn)方向的最前端）和后緣（翼型在旋轉(zhuǎn)方向的最后端），統(tǒng)稱為葉緣，由于葉片表面受力面積較大，且長期暴露于復雜環(huán)境之中，容易受到惡劣環(huán)境的影響，比如風沙、冰雹等，還會遭受各種鳥類的撞擊，因此，裂紋損傷往往出現(xiàn)在風機葉片的表面。風力發(fā)電機所在地勢一般較高，而且葉片的尖端部分又是風機運行時的最高位置，葉片引下線布置于葉片內(nèi)腔之中，從葉片根部向葉片尖端部分，葉片的截面變得越來越小，引下線到葉片表面的距離也會越來越短，兩者之間的擊穿電壓也會隨之減小。同時，從葉片結(jié)構(gòu)設計來看，葉片根部到葉片尖端部分，使用的力學結(jié)構(gòu)材料逐漸減少，材料變薄也就意味著絕緣性能的相對下降，因此大部分的雷擊事故會造成葉尖部分的損傷。[0005] 發(fā)明人發(fā)現(xiàn)，現(xiàn)有的風機葉片損傷識別方法中并沒有注重風機葉片損傷位置以及類型之間的關(guān)聯(lián)性，面對大量采集到的風機葉片圖片，無法自動化高效率地進行葉片結(jié)構(gòu)損傷位置與損傷類型的識別；并且在一些風機葉片損傷檢測的場景下，往往會面臨識別任務復雜、損傷類型多樣、數(shù)據(jù)樣本匱乏等問題，導致傳統(tǒng)的面向單一檢測任務的算法在風機葉片損傷識別問題上時受到一定的限制，其識別準確率有限。發(fā)明內(nèi)容[0006] 本公開為了解決上述問題，提出了基于多任務關(guān)聯(lián)的風機葉片損傷識別方法與系統(tǒng)，通過多任務同時學習的方式，充分利用目標任務之間存在的內(nèi)在關(guān)聯(lián)性，共享不同任務學習得到的有效特征，通過含有多任務網(wǎng)絡框架的網(wǎng)絡結(jié)構(gòu)使損傷位置以及損傷類型兩個識別任務同時學習，得到準確的識別結(jié)果。[0007] 根據(jù)一些實施例，本公開采用如下技術(shù)方案：基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，包括：

獲取風機葉片的圖像，對獲取的風機葉片圖像進行預處理；

將風機葉片圖像輸入至多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包括多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡，首先利用多任務主干網(wǎng)絡提取風機葉片圖像的底層共享特征，之后在兩個子任務分支網(wǎng)絡中分別提取損傷位置特征以及損傷類型特征，然后分別輸出風機葉片損傷的位置以及損傷類型的識別結(jié)果；

其中，將兩個子任務分支網(wǎng)絡分別在提取損傷位置特征以及損傷類型特征時進行特征提取任務相關(guān)聯(lián)，由線性映射函數(shù)將一個分支任務的損傷高維特征映射到另一個分支任務的特征提取的標簽空間中，并通過激活函數(shù)轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，獲取損傷位置特征以及損傷類型特征分支任務兩者之間存在的相關(guān)性。

[0008] 根據(jù)一些實施例，本公開采用如下技術(shù)方案：基于多任務關(guān)聯(lián)的風機葉片損傷識別系統(tǒng)，包括：

圖像獲取模塊，用于獲取風機葉片的圖像，對獲取的風機葉片圖像進行預處理；

特征提取模塊，用于將風機葉片圖像輸入至多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包括多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡，首先利用多任務主干網(wǎng)絡提取風機葉片圖像的底層共享特征，之后在兩個子任務分支網(wǎng)絡中分別提取損傷位置特征以及損傷類型特征；

識別結(jié)果輸出模塊，用于分別輸出風機葉片損傷的位置以及損傷類型的識別結(jié)果；

其中，將兩個子任務分支網(wǎng)絡分別在提取損傷位置特征以及損傷類型特征時進行特征提取任務相關(guān)聯(lián)，由線性映射函數(shù)將一個分支任務的損傷高維特征映射到另一個分支任務的特征提取的標簽空間中，并通過激活函數(shù)轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，獲取損傷位置特征以及損傷類型特征分支任務兩者之間存在的相關(guān)性。

[0009] 根據(jù)一些實施例，本公開采用如下技術(shù)方案：一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時，實現(xiàn)所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法。

[0010] 根據(jù)一些實施例，本公開采用如下技術(shù)方案：一種電子設備，包括：處理器、存儲器以及計算機程序；其中，處理器與存儲器連接，計算機程序被存儲在存儲器中，當電子設備運行時，所述處理器執(zhí)行所述存儲器存儲的計算機程序，以使電子設備執(zhí)行實現(xiàn)所述的基于多任務關(guān)聯(lián)的風機葉片損傷識別方法。

[0011] 與現(xiàn)有技術(shù)相比，本公開的有益效果為：本公開提出了含有多任務主干網(wǎng)絡與兩個子任務分支網(wǎng)絡的多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型，該網(wǎng)絡框架可以同時對風機圖像中的葉片損傷位置和損傷類型進行識別。特征提取單元中采用注意力機制、卷積層和殘差網(wǎng)絡組成以增強圖像特征的提取能力。

[0012] 本公開提出了多任務相關(guān)性單元，通過將該單元融入網(wǎng)絡框架中，用來關(guān)聯(lián)兩個不同任務之間的內(nèi)在交互信息，提取兩個不同任務之間存在的關(guān)聯(lián)性，從而利用關(guān)聯(lián)性特征提高子任務的識別精度。[0013] 本公開提出了多任務交叉關(guān)聯(lián)損失訓練方法，通過設計的訓練流程使得所提出的多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡可以更好地學習兩個子任務，使得它們在學習的過程中可以相互促進，提高兩個子任務的識別精度。附圖說明[0014] 構(gòu)成本公開的一部分的說明書附圖用來提供對本公開的進一步理解，本公開的示意性實施例及其說明用于解釋本公開，并不構(gòu)成對本公開的不當限定。[0015] 圖1為本公開實施例的整體網(wǎng)絡框架示意圖；圖2為本公開實施例的多任務相關(guān)性單元的結(jié)構(gòu)示意圖；

圖3為本公開實施例EndoNet在DTU數(shù)據(jù)集下的混淆矩陣；

圖4為本公開實施例EndoNet在B30數(shù)據(jù)集下的混淆矩陣；

圖5為本公開實施例AlexNet在DTU數(shù)據(jù)集下的混淆矩陣；

圖6為本公開實施例AlexNet在B30數(shù)據(jù)集下的混淆矩陣；

圖7為本公開實施例MtDCNN在DTU數(shù)據(jù)集下的混淆矩陣；

圖8為本公開實施例MtDCNN在B30數(shù)據(jù)集下的混淆矩陣；

圖9為本公開實施例MTLNet在DTU數(shù)據(jù)集下的混淆矩陣；

圖10為本公開實施例MTLNet在B30數(shù)據(jù)集下的混淆矩陣；

圖11為本公開實施例ResNet50在DTU數(shù)據(jù)集下的混淆矩陣；

圖12為本公開實施例ResNet50在B30數(shù)據(jù)集下的混淆矩陣；

圖13為本公開實施例OursDTU在數(shù)據(jù)集下的混淆矩陣；

圖14為本公開實施例OursB30在數(shù)據(jù)集下的混淆矩陣。

具體實施方式[0016] 下面結(jié)合附圖與實施例對本公開作進一步說明。[0017] 應該指出，以下詳細說明都是例示性的，旨在對本公開提供進一步的說明。除非另有指明，本文使用的所有技術(shù)和科學術(shù)語具有與本公開所屬技術(shù)領域的普通技術(shù)人員通常理解的相同含義。[0018] 需要注意的是，這里所使用的術(shù)語僅是為了描述具體實施方式，而非意圖限制根據(jù)本公開的示例性實施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復數(shù)形式，此外，還應當理解的是，當在本說明書中使用術(shù)語“包含”和/或“包括”時，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。[0019] 實施例1本公開的一種實施例中提供了一種基于多任務關(guān)聯(lián)的風機葉片損傷識別方法，包括：

步驟一：獲取風機葉片的圖像，對獲取的風機葉片圖像進行預處理；

步驟二：將風機葉片圖像輸入至多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包括多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡，首先利用多任務主干網(wǎng)絡提取風機葉片圖像的底層共享特征，之后在兩個子任務分支網(wǎng)絡中分別提取損傷位置特征以及損傷類型特征；

步驟三：分別輸出風機葉片損傷的位置以及損傷類型的識別結(jié)果；

其中，將兩個子任務分支網(wǎng)絡分別在提取損傷位置特征以及損傷類型特征時進行特征提取任務相關(guān)聯(lián)，由線性映射函數(shù)將一個分支任務的損傷高維特征映射到另一個分支任務的特征提取的標簽空間中，并通過激活函數(shù)轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，獲取損傷位置特征以及損傷類型特征分支任務兩者之間存在的相關(guān)性。

[0020] 作為一種實施例，本公開的一種多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡實現(xiàn)對風機葉片損傷位置和類型的識別方法，通過精心設計的網(wǎng)絡結(jié)構(gòu)使得兩個任務可以同時學習，相互促進，得到準確的識別結(jié)果，具體的實施過程如下：步驟1：獲取風機葉片的圖像，對獲取的風機葉片圖像進行預處理；

步驟2：將風機葉片圖像輸入至多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包括多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡；首先利用多任務主干網(wǎng)絡提取風機葉片圖像的底層共享特征，之后在兩個子任務分支網(wǎng)絡中分別提取損傷位置特征以及損傷類型特征；

具體的，多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包含一個多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡，多任務主干網(wǎng)絡用于底層共享特征提取，兩個子任務分支網(wǎng)絡用于不同任務各自的特征提取與分類。多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中的特征提取由特征提取單元實現(xiàn)，特征提取單元由注意力機制、卷積層以及殘差網(wǎng)絡組成，每個特征提取單元包括三個卷積層。

[0021] 在特征提取單元中引入注意力機制提高圖像特征的表達能力，對圖像的高維特征進行提取，將注意力機制的輸出作為卷積層的輸入，通過卷積層進一步提取空間特征，然后將卷積層輸出的特征與輸入特征相加組成殘差網(wǎng)絡。[0022] 假定圖像輸入為 ，在特征提取單元中引入注意力機制用于提高圖像特征的表達能力，對圖像的高維度代表性特征進行提取，以此來保留圖像數(shù)據(jù)中有價值的關(guān)鍵特征。所采用的注意力機制描述如下：（1）

其中：

（2）

以上公式中， ， 為輸入向量的線性映射參數(shù)，作用是將原始輸入向量

進行特征映射。 表示對齊函數(shù)，用于衡量 與 之間的相似性，并通過

將相似性轉(zhuǎn)化為0?1的權(quán)重形式， 為注意力機制最終的輸出結(jié)果。

[0023] 將注意力機制的輸出 作為卷積層的輸入，通過卷積層進一步提取空間特征。然后，卷積輸出結(jié)果與輸入特征進行相加組成殘差網(wǎng)絡：（3）

其中，為卷積層與殘差網(wǎng)絡之后提取到的特征輸出。之后，對每個單元都通過一個批量歸一化層 和一個 非線性層進行處理，最終得到特征提取單元

的表示形式為：

（4）

其中，為提取的特征輸出， 為特征提取單元。

[0024] 基于特征提取單元，所提出的網(wǎng)絡模型分為主干部分和分支部分，多任務主干網(wǎng)絡用于提取數(shù)據(jù)中的共享特征，子任務分支網(wǎng)絡用于提取兩個任務各自獨有的特征。[0025] 多任務主干網(wǎng)絡疊加了兩個特征提取單元來提取共享的網(wǎng)絡特征參數(shù)，網(wǎng)絡可表述為：（5）

其中， 為提取的特征輸出， 為特征提取單元， 為特征提取單元的迭

代次數(shù)。

[0026] 針對不同識別任務，多任務主干網(wǎng)絡后面分成了兩個子任務分支網(wǎng)絡。兩個子任務分支網(wǎng)絡各自疊加兩個特征提取單元，分別用于風機葉片損傷位置識別和損傷類型識別兩個任務。[0027] （6）其中， 為子任務分支網(wǎng)絡提取的特征輸出， 為特征提取單元的迭代次

數(shù)。接下來通過全連接 進行線性映射，最后通過Sigmoid 激活函數(shù)將模型的輸出轉(zhuǎn)化成概率分布的形式。

[0028] （7）其中， 代表子任務分支網(wǎng)絡的分支索引， 為特征提取單元。

[0029] 由于特定的風機葉片損傷往往會出現(xiàn)在風機葉片的特定位置，因此，風機葉片損傷位置識別和損傷類型識別兩個子任務具有一定的關(guān)聯(lián)性。由于兩個子任務空間之間存在著潛在的映射關(guān)系，可以通過位置識別任務學到的特征來推理損傷識別任務的結(jié)果；相反，通過損傷識別任務學到的特征也可以用來推理位置識別任務的結(jié)果。因此，一個識別任務可以作為另外一個識別任務的參考依據(jù)，以此來促進兩個任務的識別效率與精度。[0030] 本公開設計一種多任務相關(guān)性單元，并在在子任務分支網(wǎng)絡的輸出層融入多任務相關(guān)性單元，如圖1所示，融入4個多任務相關(guān)性單元，用于更有效地提取兩個不同任務之間的相互關(guān)聯(lián)性。通過使用一個任務的標簽來訓練另一個任務的特征提取過程，相關(guān)性單元可以在高維特征空間提煉多任務間的潛在相關(guān)性。然后，通過設計的相關(guān)損失函數(shù)對映射后的結(jié)果與真實標簽之間的不一致性進行最小化處理。[0031] 設計的多任務相關(guān)性單元的具體處理過程如圖2所示，它由線性映射函數(shù)實現(xiàn)，將對應分支任務的高維特征映射到另一個分支任務的標簽空間，并通過Sigmoid激活函數(shù)將其轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，使得相關(guān)性學習單元可以更好的提煉兩任務分支之間存在的相關(guān)性。[0032] 然后，通過自適應平均池化 來抽取特征樣本，在一定程度上減少了部分參數(shù)，減輕了過擬合現(xiàn)象。最后通過Sigmoid 激活函數(shù)將模型的輸出轉(zhuǎn)化成概率分布的形式。[0033] （8）其中， , 分別代表子任務分支網(wǎng)絡的分支索引與輸出索引，

為線性相關(guān)函數(shù), 為線性相關(guān)函數(shù)的權(quán)重參數(shù)。

[0034] 使用交叉熵損失函數(shù)作為兩個分支任務的損失函數(shù)，使用相對熵作為相關(guān)損失函數(shù)來懲罰兩個分支之間的不一致性。[0035] 交叉熵損失函數(shù)主要用于度量兩個概率分布之間的信息差異和相似性。在深度學習的分類任務中，交叉熵常用于比較模型的預測結(jié)果和數(shù)據(jù)的真實標簽，隨著預測結(jié)果越來越準確，交叉熵的值會越來越小，如果預測完全正確，交叉熵的值就會變?yōu)?。[0036] 本公開使用交叉熵損失函數(shù)作為兩個識別任務的損失函數(shù)，假定為第i張圖片的標簽值，n表示位置類型，m表示損傷類型， 和 為網(wǎng)絡的輸出經(jīng)過Sigmoid激活函數(shù)激活后的值， ，

。 分別為主干網(wǎng)絡以及兩個分支網(wǎng)絡的權(quán)重，共享部分參數(shù)使用 表示，兩任務分支部分的參數(shù)分別使用 表示。兩個任務的交叉熵損失函數(shù)分別表示為：

（9）

（10）

其中：

（11）

相對熵（KullbackLeiblerDivergence，KL?divergence）可以用于測量兩個概率分布之間的差異，本專利使用KL?divergence作為相關(guān)損失函數(shù)來懲罰兩個任務之間的不一致 性。因 為K L散 度具 有非 對稱性 并且 不滿 足三 角不等 式性 質(zhì) ，故，為了更好的擬合兩個概率分布，我們將損失函數(shù)設計為：

（12）

其中，為兩個任務前期的共享參數(shù)， 為風機葉片位置分支的網(wǎng)絡權(quán)重， 為風機葉片損傷分支的網(wǎng)絡權(quán)重， ， 分別為兩個任務分支的預測輸出經(jīng)過Sigmoid激活函數(shù)激活后的結(jié)果，其中 ， ， 和 為用于平

衡KL散度的超參數(shù)，其中：

（13）

（14）

結(jié)合以上所提到的損失函數(shù)，為了能在最后一步聯(lián)合訓練的過程中更新整個網(wǎng)絡的參數(shù)，將網(wǎng)絡模型總的損失函數(shù)設計為：

（15）

其中，為樣本總數(shù)， ， ， 是用于平衡損失的超參數(shù)， 是

一個正則化項，它使用了L2正則化準則，另外參數(shù) 用于控制正則化項和損失函數(shù)之間的平衡。

[0037] 作為一種實施例，本公開模型訓練的過程為：為了充分地利用兩個任務之間的關(guān)聯(lián)性，本公開設計了整個網(wǎng)絡模型的訓練過程，以構(gòu)建高精度的多任務識別模型。具體將通過以下四個步驟來完成所提出網(wǎng)絡模型的訓練過程。

[0038] 1.數(shù)據(jù)預處理：首先對輸入圖像進行裁剪處理，獲取方形圖像數(shù)據(jù)后傳入網(wǎng)絡模型。將數(shù)據(jù)樣本分為訓練集、驗證集與測試集。[0039] 2.模型預訓練：模型參數(shù)初始化與預訓練。a）鑒于殘差塊的參數(shù)數(shù)量遠遠大于其他參數(shù)，使用ResNet50在ImageNet數(shù)據(jù)集上得到的預訓練模型初始化網(wǎng)絡模型中的卷積層與殘差模塊參數(shù)，其余參數(shù)進行隨機初始化。

[0040] b）以交叉熵損失函數(shù) ， 最小為目的訓練由主干網(wǎng)絡與分支網(wǎng)絡組成的多任務神經(jīng)網(wǎng)絡架構(gòu)，得到預訓練模型參數(shù){ }。

[0041] 3.關(guān)聯(lián)性訓練：固定預訓練模型參數(shù)，引入多任務相關(guān)性單元并訓練其關(guān)聯(lián)性權(quán)重參數(shù)。[0042] a）加載第二步中訓練好的模型參數(shù){ }，并將這些模型參數(shù)凍結(jié)。[0043] b）引入模型中的四個多任務相關(guān)性單元，使用 損失函數(shù)單獨訓練多任務相關(guān)性單元的線性相關(guān)函數(shù)的權(quán)重參數(shù) ，通過這種方式讓網(wǎng)絡模型學習到兩個任務之間的關(guān)聯(lián)信息。[0044] 4.模型微調(diào)：解凍之前凍結(jié)的模型參數(shù){ }，使用最終設計的損失函數(shù)聯(lián)合訓練整個網(wǎng)絡模型，通過微調(diào)網(wǎng)絡模型中的所有參數(shù){ }，以達到最好的識別效果。[0045] 提出的網(wǎng)絡模型以端到端的方式完成訓練，訓練過程中能夠互動地對葉片損傷位置和類型同時進行識別，通過主干網(wǎng)絡中提取到的共享特征和兩個分支各自的特征對網(wǎng)絡模型進行聯(lián)合優(yōu)化，同時通過對相關(guān)性學習單元的設計，使兩個任務分支的梯度可以流向另一個任務，從而使得兩個任務的學習可以相互受益。[0046] 實驗結(jié)果為了充分驗證模型的表現(xiàn)，選取兩個公開數(shù)據(jù)集分別對模型進行驗證，這兩個數(shù)據(jù)集分別為DTU公開數(shù)據(jù)集以及Blade30公開數(shù)據(jù)集。

[0047] 1）DTU數(shù)據(jù)集：總共包含了559張高分辨率圖像，數(shù)據(jù)集中的風機葉片損傷類型包括了膠衣開裂、裂紋、雷擊等多種常見的損傷類型。[0048] 2）Blade30數(shù)據(jù)集：由無人機拍攝的30個不同風機葉片的圖像序列組成，這30個風機葉片取自不同的風力發(fā)電機，該數(shù)據(jù)集涵蓋了1320張風機葉片圖像數(shù)據(jù)。[0049] 在本實驗中，風機葉片損傷位置的類型分為葉尖、葉緣、葉表三類；風機葉片損傷識別的類型分為膠衣開裂、裂紋、雷擊、無損傷四類。實驗中模型訓練時的一些參數(shù)設置為：圖像尺寸=224 224，批次大小=8，學習率= 、訓練輪次=200。本專利以風機葉片損傷識別任務的檢測精度為參考，將訓練時所有訓練輪次中該任務在驗證集檢測精度最高的模型文件保存下來，用于模型的測試。

[0050] 為了驗證所提出模型的優(yōu)越性，本研究選取了EndoNet、AlexNet、MtDCNN、MTLNet、ResNet50模型與所提出的模型進行對比實驗。所有實驗均在Linux操作系統(tǒng)下，使用Pytorch深度學習框架進行。實驗在DTU數(shù)據(jù)集以及Blade30數(shù)據(jù)集下，通過F1Score與混淆矩陣兩個評價指標來評估模型的性能。[0051] F1Score是評估分類任務中檢測模型性能好壞的一個重要衡量指標，它的取值為精確率和召回率的調(diào)和平均數(shù)，取值范圍從0到1:（16）

其中：

（17）

（18）

TP為模型預測結(jié)果為正類的正樣本個數(shù)，F(xiàn)P為模型預測結(jié)果為正類的負樣本個數(shù)，F(xiàn)N為模型預測結(jié)果為負類的正樣本個數(shù)。

[0052] 混淆矩陣是用于識別（分類）任務精度評估的一種標準格式，它采用矩陣形式來表示，列坐標對應為模型的預測類別，橫坐標對應為數(shù)據(jù)的真實歸屬類別?；煜仃囎鳛榭梢暬ぞ邅碓u估識別任務的精度，可以通過直觀方式將實驗結(jié)果展現(xiàn)出來。[0053] （1）F1Score實驗結(jié)果表1、表2分別給出了各對比算法分別在DTU數(shù)據(jù)集與Blade30數(shù)據(jù)集下的實驗結(jié)果。由表1、表2可知在F1score評價指標下，實驗結(jié)果最佳的皆為本專利提出的算法模型，該模型在風機葉片位置和風機葉片損傷各個類別下的F1score得分最高。這是因為所提的多任務學習模型在訓練過程中，不同分支的任務可以充分利用到另一個任務的領域知識，使得兩個任務的學習可以相互受益，因此所提的模型取得了更好的分類效果。

[0054] 表1DTU數(shù)據(jù)集下各模型的F1score比較表2Blade30數(shù)據(jù)集下各模型的F1score比較

（2）混淆矩陣實驗結(jié)果

由圖3?圖14可知，圖3為本公開實施例EndoNet在DTU數(shù)據(jù)集下的混淆矩陣；圖4為EndoNet在B30數(shù)據(jù)集下的混淆矩陣；圖5為AlexNet在DTU數(shù)據(jù)集下的混淆矩陣；圖6為AlexNet在B30數(shù)據(jù)集下的混淆矩陣；圖7為MtDCNN在DTU數(shù)據(jù)集下的混淆矩陣；圖8為MtDCNN在B30數(shù)據(jù)集下的混淆矩陣；圖9為MTLNet在DTU數(shù)據(jù)集下的混淆矩陣；圖10為MTLNet在B30數(shù)據(jù)集下的混淆矩陣；圖11為ResNet50在DTU數(shù)據(jù)集下的混淆矩陣；圖12為ResNet50在B30數(shù)據(jù)集下的混淆矩陣；圖13為OursDTU在數(shù)據(jù)集下的混淆矩陣；圖14為本OursB30在數(shù)據(jù)集下的混淆矩陣，表明在各個混淆矩陣評價指標下，本公開提出的算法模型取得了最好的實驗效果，相較于其他對比實驗，本公開提出模型的混淆矩陣中對角線概率值最高，因此所提出的模型正確分類的樣本數(shù)量最多，模型的檢測精度最高。通過混淆矩陣的實驗結(jié)果證明了本專利提出的算法模型相較于其他對比模型的優(yōu)越性。

[0055] （3）消融實驗為了更好的研究影響識別模型性能提升的因素，本公開對模型進行了消融實驗，將分別對基線模型、基線模型+相關(guān)性單元以及基線模型+相關(guān)性單元+注意力機制三種結(jié)構(gòu)進行實驗分析，然后通過各結(jié)構(gòu)的F1Score來評估不同的模型結(jié)構(gòu)對于分類任務的影響。其中，基線模型指的是兩個任務分支之間沒有任何聯(lián)系，兩任務除共享網(wǎng)絡的主干部分，網(wǎng)絡分支部分分別進行獨立的訓練學習，彼此之間互不影響；基線+相關(guān)性單元模型指的是在基線的基礎之上添加了4個多任務相關(guān)性單元；基線+相關(guān)性單元+注意力機制是在基線+相關(guān)性單元的基礎上進一步增加了注意力機制。

[0056] 在消融實驗中，表3和表4給出了以上模型分別在DTU數(shù)據(jù)集與Blade30數(shù)據(jù)集上的表現(xiàn)。由表3和表4可知，增加多任務相關(guān)性單元后，兩個任務可以分別學到另一個任務的領域知識，可以使得兩個任務分支在訓練的過程中相互促進，因此識別精度相較于基線模型得到一定提升。增加注意力機制后，網(wǎng)絡模型可以關(guān)注到圖像中更為重要的關(guān)鍵特征，因此模型的識別精度得到了進一步的提升。消融實驗進一步驗證了所提出方法的有效性與可靠性。[0057] 表3DTU數(shù)據(jù)集下的消融實驗表4Blade30數(shù)據(jù)集下的消融實驗

實施例2

本公開的一種實施例中提供了一種基于多任務關(guān)聯(lián)的風機葉片損傷識別系統(tǒng)，包括：

圖像獲取模塊，用于獲取風機葉片的圖像，對獲取的風機葉片圖像進行預處理；

特征提取模塊，用于將風機葉片圖像輸入至多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型中，所述多任務關(guān)聯(lián)神經(jīng)網(wǎng)絡模型包括多任務主干網(wǎng)絡和兩個子任務分支網(wǎng)絡，首先利用多任務主干網(wǎng)絡提取風機葉片圖像的底層共享特征，之后在兩個子任務分支網(wǎng)絡中分別提取損傷位置特征以及損傷類型特征；

識別結(jié)果輸出模塊，用于分別輸出風機葉片損傷的位置以及損傷類型的識別結(jié)果；

其中，將兩個子任務分支網(wǎng)絡分別在提取損傷位置特征以及損傷類型特征時進行特征提取任務相關(guān)聯(lián)，由線性映射函數(shù)將一個分支任務的損傷高維特征映射到另一個分支任務的特征提取的標簽空間中，并通過激活函數(shù)轉(zhuǎn)換為概率分布的形式，進而通過另一個分支任務的真實標簽對概率分布進行損失評價，獲取損傷位置特征以及損傷類型特征分支任務兩者之間存在的相關(guān)性。

[0058] 本公開是參照根據(jù)本公開實施例的方法、設備（系統(tǒng)）、和計算機程序產(chǎn)品的流程圖和／或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和／或方框圖中的每一流程和／或方框、以及流程圖和／或方框圖中的流程和／或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和／或方框圖一個方框或多個方框中指定的功能的裝置。[0059] 這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和／或方框圖一個方框或多個方框中指定的功能的步驟。[0060] 上述雖然結(jié)合附圖對本公開的具體實施方式進行了描述，但并非對本公開保護范圍的限制，所屬領域技術(shù)人員應該明白，在本公開的技術(shù)方案的基礎上，本領域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本公開的保護范圍以內(nèi)。