權(quán)利要求書: 1.一種電子內(nèi)窺鏡用處理器,其特征在于,具備:轉(zhuǎn)換單元,將n設(shè)為3以上的自然數(shù)、將m設(shè)為2以上的自然數(shù),將由n種顏色成分組成的構(gòu)成體腔內(nèi)的生物體組織的彩色圖像的各像素數(shù)據(jù)轉(zhuǎn)換為由比n種少的、所述n種顏色成分中的m種顏色成分組成的像素數(shù)據(jù);
評價值算出單元,根據(jù)由m種顏色成分組成的轉(zhuǎn)換后的所述像素數(shù)據(jù)而以所述彩色圖像的像素單位算出關(guān)于對象疾病的評價值;以及病變指數(shù)計算單元,根據(jù)計算出的所述彩色圖像的像素的評價值來計算表示關(guān)于所述對象疾病的多種病變各自的癥狀等級的病變指數(shù)。
2.一種電子內(nèi)窺鏡用處理器,其特征在于,具備:轉(zhuǎn)換單元,將n設(shè)為3以上的自然數(shù)、將m設(shè)為2以上的自然數(shù),將由n種顏色成分組成的構(gòu)成體腔內(nèi)的生物體組織的彩色圖像的各像素數(shù)據(jù)轉(zhuǎn)換為由比n種少的m種顏色成分組成的像素數(shù)據(jù);
評價值算出單元,根據(jù)由m種顏色成分組成的轉(zhuǎn)換后的所述像素數(shù)據(jù)而以所述彩色圖像的像素單位算出關(guān)于對象疾病的評價值;以及病變指數(shù)計算單元,根據(jù)計算出的所述彩色圖像的像素的評價值來計算關(guān)于所述對象疾病的多種病變各自的病變指數(shù),在由所述m種顏色成分定義的顏色空間內(nèi)設(shè)定有從規(guī)定的基準點觀察的關(guān)于所述對象疾病的基準方向,所述評價值算出單元對所述彩色圖像的各像素根據(jù)所述顏色空間中的與轉(zhuǎn)換后的所述像素數(shù)據(jù)對應(yīng)的像素對應(yīng)點從所述基準點觀察的方向與所述基準方向偏離的程度而算出關(guān)于所述對象疾病的評價值。
3.一種電子內(nèi)窺鏡用處理器,其特征在于,具備:轉(zhuǎn)換單元,將n設(shè)為3以上的自然數(shù)、將m設(shè)為2以上的自然數(shù),將由n種顏色成分組成的構(gòu)成體腔內(nèi)的生物體組織的彩色圖像的各像素數(shù)據(jù)轉(zhuǎn)換為由比n種少的m種顏色成分組成的像素數(shù)據(jù);
評價值算出單元,根據(jù)由m種顏色成分組成的轉(zhuǎn)換后的所述像素數(shù)據(jù)而以所述彩色圖像的像素單位算出關(guān)于對象疾病的評價值;以及病變指數(shù)計算單元,根據(jù)計算出的所述彩色圖像的像素的評價值來計算關(guān)于所述對象疾病的多種病變各自的病變指數(shù),在由所述m種顏色成分定義的顏色平面內(nèi)設(shè)定有通過規(guī)定的基準點的關(guān)于所述對象疾病的基準軸,所述評價值算出單元對所述彩色圖像的各像素,根據(jù)將所述基準點和與轉(zhuǎn)換后的所述像素數(shù)據(jù)對應(yīng)的像素對應(yīng)點連結(jié)的線段與所述基準軸所成的角度θ來算出關(guān)于所述對象疾病的評價值。
4.根據(jù)權(quán)利要求1至3中任一項所述的電子內(nèi)窺鏡用處理器,其特征在于,所述病變指數(shù)計算單元將多種所述病變指數(shù)的合計作為總病變指數(shù)來計算。
5.根據(jù)權(quán)利要求1至3中任一項所述的電子內(nèi)窺鏡用處理器,其特征在于,所述病變指數(shù)計算單元基于所述評價值為落入第一范圍內(nèi)的值的像素的數(shù)量來計算第一病變指數(shù),
所述病變指數(shù)計算單元基于所述評價值為落入第二范圍內(nèi)的值的像素的數(shù)量來計算第二病變指數(shù)。
6.根據(jù)權(quán)利要求1至3中任一項所述的電子內(nèi)窺鏡用處理器,其特征在于,所述電子內(nèi)窺鏡用處理器還具備有效像素判定單元,所述有效像素判定單元對所述彩色圖像的各像素根據(jù)像素值是否為滿足規(guī)定條件的值來判定該各像素是否為有效像素,所述評價值算出單元只將所述有效像素作為算出所述評價值的對象來算出所述評價值。
7.根據(jù)權(quán)利要求6所述的電子內(nèi)窺鏡用處理器,其特征在于,所述電子內(nèi)窺鏡用處理器還具備有效像素計數(shù)單元,所述有效像素計數(shù)單元計算作為被判定為是所述有效像素的像素的數(shù)量的有效像素數(shù),所述病變指數(shù)計算單元根據(jù)所述有效像素中的所述評價值來計算作為與所述多種病變的每一個對應(yīng)的像素的數(shù)量的各病變像素數(shù),針對所述多種病變的每一個,將該病變像素數(shù)相對于所述有效像素數(shù)的比率作為所述病變指數(shù)來計算。
8.根據(jù)權(quán)利要求3所述的電子內(nèi)窺鏡用處理器,其特征在于,在將所述基準軸稱為第一基準軸時,所述評價值算出單元在所述顏色平面內(nèi)設(shè)定有通過所述基準點的關(guān)于沒有所述對象疾病的正常部位的第二基準軸,
將所述第一基準軸與所述第二基準軸的交叉角度設(shè)為最大角度而將所述角度θ進行標準化來算出所述評價值。
9.根據(jù)權(quán)利要求1至3中任一項所述的電子內(nèi)窺鏡用處理器,其特征在于,轉(zhuǎn)換后的所述像素數(shù)據(jù)的m種顏色成分都是被設(shè)定為波段相互不同的顏色成分。
10.根據(jù)權(quán)利要求1或2所述的電子內(nèi)窺鏡用處理器,其特征在于,轉(zhuǎn)換后的所述像素數(shù)據(jù)的m種顏色成分優(yōu)選包含紅色成分、綠色成分和藍色成分中的至少兩種。
11.根據(jù)權(quán)利要求10所述的電子內(nèi)窺鏡用處理器,其特征在于,轉(zhuǎn)換后的所述像素數(shù)據(jù)的m種顏色成分包含所述綠色成分及所述藍色成分中的任一種顏色成分和所述紅色成分。
12.根據(jù)權(quán)利要求1至3中任一項所述的電子內(nèi)窺鏡用處理器,其特征在于,所述評價值是表示體腔內(nèi)的生物體組織的粘膜的炎癥強度的程度的值。
13.一種電子內(nèi)窺鏡系統(tǒng),其特征在于,具備:權(quán)利要求1至3中任一項所述的電子內(nèi)窺鏡用處理器;
電子鏡,被構(gòu)成為生成所述彩色圖像的數(shù)據(jù)并輸出給所述電子內(nèi)窺鏡用處理器;以及顯示裝置,被構(gòu)成為顯示由所述電子內(nèi)窺鏡用處理器求出的病變指數(shù)。
14.根據(jù)權(quán)利要求13所述的電子內(nèi)窺鏡系統(tǒng),其特征在于,所述顯示裝置被構(gòu)成為將多種所述病變各自的所述病變指數(shù)與所述彩色圖像一起顯示。
說明書: 電子內(nèi)窺鏡用處理器以及電子內(nèi)窺鏡系統(tǒng)技術(shù)領(lǐng)域[0001] 本發(fā)明涉及電子內(nèi)窺鏡用處理器以及電子內(nèi)窺鏡系統(tǒng)。背景技術(shù)[0002] 病變部通常呈現(xiàn)與正常的粘膜組織不同的顏色。通過提高彩色內(nèi)窺鏡裝置的性能,也能夠識別顏色與正常組織稍微不同的病變部。但是,為了手術(shù)者能夠根據(jù)內(nèi)窺鏡圖像
上的微小的顏色不同而從正常組織準確地識別病變部,需要在熟練者的指導(dǎo)下接受長時間
的訓(xùn)練。另外,即使是熟練的手術(shù)者,從微小的顏色差異識別病變部也并不容易,要求慎重
的作業(yè)。因此,為了使血管、病變部的識別變?nèi)菀祝岢隽司邆鋵κ褂冒咨馀臄z而得的內(nèi)
窺鏡圖像數(shù)據(jù)進行增強顏色差異的顏色轉(zhuǎn)換處理的功能的電子內(nèi)窺鏡系統(tǒng)(專利文獻1)。
[0003] 現(xiàn)有技術(shù)文獻[0004] 專利文獻[0005] 專利文獻1:日本特開2009-106424號公報發(fā)明內(nèi)容[0006] 發(fā)明要解決的技術(shù)問題[0007] 專利文獻1的電子內(nèi)窺鏡系統(tǒng)生成的圖像盡管與通常的內(nèi)窺鏡圖像相比容易識別病變部等,但是,由于正常的粘膜組織與病變部等的邊界處的顏色的變化是連續(xù)的,另外根
據(jù)疾病的種類而與正常的粘膜組織的顏色差異微小,因此也仍然存在經(jīng)驗淺的手術(shù)者難以
識別病變部等的情況。另外,即使在使用了專利文獻1的電子內(nèi)窺鏡系統(tǒng)的情況下,是否為
病變部的判斷最終全憑依賴于手術(shù)者的經(jīng)驗、知識的讀取圖像技能,不能得到客觀且具有
再現(xiàn)性(不依賴于手術(shù)者的技術(shù))的檢查結(jié)果。
[0008] 用于解決技術(shù)問題的方案[0009] 本發(fā)明的一實施方式涉及的電子內(nèi)窺鏡用處理器具備:轉(zhuǎn)換單元,將由n(n≥3)種顏色成分組成的構(gòu)成體腔內(nèi)的生物體組織的彩色圖像的各像素數(shù)據(jù)轉(zhuǎn)換為由比n種少的m
(m≥2)種顏色成分組成的像素數(shù)據(jù);評價值算出單元,根據(jù)轉(zhuǎn)換后的由m種顏色成分組成的
像素數(shù)據(jù)而以像素單位算出關(guān)于對象疾病的評價值;以及病變指數(shù)計算單元,根據(jù)計算出
的各像素的評價值來計算關(guān)于對象疾病的多種病變各自的病變指數(shù)。
[0010] 根據(jù)本發(fā)明的一實施方式,病變指數(shù)計算單元優(yōu)選構(gòu)成為將多種病變指數(shù)的合計作為總病變指數(shù)來計算。
[0011] 另外,根據(jù)本發(fā)明的一實施方式,病變指數(shù)計算單元優(yōu)選采用如下結(jié)構(gòu):基于由評價值算出單元計算出的評價值為落入第一范圍內(nèi)的值的像素的數(shù)量來計算第一病變指數(shù),
并基于該評價值為落入第二范圍內(nèi)的值的像素的數(shù)量來計算第二病變指數(shù)。
[0012] 另外,根據(jù)本發(fā)明的一實施方式,所述電子內(nèi)窺鏡用處理器優(yōu)選采用如下結(jié)構(gòu):還具備有效像素判定單元,該有效像素判定單元對所述彩色圖像的各像素根據(jù)像素值是否為
滿足規(guī)定條件的值來判定是否為有效像素。在這種情況下,所述評價值算出單元優(yōu)選只將
所述有效像素作為算出所述評價值的對象來算出所述評價值。
[0013] 另外,根據(jù)本發(fā)明的一實施方式,所述電子內(nèi)窺鏡用處理器優(yōu)選采用如下結(jié)構(gòu):還具備有效像素計數(shù)單元,其計算已被判定為是有效像素的像素的數(shù)量即有效像素數(shù)。在該
情況下,病變指數(shù)計算單元優(yōu)選根據(jù)所述有效像素中的所述評價值來計算與多種病變的每
一個對應(yīng)的像素的數(shù)量即各病變像素數(shù),針對多種病變的每一個,將該病變像素數(shù)相對于
有效像素數(shù)的比率作為病變指數(shù)來計算。
[0014] 另外,根據(jù)本發(fā)明的一實施方式,所述電子內(nèi)窺鏡用處理器優(yōu)選采用如下結(jié)構(gòu):還具備顏色成分校正單元,其使用規(guī)定的顏色成分校正系數(shù)來校正通過轉(zhuǎn)換單元轉(zhuǎn)換后的由
m種顏色成分構(gòu)成的像素數(shù)據(jù)。在該情況下,評價值算出單元優(yōu)選采用如下結(jié)構(gòu):基于由顏
色成分校正系數(shù)校正后的由m種顏色成分構(gòu)成的像素數(shù)據(jù)來以像素單位算出關(guān)于對象疾病
的評價值。
[0015] 另外,根據(jù)本發(fā)明的一實施方式,顏色成分校正系數(shù)優(yōu)選為例如對由m種顏色成分構(gòu)成的像素數(shù)據(jù)進行校正的規(guī)定的校正矩陣系數(shù)。
[0016] 另外,根據(jù)本發(fā)明的一實施方式,優(yōu)選的是,所述評價值算出單元在由所述m種顏色成分定義的顏色空間內(nèi)設(shè)定有從規(guī)定的基準點觀察的關(guān)于所述對象疾病的基準方向,對
所述彩色圖像的各像素根據(jù)所述顏色空間中的與所述轉(zhuǎn)換后的像素數(shù)據(jù)對應(yīng)的像素對應(yīng)
點從所述基準點觀察的方向與所述基準方向偏離的程度而算出關(guān)于所述對象疾病的評價
值。
[0017] 另外,根據(jù)本發(fā)明的一實施方式,評價值算出單元優(yōu)選采用如下結(jié)構(gòu):在由m種顏色成分定義的顏色平面內(nèi)設(shè)定有通過規(guī)定的基準點的、關(guān)于所述對象疾病的基準軸,對所
述彩色圖像的各像素,根據(jù)將所述基準點和與所述轉(zhuǎn)換后的像素數(shù)據(jù)對應(yīng)的像素對應(yīng)點連
結(jié)的線段與該基準軸所成的角度來算出關(guān)于對象疾病的評價值。
[0018] 另外,根據(jù)本發(fā)明的一實施方式,優(yōu)選的是,在將所述基準軸稱為第一基準軸時,[0019] 所述評價值算出單元在所述顏色平面內(nèi)設(shè)定有通過所述基準點的、關(guān)于沒有所述對象疾病的正常部位的第二基準軸,
[0020] 將所述第一基準軸與所述第二基準軸的交叉角度設(shè)為最大角度而將所述角度θ進行標準化來算出所述評價值。
[0021] 另外,根據(jù)本發(fā)明的一實施方式,轉(zhuǎn)換單元優(yōu)選采用將由n種顏色成分定義的顏色空間中的各像素的像素數(shù)據(jù)正投影到顏色平面的結(jié)構(gòu)。
[0022] 另外,根據(jù)本發(fā)明的一實施方式,基準軸優(yōu)選是例如表示針對對象疾病的癥狀等級最高的炎癥部位的軸。
[0023] 另外,根據(jù)本發(fā)明的一實施方式,所述評價值優(yōu)選是表示體腔內(nèi)的生物體組織的粘膜的炎癥強度的程度的值。在該情況下,在所述評價值中,將不存在粘膜、下部組織露出、
開孔的潰瘍除外。因此,所述評價值是表示存在粘膜、該粘膜粗糙的狀態(tài)的強度的程度的
值。
[0024] 另外,根據(jù)本發(fā)明的一實施方式,優(yōu)選所述轉(zhuǎn)換后的像素數(shù)據(jù)的m種顏色成分都是被設(shè)定為波段相互不同的顏色成分。
[0025] 所述轉(zhuǎn)換后的像素數(shù)據(jù)的m種顏色成分優(yōu)選包含紅色成分(波長620~750nm)、綠色成分(波長495~570nm)和藍色成分(波長450~495nm)中的至少兩種。在這種情況下,優(yōu)
選所述轉(zhuǎn)換后的像素數(shù)據(jù)的m種顏色成分包含所述紅色成分、所述綠色成分以及所述藍色
成分中的任一種顏色成分。
[0026] 另外,根據(jù)本發(fā)明的一實施方式,顏色平面優(yōu)選為包含例如紅色(R)成分的軸和綠色(G)成分的軸的平面。
[0027] 另外,根據(jù)本發(fā)明的一實施方式,所述電子內(nèi)窺鏡用處理器優(yōu)選采用如下結(jié)構(gòu):還具備生成基于各像素的評價值而變更了該各像素的顏色的疊加圖像的疊加圖像生成單元。
[0028] 另外,根據(jù)本發(fā)明的一實施方式,所述電子內(nèi)窺鏡用處理器優(yōu)選采用如下結(jié)構(gòu):還具備使病變指數(shù)顯示于顯示裝置的顯示畫面的顯示單元。該顯示單元優(yōu)選采用使彩色圖像
和疊加圖像并排顯示于顯示裝置的一個畫面內(nèi)的結(jié)構(gòu)。
[0029] 另外,根據(jù)本發(fā)明的一實施方式,所述電子內(nèi)窺鏡用處理器優(yōu)選采用如下結(jié)構(gòu):還具備攝像位置獲取單元和報告輸出單元,該攝像位置獲取單元獲取對彩色圖像進行了攝像
的位置的信息,該報告輸出單元將使用表、曲線圖和示意圖中的至少一種來表示對彩色圖
像進行了攝像的多個位置與在該位置拍攝到的彩色圖像的病變指數(shù)的關(guān)系的報告輸出給
輸出裝置。
[0030] 另外,本發(fā)明的一實施方式所涉及的電子內(nèi)窺鏡系統(tǒng)具備:上述的電子內(nèi)窺鏡用處理器;被構(gòu)成為生成彩色圖像的數(shù)據(jù)并輸出給電子內(nèi)窺鏡用處理器的電子鏡;以及被構(gòu)
成為顯示由電子內(nèi)窺鏡用處理器求出的病變指數(shù)的顯示裝置。
[0031] 另外,根據(jù)本發(fā)明的一實施方式,所述顯示裝置優(yōu)選構(gòu)成為將多種所述病變各自的所述病變指數(shù)與所述彩色圖像一起顯示。
[0032] 另外,根據(jù)本發(fā)明的一實施方式,優(yōu)選從顏色成分中除去色相和彩度。[0033] 發(fā)明效果[0034] 根據(jù)上述的電子內(nèi)窺鏡用處理器以及電子內(nèi)窺鏡系統(tǒng),能夠容易地進行病變部與正常部的正確辨別。
附圖說明[0035] 圖1是示出本發(fā)明的一實施方式所涉及的電子內(nèi)窺鏡系統(tǒng)的概略結(jié)構(gòu)的框圖。[0036] 圖2是示出本發(fā)明的一實施方式所涉及的圖像處理單元的概略結(jié)構(gòu)的框圖。[0037] 圖3是示出圖像存儲器224的存儲區(qū)域的概略結(jié)構(gòu)的圖。[0038] 圖4是示出存儲器226的存儲區(qū)域的概略結(jié)構(gòu)的圖。[0039] 圖5是示出圖像處理單元進行的處理的步驟的流程圖。[0040] 圖6是在TE處理中使用的增益曲線的一例。[0041] 圖7是示出有效像素判定處理的步驟的流程圖。[0042] 圖8是示出炎癥強度算出處理的步驟的流程圖。[0043] 圖9是示出描繪像素對應(yīng)點的RG平面的圖。[0044] 圖10是對在RG平面內(nèi)設(shè)定的基準軸進行說明的圖。[0045] 圖11是示出病變指數(shù)計算處理的步驟的流程圖。[0046] 圖12是通過畫面顯示處理而生成的顯示畫面的一例。[0047] 圖13是在報告輸出處理中印刷的報告畫面。具體實施方式[0048] 下面,參照附圖來對本發(fā)明的實施方式進行說明。在以下,作為本發(fā)明的一實施方式,以電子內(nèi)窺鏡系統(tǒng)為例進行說明。
[0049] 圖1是示出本發(fā)明的一實施方式所涉及的電子內(nèi)窺鏡系統(tǒng)1的概略結(jié)構(gòu)的框圖。如圖1所示,本實施方式的電子內(nèi)窺鏡系統(tǒng)1具備:電子鏡100、電子內(nèi)窺鏡用處理器200、監(jiān)視
器300以及打印機400。
[0050] 電子內(nèi)窺鏡用處理器200具備系統(tǒng)控制器202和定時控制器206。系統(tǒng)控制器202執(zhí)行存儲在存儲器204中的各種程序,綜合控制電子內(nèi)窺鏡系統(tǒng)1的整體。另外,系統(tǒng)控制器
202根據(jù)輸入到操作面板208的來自用戶(手術(shù)者或輔助者)的指示來變更電子內(nèi)窺鏡系統(tǒng)1
的各種設(shè)定。定時控制器206將調(diào)整各部的動作定時的時鐘脈沖輸出給電子內(nèi)窺鏡系統(tǒng)1內(nèi)
的各種電路。
[0051] 另外,電子內(nèi)窺鏡用處理器200具備向電子鏡100的LCB(光導(dǎo)束)102供給作為白色光束的照明光的光源裝置230。光源裝置230具備燈232、燈電源234、聚光透鏡236以及調(diào)光
裝置240。燈232是從燈電源234接受驅(qū)動電力的供給而放射照明光的高亮度燈,例如使用氙
燈、金屬鹵化物燈、汞燈或鹵素燈。燈232放射的照明光被聚光透鏡236聚光后,經(jīng)由調(diào)光裝
置240而被導(dǎo)入LCB102。
[0052] 需要說明的是,燈232也可以替換為LD(LaserDiode:激光二極管)或LED(LightEmittingDiode:發(fā)光二極管)等半導(dǎo)體發(fā)光元件。關(guān)于半導(dǎo)體發(fā)光元件,與其它光源相比,
具有低功耗、發(fā)熱量小等特征,因此具有能夠在抑制功耗和發(fā)熱量的同時獲取明亮的圖像
的優(yōu)點。能夠獲取明亮的圖像與使后述的關(guān)于炎癥的評價值的精度提高相關(guān)聯(lián)。半導(dǎo)體發(fā)
光元件不局限于處理器200,也可以內(nèi)置于電子鏡100。作為一例,半導(dǎo)體發(fā)光元件也可以設(shè)
置在電子鏡100的前端部內(nèi)。
[0053] 調(diào)光裝置240是基于系統(tǒng)控制器202的控制來調(diào)整導(dǎo)入LCB102的照明光的光量的裝置,具備光圈242、馬達243以及驅(qū)動器244。驅(qū)動器244生成用于驅(qū)動馬達243的驅(qū)動電流,
并供給至馬達243。光圈242由馬達243驅(qū)動,使照明光通過的開口變化來調(diào)整通過開口的照
明光的光量。
[0054] 從入射端導(dǎo)入LCB102的照明光在LCB102內(nèi)傳播,從配置于電子鏡100的前端的LCB102的射出端射出后,經(jīng)由配光透鏡104而照射到被攝體。來自被攝體的反射光經(jīng)由物鏡
106而在固體攝像元件108的受光面上連結(jié)光學(xué)像。
[0055] 固體攝像元件108是在受光面配置有IR(InfraRed:紅外)截止濾光片108a、拜耳陣列濾色片108b等各種濾光片的單板式彩色CCD(Charge?CoupledDevice:電荷耦合器件)
圖像傳感器,生成與在受光面上成像的光學(xué)像相應(yīng)的三原色R、G、B各色的攝像信號。所生成
的攝像信號在設(shè)置于電子鏡100的連接部內(nèi)的驅(qū)動器信號處理電路112中被放大后轉(zhuǎn)換為
由亮度信號Y以及色差信號Cb、Cr構(gòu)成的圖像信號,進一步被轉(zhuǎn)換為數(shù)字信號之后被發(fā)送至
電子內(nèi)窺鏡用處理器200的圖像處理單元220。另外,驅(qū)動器信號處理電路112訪問存儲器
114而讀出電子鏡100的固有信息。記錄在存儲器114中的電子鏡100的固有信息例如包括固
體攝像元件108的像素數(shù)、靈敏度、可動作的幀率等。驅(qū)動器信號處理電路112將從存儲器
114中讀出的固有信息輸出給系統(tǒng)控制器202。
[0056] 原色系(RGB)濾光片與補色系濾光片相比顯色性良好。因此,若將由搭載有原色系濾光片的攝像元件產(chǎn)生的RGB形式的圖像信號用于后述的關(guān)于炎癥的評價值的計算,則能
夠使其評價精度提高。另外,通過使用原色系濾光片,在關(guān)于炎癥的評價值的計算處理中不
需要進行信號的轉(zhuǎn)換。因此,能夠抑制評價計算的處理負荷。
[0057] 系統(tǒng)控制器202基于電子鏡100的固有信息而進行各種運算,生成控制信號。系統(tǒng)控制器202使用所生成的控制信號來控制電子內(nèi)窺鏡用處理器200內(nèi)的各種電路的動作和
定時,以進行適合于與電子內(nèi)窺鏡用處理器200連接的電子鏡100的處理。
[0058] 定時控制器206根據(jù)系統(tǒng)控制器202的定時控制而向驅(qū)動器信號處理電路112和圖像處理單元220供給時鐘脈沖。驅(qū)動器信號處理電路112根據(jù)從定時控制器206供給的時鐘
脈沖,以與在電子內(nèi)窺鏡用處理器200側(cè)處理的影像的幀率同步的定時對固體攝像元件108
進行驅(qū)動控制。
[0059] 電子內(nèi)窺鏡用處理器200的圖像處理單元220在系統(tǒng)控制器202的控制之下,基于從電子鏡100的驅(qū)動器信號處理電路112發(fā)送來的圖像信號而生成用于監(jiān)視顯示內(nèi)窺鏡圖
像等的視頻信號,并輸出給作為顯示裝置的監(jiān)視器300。手術(shù)者一邊確認監(jiān)視器300上所顯
示的內(nèi)窺鏡圖像,一邊進行例如消化管內(nèi)的觀察、治療。另外,圖像處理單元220基于圖像信
號而生成用于打印輸出后述的報告畫面的報告輸出信號(打印信號),并輸出給打印機400。
[0060] 電子內(nèi)窺鏡用處理器200經(jīng)由網(wǎng)絡(luò)接口210以及網(wǎng)絡(luò)500而與服務(wù)器600連接。電子內(nèi)窺鏡用處理器200從服務(wù)器600獲取關(guān)于內(nèi)窺鏡檢查的信息(例如,患者的電子病歷信息
或手術(shù)者的信息)并顯示于監(jiān)視器300、操作面板208,將內(nèi)窺鏡檢查結(jié)果(內(nèi)窺鏡圖像數(shù)據(jù)、
檢查條件、后述的圖像分析結(jié)果、手術(shù)者所見等)發(fā)送到服務(wù)器600并進行蓄積。
[0061] 另外,電子內(nèi)窺鏡系統(tǒng)1具備將多個內(nèi)窺鏡圖像的靜態(tài)圖像與攝像部位(即,攝像時的電子鏡100的前端部的位置(插入長度))的信息相關(guān)聯(lián)地進行記錄的功能。在電子鏡
100的插入部130的外周,在長度方向上以等間隔(例如5cm間隔)設(shè)置有多個光傳感器132。
光傳感器132是光電二極管等受光元件,檢測外部光(進行內(nèi)窺鏡檢查的房間的室內(nèi)照明)。
設(shè)置于插入部130的插入消化管內(nèi)的部分的光傳感器132不檢測外部光,設(shè)置于未插入消化
管內(nèi)的部分的光傳感器132檢測外部光。因此,通過將未檢出光的光傳感器的分布長度判定
為已插入到消化管內(nèi)的插入部130的長度,能夠獲取電子鏡100前端部的位置(插入長度)的
信息。光傳感器132與驅(qū)動器信號處理電路112連接,將表示檢測出的光量的傳感器信號發(fā)
送到驅(qū)動器信號處理電路112。驅(qū)動器信號處理電路112根據(jù)來自光傳感器132的傳感器信
號來計算電子鏡100的前端部的位置(插入長度)Pos。
[0062] 另外,當對電子鏡100的操作部120進行指示獲取靜態(tài)圖像的用戶操作時,從操作部120向驅(qū)動器信號處理電路112發(fā)送操作信號。當從操作部120中獲取靜態(tài)圖像獲取的操
作信號時,系統(tǒng)控制器202將獲取靜態(tài)圖像的指令與當前的電子鏡100前端部的位置信息
(插入長度)Pos一起發(fā)送到圖像處理單元220。由此,在圖像處理單元220中,與攝像時的電
子鏡100的位置信息Pos相關(guān)聯(lián)地記錄內(nèi)窺鏡觀察圖像的靜態(tài)圖像。稍后說明圖像處理單元
220記錄靜態(tài)圖像的處理的詳情。
[0063] 圖2是示出圖像處理單元220的概略結(jié)構(gòu)的框圖。圖像處理單元220包括:第一圖像處理電路222、圖像存儲器224、存儲器226以及第二圖像處理電路228。第一圖像處理電路
222對來自驅(qū)動器信號處理電路112的圖像信號實施各種圖像處理,并輸出給圖像存儲器
224。
[0064] 如圖2所示,第一圖像處理電路222具備:RGB轉(zhuǎn)換部222a、TE處理部222b、有效像素判定部222c、顏色空間轉(zhuǎn)換部222d、炎癥強度算出部222e以及疊加處理部222f。另外,第二
圖像處理電路228具備:病變指數(shù)計算部228a、顯示畫面生成部228b以及報告生成部228c。
關(guān)于第一圖像處理電路222及第二圖像處理電路228的各部進行的具體處理將在后面敘述。
[0065] 圖3是示出圖像存儲器224所具備的存儲區(qū)域的概略結(jié)構(gòu)的圖。在本實施方式的圖像存儲器224中設(shè)置有七個存儲區(qū)域組Pk(k=0~6)。各存儲區(qū)域組Pk具備:分別存儲通常
觀察圖像數(shù)據(jù)N的三原色信號R、G、B的通常圖像存儲器區(qū)域knR、knG、knB(k=0~6)、分別存
儲由后述的TE處理S3生成的色調(diào)增強圖像數(shù)據(jù)E的原色信號R’、G’、B’的色調(diào)增強圖像存儲
器區(qū)域keR、keG、keB(k=0~6)、分別存儲由后述的疊加處理S7生成的疊加圖像數(shù)據(jù)S的三
原色信號R”、G”、B”的疊加圖像存儲器區(qū)域ksR、ksG、ksB(k=0~6)。即,圖像存儲器224能夠
將通常觀察圖像數(shù)據(jù)N、色調(diào)增強圖像數(shù)據(jù)E和疊加圖像數(shù)據(jù)S的數(shù)據(jù)組存儲為最大七組。圖
像存儲器224被構(gòu)成為按照系統(tǒng)控制器202的控制而使從第一圖像處理電路222輸出的圖像
數(shù)據(jù)(通常觀察圖像數(shù)據(jù)N、色調(diào)增強圖像數(shù)據(jù)E或疊加圖像數(shù)據(jù)S)存儲在存儲區(qū)域組P0~
P6的任一個中。另外,在存儲區(qū)域P0上覆蓋從第一圖像處理電路222中依次輸出的圖像數(shù)
據(jù),始終保持構(gòu)成實時動畫的圖像數(shù)據(jù)。另一方面,只在從系統(tǒng)控制器202中發(fā)出了指令時,
從第一圖像處理電路222中輸出的圖像數(shù)據(jù)被寫入存儲區(qū)域組P1~P6中。即,在圖像存儲器
224中能夠記錄最多6張靜態(tài)圖像。
[0066] 圖4是示出存儲器226所具備的存儲區(qū)域的概略結(jié)構(gòu)的圖。存儲器226具備:RGB矩陣存儲區(qū)域226a、標志存儲區(qū)域226b、設(shè)定信息存儲區(qū)域226c、病變指數(shù)存儲區(qū)域組226d、
校正矩陣存儲區(qū)域226e以及顏色信息存儲區(qū)域226f。在RGB矩陣存儲區(qū)域226a中存儲在后
述的RGB轉(zhuǎn)換處理S1中使用的RGB轉(zhuǎn)換矩陣系數(shù)M1,在標志存儲區(qū)域226b中存儲在第一圖像
處理電路222的處理中使用的標志表T1。另外,標志表T1是由表示關(guān)于構(gòu)成圖像數(shù)據(jù)的各像
素(x,y)的分析結(jié)果的標志f(x,y)構(gòu)成的數(shù)值表。在設(shè)定信息存儲區(qū)域226c中記錄有圖像
處理單元220中的處理所使用的各種設(shè)定值。另外,在病變指數(shù)存儲區(qū)域組226d中設(shè)置有與
圖像存儲器224的存儲區(qū)域組Pk(k=0~6)對應(yīng)的七個存儲區(qū)域組Qk(k=0~6)。在各存儲
區(qū)域組Qk中記錄有作為存儲在對應(yīng)的存儲區(qū)域組Pk中的圖像的分析結(jié)果的病變指數(shù)IdxR、
IdxW、IdxT。
[0067] 白平衡校正只利用無彩色軸上的一點(例如白色)進行顏色校正。因此,在進行以炎癥等具有有彩色的部位為對象的評價的情況下,僅通過白平衡校正,難以抑制由電子內(nèi)
窺鏡系統(tǒng)1(主要是電子鏡100的光學(xué)部件)的個體差異引起的評價值偏差。因此,在校正矩
陣存儲區(qū)域226e中存儲有用于抑制這種偏差的校正矩陣系數(shù)M2。
[0068] 另外,在顏色信息存儲區(qū)域226f中存儲有在后述的疊加處理S7中生成疊加圖像所需的數(shù)據(jù)。
[0069] 需要說明的是,存儲區(qū)域組Pk和Qk(k=1~6)分別與電子鏡100的前端部的位置信息(插入長度)Pos的值相關(guān)聯(lián)。具體而言,存儲區(qū)域組P1及Q1與相當于檢查范圍的最深部
(例如橫行結(jié)腸的右結(jié)腸曲附近)的插入長度Pos的范圍相對應(yīng),k值越大,則對應(yīng)的插入長
度Pos越短,存儲區(qū)域組P6及Q6與相當于直腸附近的插入長度Pos的范圍相對應(yīng)。即,當從檢
查范圍的最深部拔出電子鏡100的插入部130的同時獲取靜態(tài)圖像時,按照獲取的順序在k
=1~6的存儲區(qū)域記錄靜態(tài)圖像。規(guī)定位置信息Pos與存儲區(qū)域組Pk、Qk(k=1~6)的對應(yīng)
關(guān)系的設(shè)定信息記錄在設(shè)定信息存儲區(qū)域226c中。根據(jù)圖像數(shù)據(jù)的位置信息Pos(攝像時的
電子鏡100前端部的位置)來決定記錄圖像數(shù)據(jù)的存儲區(qū)域組Pk、Qk。
[0070] 第二圖像處理電路228使用存儲在圖像存儲器224中的圖像信號來生成監(jiān)視器顯示用的視頻信號,并輸出給監(jiān)視器300。另外,第二圖像處理電路228使用存儲在圖像存儲器
224中的圖像信號、存儲在存儲器226中的病變指數(shù)(后述)來生成后述的報告輸出信號(打
印信號)并輸出給打印機400。
[0071] 接著,說明圖像處理單元220進行的處理的詳情。圖5是示出圖像處理單元220進行的處理的步驟的流程圖。當圖像處理單元220的處理開始時,首先,由第一圖像處理電路222
的RGB轉(zhuǎn)換部222a進行RGB轉(zhuǎn)換處理S1。在RGB轉(zhuǎn)換處理S1中,RGB轉(zhuǎn)換部222a對從驅(qū)動器信
號處理電路112中發(fā)送來的亮度信號Y以及色差信號Cb、Cr分別進行了放大之后,轉(zhuǎn)換為三
原色信號R、G、B。使用存儲在存儲器226的RGB矩陣存儲區(qū)域226a中的RGB轉(zhuǎn)換矩陣系數(shù)M1來
執(zhí)行RGB轉(zhuǎn)換處理S1。RGB轉(zhuǎn)換矩陣系數(shù)M1根據(jù)攝像所使用的照明光的光譜特性而預(yù)先設(shè)
定,在從Y、Cb、Cr信號向R、G、B信號的信號形式的轉(zhuǎn)換的同時,進行照明光的光譜特性的修
正。另外,當RGB轉(zhuǎn)換處理S1完成時,已生成的通常觀察圖像數(shù)據(jù)N的三原色信號R、G、B被輸
出給圖像存儲器224,分別存儲在通常圖像存儲器區(qū)域0nR、0nG、0nB中。
[0072] 接著,判斷是否設(shè)定為圖像分析模式(S2)。圖像分析模式是一種動作模式,該動作模式對圖像數(shù)據(jù)的各像素分析顏色成分(特別是R、G成分),根據(jù)顏色成分的分析結(jié)果而獲
取關(guān)于對象疾病(病變)的評價結(jié)果(例如關(guān)于炎癥的評價值、顏色映射圖像),并顯示所獲
取的評價結(jié)果。對象疾病的種類可以根據(jù)檢查內(nèi)容進行選擇。通過執(zhí)行圖像分析模式,能夠
例示性地提取處于作為炎癥性腸病(IBD)的病變的潰瘍(含有白苔或膿狀粘液的白色病
變)、炎癥(包含水腫或易出血性的紅變病變)的觀察像所特有的色域的像素并進行識別顯
示。
[0073] 另外,本實施方式的電子內(nèi)窺鏡系統(tǒng)1被構(gòu)成為以圖像分析模式和通常觀察模式這兩個動作模式進行動作。通過對電子鏡100的操作部120、電子內(nèi)窺鏡用處理器200的操作
面板208的用戶操作來切換動作模式。在設(shè)定為通常觀察模式的情況下(S2:否),處理進入
S9。
[0074] 在選擇了圖像分析模式的情況下(S2:是),接著進行基于色調(diào)增強(TE)處理部222b的TE處理S3。TE處理S3是一種如下的處理:為了提高病變的判定精度,對各原色信號R、
G、B進行給予非線性增益(gain)的增益調(diào)整,實質(zhì)上擴大判定的病變特有的色域(特別是邊
界部)附近的動態(tài)范圍,從而提高顏色表現(xiàn)的有效分辨率。具體而言,在TE處理S3中,對各原
色信號R、G、B進行給予圖6所示那樣的單調(diào)增加的非線性增益而獲取原色信號R’、G’、B’(色
調(diào)增強圖像數(shù)據(jù)E)的處理。例如,當將潰瘍所特有的色域的邊界向R空間的映射設(shè)為邊界區(qū)
域RA、將炎癥所特有的色域的邊界向R空間的映射設(shè)為邊界區(qū)域RB時,在邊界區(qū)域RA以及RB
的附近增益曲線的斜率變得最陡。通過根據(jù)這樣的增益曲線來給予增益,能夠擴大邊界區(qū)
域RA以及RB附近的原色信號R’(對原色信號R實施了TE處理S3而得的信號)的實質(zhì)性的動態(tài)
范圍,能夠進行更精密的閾值判定。
[0075] 這里,也可以對各原色信號R、G、B進行各不相同的增益調(diào)整。此外,也可以是對各原色信號G、B給予相同的非線性增益、對原色信號R給予與它們不同的非線性增益的處理。
另外,由TE處理S3生成的三原色信號R’、G’、B’(色調(diào)增強圖像數(shù)據(jù)E)被輸出給圖像存儲器
224,分別存儲于色調(diào)增強圖像存儲器區(qū)域0eR、0eG、0eB中。
[0076] 另外,通過TE處理S3,在色調(diào)上炎癥部變化為紅色、潰瘍部變化為白色、正常部變化為綠色。因此,在將由TE處理S3生成的色調(diào)增強圖像數(shù)據(jù)E顯示于監(jiān)視器300的情況下,能
夠比TE處理S3前的通常觀察圖像數(shù)據(jù)N容易地辨認病變部(炎癥部或潰瘍部)。
[0077] 當TE處理S3完成時,接著對色調(diào)增強圖像數(shù)據(jù)E進行基于有效像素判定部222c的有效像素判定處理S4。圖7是示出有效像素判定處理S4的步驟的流程圖。圖7所示的有效像
素判定處理S4對構(gòu)成圖像數(shù)據(jù)的所有像素(x,y)依次進行。在有效像素判定處理S4中,首
先,對于各像素(x,y),根據(jù)原色信號R’(x,y)、G’(x,y)、B’(x,y),通過下述數(shù)學(xué)式1描述的
式子來計算校正亮度int(x,y)(S41)。
[0078] [數(shù)學(xué)式1][0079] int(x,y)=0.3×R′(x,y)+0.59×G′(x,y)+0.11×B′(x,y)[0080] 需要說明的是,計算出的校正亮度int(x,y)的值用于后述的適當曝光判定S42。另外,根據(jù)算式1可知,校正亮度int(x,y)不是原色信號R’(x,y)、G’(x,y)、B’(x,y)的單純平
均,而是作為基于人(手術(shù)者)的相對可見度特性的加權(quán)平均而求出的。
[0081] 接著,針對各像素,基于在處理S41中計算出的色調(diào)增強圖像數(shù)據(jù)E的校正亮度int(x,y)和原色信號R’(x,y)、G’(x,y)、B’(x,y),判定曝光是否適當(是否為圖像分析所需的
曝光等級)(S42)。在適當曝光判定S42中,在滿足以下兩個條件(數(shù)學(xué)式2、數(shù)學(xué)式3)的至少
一方(或者雙方)的情況下,判定為適當曝光(S42:是)。需要注意的是,通過下述數(shù)學(xué)式2描
述的式子規(guī)定了校正亮度int(x,y)(整體的光量)的上限值,通過下述數(shù)學(xué)式3描述的式子
規(guī)定了各原色信號R’(x,y)、G’(x,y)、B’(x,y)的下限值。
[0082] 數(shù)學(xué)式2[0083] int(x,y)<235[0084] 數(shù)學(xué)式3[0085] Max{R′(x,y),G′(x,y),B′(x,y)}>20[0086] 對于像素(x,y),當滿足數(shù)學(xué)式2或數(shù)學(xué)式3所描述的式子而判定為適當曝光(S42:是)時,有效像素判定部222c將與存儲于存儲器226的標志存儲區(qū)域226b的標志表T1的像素
(x,y)對應(yīng)的標志f(x,y)的值改寫為“1”(S43)。需要說明的是,標志f(x,y)取0、1中的任意
一個的標志值。各標志值的定義如下:
[0087] 0:像素數(shù)據(jù)無效[0088] 1:無病變(正常)或未判定病變(像素數(shù)據(jù)有效)[0089] 另外,在適當曝光判定S42中,當不滿足數(shù)學(xué)式2、數(shù)學(xué)式3所描述的式子的任意條件而判定為曝光不適當時(S42:否),有效像素判定部222c將標志表T1的標志f(x,y)的值改
寫為“0”(S44)。
[0090] 接著,在處理S45中,判定是否對全部像素(x,y)完成了處理。重復(fù)上述的處理S41~S45,直到所有像素(x,y)的處理完成為止。
[0091] 另外,在有效像素判定處理S4中執(zhí)行的、判定有效像素的動作由有效像素判定單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的有效像素判定部222c承擔上述有效像素判定單元
的功能。
[0092] 當有效像素判定處理S4完成時,接著通過顏色空間轉(zhuǎn)換部222d進行顏色空間轉(zhuǎn)換處理S5。顏色空間轉(zhuǎn)換處理S5是將由RGB三原色定義的RGB顏色空間的被色調(diào)增強后的像素
數(shù)據(jù)轉(zhuǎn)換為RG平面的像素數(shù)據(jù)的處理。需要說明的是,在顏色空間轉(zhuǎn)換處理S5中,也可以將
未被色調(diào)增強的RGB顏色空間的像素數(shù)據(jù)轉(zhuǎn)換為RG平面的像素數(shù)據(jù)。
[0093] 在圖9中示出由相互正交的R軸和G軸定義的RG平面。需要說明的是,R軸是R成分(R的像素值)的軸,G軸是G成分(G的像素值)的軸。
[0094] 在顏色空間轉(zhuǎn)換處理S5中,將由RGB三原色定義的RGB顏色空間的各像素的像素數(shù)據(jù)(由3種顏色成分構(gòu)成的三維的像素數(shù)據(jù))轉(zhuǎn)換為RG的像素數(shù)據(jù)(由2種顏色成分構(gòu)成的二
維的像素數(shù)據(jù))。概念上,如圖9所示,RGB顏色空間的各像素的像素數(shù)據(jù)根據(jù)R、G的像素值而
被描繪在RG平面內(nèi)(更詳細而言,取R=0~255、G=0~255的值的RG平面內(nèi)的分區(qū))。以下,
為了便于說明,將RGB顏色空間的各像素的像素數(shù)據(jù)的點以及在RG平面內(nèi)描繪的像素數(shù)據(jù)
的點記作“像素對應(yīng)點”。需要注意的是,在圖9中,為便于使附圖明了,并非示出全部像素的
像素對應(yīng)點,而僅示出了一部分像素的像素對應(yīng)點。
[0095] 需要說明的是,顏色成分構(gòu)成顏色空間(也包括顏色平面)。根據(jù)一實施方式,優(yōu)選顏色成分均是被設(shè)定為波段相互不同的顏色成分。因此,在這種情況下,從“顏色成分”中排
除色相和彩度。
[0096] 這樣,在顏色空間轉(zhuǎn)換處理S5中,RGB標繪顏色空間的各像素數(shù)據(jù)(三維數(shù)據(jù))被正投影到RG平面,從對應(yīng)于各像素數(shù)據(jù)的RGB顏色空間內(nèi)的點落下到RG平面的垂足成為各像
素對應(yīng)點(二維數(shù)據(jù))。
[0097] 另外,在顏色空間轉(zhuǎn)換處理S5中執(zhí)行的、將RGB顏色空間的各像素的像素數(shù)據(jù)轉(zhuǎn)換(正投影)為RG平面內(nèi)的像素數(shù)據(jù)的動作由轉(zhuǎn)換單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的
顏色空間轉(zhuǎn)換部222d承擔上述轉(zhuǎn)換單元的功能。
[0098] 另外,曝光不足或過量的像素數(shù)據(jù)的精度低,會降低分析結(jié)果的可靠度。因此,顏色空間轉(zhuǎn)換處理S5只對標志f(x,y)的值被設(shè)定為“1”的像素(x,y)、即在上述的有效像素判
定處理S4中被判定為適當曝光的像素(x,y)進行。
[0099] 當顏色空間轉(zhuǎn)換處理S5完成時,接著由炎癥強度算出部222e進行炎癥強度算出處理S6。炎癥強度算出處理S6是針對內(nèi)窺鏡圖像的各像素(x,y)算出表示與對象疾病有關(guān)的
癥狀等級的炎癥強度的處理。
[0100] 圖8是示出炎癥強度算出處理S6的步驟的流程圖。在處理S61中,參照標志表T1來判定各像素(x,y)的數(shù)據(jù)是否有效。具體而言,標志f(x,y)的值為“1”的像素被判定為像素
數(shù)據(jù)有效,標志f(x,y)的值為“0”的像素被判定為像素數(shù)據(jù)無效。
[0101] 在炎癥強度算出處理S6中,將在處理S61中已判定為像素數(shù)據(jù)有效的有效像素作為處理對象來執(zhí)行處理S62以后的處理。
[0102] 在處理S62中,設(shè)定為了計算關(guān)于對象疾病的評價值(例如表示炎癥的強度的炎癥強度等)所需的RG平面內(nèi)的基準軸。在圖10中示出輔助基準軸的說明的圖。
[0103] 在成為攝影對象的患者的體腔內(nèi),由于血紅蛋白色素等的影響,R成分相對于其它成分(G成分和B成分)是支配性的,典型地,炎癥越強,紅色調(diào)(R成分)相對于其它色調(diào)(G成
分和B成分)越強。但是,體腔內(nèi)的攝影圖像的色調(diào)根據(jù)影響明亮度的攝影條件(例如照明光
的照射情況)而變化。例示性地,照明光不能到達的陰影部分成為黑色(為無彩色,例如,R、
G、B為零或接近零的值),照明光強烈照射后進行鏡面反射的部分成為白色(為無彩色,例
如,R、G、B為255或接近255的值)。即,即使在拍攝了發(fā)生炎癥的相同的異常部位的情況下,
照明光越強烈照射,該異常部位圖像的像素值越大。因此,根據(jù)照明光的照射狀況,有時像
素值取與炎癥強度無相關(guān)的值。
[0104] 通常,未發(fā)生炎癥的體腔內(nèi)的正常部位被足夠的粘膜覆蓋。與此相反,發(fā)生炎癥的體腔內(nèi)的異常部位未被足夠的粘膜覆蓋。具體而言,血管擴張的同時,血液、體液從血管中
漏出,因此,粘膜相對變薄,血液的顏色容易映入眼睛。粘膜基本上是白色基調(diào),但作為色調(diào)
有些泛黃,根據(jù)其濃淡(粘膜的厚度)而顯現(xiàn)在圖像上的色調(diào)(黃色的色調(diào))發(fā)生變化。因此,
認為粘膜的濃淡也是評價炎癥強度的指標之一。
[0105] 因此,如圖10所示,在RG平面內(nèi),通過(50,0)以及(255,76)的直線被設(shè)定為基準軸的一個,并且通過(0,0)以及(255,192)的直線被設(shè)定為基準軸的一個。為了便于說明,將前
者的基準軸記作“血紅蛋白變化軸AX1”,將后者的基準軸記作“粘膜變化軸AX2”。
[0106] 圖10所示的描繪點是本發(fā)明人對體腔內(nèi)的多個樣本圖像進行了分析的結(jié)果而得到的圖。在分析中使用的樣本圖像中包含癥狀等級最高的炎癥圖像例(最嚴重程度的炎癥
圖像例)、癥狀等級最低的炎癥圖像例(實質(zhì)上被視為正常部位的圖像例)等各等級的炎癥
圖像例。另外,在圖10所示的例子中,為便于使附圖明了,只示出了一部分作為分析結(jié)果而
得到的描繪點。分析的結(jié)果實際得到的描繪點遠比圖10所示的描繪點的數(shù)量多。
[0107] 如上所述,越是炎癥強的異常部位,R成分相對于其他成分(G成分及B成分)越強。因此,描繪點分布的區(qū)域與不分布的區(qū)域的邊界線且比G軸更靠近R軸一方的邊界線上的軸
即在圖10所示的例子中通過(50,0)以及(255,76)的邊界線上的軸被設(shè)定為與癥狀等級最
高的病變部(癥狀等級最高的炎癥(異常)部位)相關(guān)性高的軸。該軸是血紅蛋白變化軸AX1。
在血紅蛋白變化軸AX1上重疊有與以各種各樣的攝影條件(例如照明光的照射狀況)拍攝到
的癥狀等級最高的炎癥部位對應(yīng)的描繪點。
[0108] 另一方面,越接近正常部位,G成分(或B成分)相對于R成分越強。因此,描繪點分布的區(qū)域與不分布的區(qū)域的邊界線且比R軸更靠近G軸一方的邊界線上的軸即在圖10所示的
例子中通過(0,0)以及(255,192)的邊界線上的軸被設(shè)定為與癥狀等級最低的病變部(是癥
狀等級最低的炎癥(異常)部位,實質(zhì)上被視為是正常(健康)部位的部位)相關(guān)性高的軸。該
軸是粘膜變化軸AX2。在粘膜變化軸AX2上重疊有與以各種各樣的攝影條件(例如照明光的
照射狀況)拍攝到的癥狀等級最低的炎癥部位(實質(zhì)上被視為正常部位或健康部位的部位)
對應(yīng)的描繪點。
[0109] 若補充,則關(guān)于對象疾病而癥狀等級最高的炎癥部位伴有出血。另一方面,癥狀等級最低的炎癥部位實質(zhì)上是正常部位,因此被足夠的粘膜覆蓋。因此,可以認為圖10所示的
RG平面內(nèi)的描繪點分布在與血液(血紅蛋白色素)相關(guān)性最高的軸和與粘膜的色調(diào)相關(guān)性
最高的軸所夾持的區(qū)域內(nèi)。因此,描繪點分布的區(qū)域與不分布的區(qū)域的邊界線中的、接近于
R軸(R成分強)一方的邊界線相當于表示癥狀等級最高的炎癥部位的軸(血紅蛋白變化軸
AX1),接近G軸(G成分強)一方的邊界線相當于表示癥狀等級最低的炎癥部位的軸(粘膜變
化軸AX2)。
[0110] 返回至圖8,在處理S63中,使用校正矩陣系數(shù)來校正像素數(shù)據(jù)(R,G)。在存儲器226的校正矩陣存儲區(qū)域226e中保存有校正矩陣系數(shù)M2。在處理S63中,為了抑制在不同的電子
內(nèi)窺鏡系統(tǒng)中拍攝同一病變部時的得分值的差異(換言之,電子鏡的個體差異),使用校正
矩陣系數(shù)M2來校正作為各有效像素的像素對應(yīng)點的像素數(shù)據(jù)(R,G)。
[0111] ·校正矩陣系數(shù)示例[0112] 使用校正矩陣系數(shù)M00~M11將像素數(shù)據(jù)R、G校正為像素數(shù)據(jù)Rnew、Gnew。[0113] Rnew:校正后的像素數(shù)據(jù)(R成分)[0114] Gnew:校正后的像素數(shù)據(jù)(G成分)[0115] M00~M11:校正矩陣系數(shù)[0116] R:校正前的像素數(shù)據(jù)(R成分)[0117] G:校正前的像素數(shù)據(jù)(G成分)[0118] 另外,使用校正矩陣系數(shù)M2來校正在本處理S63中執(zhí)行的各有效像素的像素對應(yīng)點的動作由顏色成分校正單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的圖像處理單元220內(nèi)
的顏色校正電路承擔功能。
[0119] 在處理S64中,針對使用校正矩陣系數(shù)M2校正后的各有效像素的像素數(shù)據(jù)(Rnew,Gnew),算出用于計算炎癥強度的角度。具體而言,在處理S64中,針對各有效像素,算出連接
血紅蛋白變化軸AX1與粘膜變化軸AX2的交點(基準點)O’和像素對應(yīng)點(Rnew,Gnew)的線段L
與血紅蛋白變化軸AX1所成的角度θ(參照圖9)。另外,基準點O’位于坐標(?150,?75)。
[0120] 當體腔內(nèi)的攝影圖像的明亮度根據(jù)照明光的照射狀況而變化時,攝影圖像的色調(diào)雖然有個人差異、拍攝部位、炎癥的狀態(tài)等的影響,但在RG平面內(nèi),大體上若是癥狀等級最
高的炎癥部位則沿著血紅蛋白變化軸AX1上變化、若是癥狀等級最低的炎癥部位即實質(zhì)上
無疾病的正常部位則沿著粘膜變化軸AX2上變化。另外,推定中間癥狀等級的炎癥部位的攝
影圖像的色調(diào)也以相同的傾向變化。即,與炎癥部位對應(yīng)的像素對應(yīng)點當根據(jù)照明光的照
射狀況而變化時,向以基準點O’為起點的方位角方向偏移。換言之,與炎癥部位對應(yīng)的像素
對應(yīng)點當根據(jù)照明光的照射狀況而變化時,角度θ保持一定的狀態(tài)而移動,與基準點O’的距
離發(fā)生變化。這意味著角度θ是實質(zhì)上不受攝影圖像的明亮度變化的影響的參數(shù)。
[0121] 角度θ越小,R成分相對于G成分越強,表示炎癥部位的癥狀等級越高。另外,角度θ越大,G成分相對于R成分越強,表示炎癥部位的癥狀等級越低。
[0122] 因此,在處理S65中,對各有效像素將角度θ標準化,使得在角度θ為零時值成為255、在角度θ為θMAX時值成為0。需要說明的是,θMAX與血紅蛋白變化軸AX1和粘膜變化軸AX2
所成的角度相等。由此,對于全部的有效像素,得到落入0~255的范圍的炎癥強度(8位的信
息)。
[0123] 這樣,在由R成分和G成分這兩種顏色成分定義的顏色平面(顏色空間)內(nèi),設(shè)定有從規(guī)定的基準點O’觀察的關(guān)于對象疾病的基準方向例如血紅蛋白變化軸AX1或粘膜變化軸
AX2的軸向,對于各像素,根據(jù)該顏色空間中的從基準點O’觀察的像素對應(yīng)點的方向從基準
方向偏離的程度來算出關(guān)于對象疾病的評價值。
[0124] 進而,在RG平面內(nèi),設(shè)定有通過基準點O’的、關(guān)于沒有對象疾病的正常部位的粘膜變化軸AX2(第二基準軸),將血紅蛋白變化軸AX1(第一基準軸)與粘膜變化軸AX2的交叉角
度作為最大角度θMAX而對角度θ進行標準化后算出評價值。
[0125] 需要說明的是,在處理S65中執(zhí)行的、對各有效像素算出關(guān)于對象疾病的評價值(在此為炎癥強度)的動作由評價值算出單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的炎癥強
度算出部222e承擔上述評價值算出單元的功能。
[0126] 當炎癥強度算出處理S6完成時,接著由疊加處理部222f進行疊加處理S7。在疊加處理S7中,生成以與在炎癥強度算出處理S6中計算出的炎癥強度對應(yīng)的顯示色將攝影圖像
馬賽克化的疊加圖像數(shù)據(jù)S的原色信號R”、G”、B”。
[0127] 具體而言,為了能夠顯示疊加圖像,在存儲器226的顏色信息存儲區(qū)域226f中存儲有將炎癥強度的值與規(guī)定的顯示色對應(yīng)起來的顏色表T2。在顏色表T2中,例如以每值5對應(yīng)
不同的顯示色。舉例來說,炎癥強度的值在0~5的范圍內(nèi)對應(yīng)黃色,該值每增加5時,按照色
相環(huán)中的顏色的排列順序?qū)?yīng)不同的顯示色,該值在250~255的范圍內(nèi)對應(yīng)紅色。
[0128] 在疊加處理S7中,通常觀察圖像數(shù)據(jù)N的各有效像素基于顏色表T2而被轉(zhuǎn)換為與由炎癥強度算出處理S6得到的炎癥強度的值對應(yīng)的顏色,生成由轉(zhuǎn)換后的顯示色顯示的像
素構(gòu)成的疊加圖像數(shù)據(jù)S。
[0129] 需要說明的是,在疊加處理S7中執(zhí)行的、生成疊加圖像的動作由疊加圖像生成單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的疊加處理部222f承擔疊加圖像生成單元的功能。
[0130] 當疊加處理S7完成時,由疊加處理S7生成的疊加圖像數(shù)據(jù)S被輸出給圖像存儲器224,分別存儲在疊加圖像存儲器區(qū)域0sR、0sG、0sB(k=0~6)中。
[0131] 接著,通過第二圖像處理電路228的病變指數(shù)計算部228a進行病變指數(shù)計算處理S8。病變指數(shù)計算處理S8是計算內(nèi)窺鏡圖像的有效像素數(shù)(在有效像素判定處理S4中已被
判定為適當曝光的像素數(shù))中的、拍攝有被視為病變的部位的像素的數(shù)量(例如在炎癥強度
算出處理S6中算出的炎癥強度的值為一定值以上的像素的數(shù)量)所占的比例(病變指數(shù))的
處理。需要說明的是,病變指數(shù)也可以是所有的有效像素的炎癥強度的合計值或平均值等
通過其它方法算出的值。
[0132] 圖11是示出病變指數(shù)計算處理S8的步驟的流程圖。在病變指數(shù)計算處理S8中,首先對各參數(shù)進行復(fù)位(S81)。另外,NumO、NumR及NumW分別是對有效像素、拍攝相當于對象疾
病的第一癥狀等級(例如炎癥強度的值為第一值以上且小于第二值)的部位的像素、及拍攝
相當于對象疾病的第二癥狀等級(例如炎癥強度的值為第二值以上)的部位的像素進行計
數(shù)的計數(shù)器。
[0133] 需要說明的是,在處理S81、進一步后述的處理S82~87中執(zhí)行的、計算有效像素的數(shù)量的動作由有效像素計數(shù)單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的病變指數(shù)計算部
228a承擔有效像素計數(shù)單元的功能。
[0134] 接著,參照標志表T1,判斷關(guān)注像素(x,y)是否是有效像素(S82)。在不是有效像素的情況下(S82:否),不變更各計數(shù)器而使處理進入S87。在是有效像素的情況下(S82:是),
使計數(shù)器NumO遞增(S83)。接著,判定關(guān)注像素是符合正常(例如炎癥強度的值小于第一
值)、第一癥狀等級、第二癥狀等級中的哪一個的像素(S84)。如果判定為正常(S84:正常),
則直接使處理進入S87。另外,若判定為第一癥狀等級(S84:第一癥狀等級),則使計數(shù)器
NumR遞增(S85),若判定為第二癥狀等級(S84:第二癥狀等級),則使計數(shù)器NumW遞增后
(S86),使處理進入S87。
[0135] 接著,判定是否對全部像素(x,y)完成了處理(S87)。重復(fù)上述的處理S81~S87,直到所有像素(x,y)的處理完成為止。
[0136] 當對所有像素(x,y)的計數(shù)完成時,接著計算病變指數(shù)IdxR(S88)。病變指數(shù)IdxR是拍攝相當于第一癥狀等級的部位的像素數(shù)占全部有效像素數(shù)的比例,通過IdxR=NumR/
NumO來計算。
[0137] 接著,計算病變指數(shù)IdxW(S89)。病變指數(shù)IdxW是拍攝相當于第二癥狀等級的部位的像素數(shù)占全部有效像素數(shù)的比例,通過IdxW=NumW/NumO來計算。
[0138] 接下來,計算總病變指數(shù)IdxT(S90)??偛∽冎笖?shù)IdxT是拍攝病變(相當于第一及第二癥狀等級的部位)的像素數(shù)占全部有效像素數(shù)的比例,通過IdxT=IdxR+IdxW計算。
[0139] 需要說明的是,在病變指數(shù)計算處理S8中執(zhí)行的、計算病變指數(shù)和總病變指數(shù)的動作由病變指數(shù)算出單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的病變指數(shù)計算部228a承擔
上述病變指數(shù)算出單元的功能。
[0140] 在此,考慮如下情況:通過與以前說明過的方法同樣的方法,針對炎癥性腸病,在作為其病變的潰瘍、炎癥各個上計算單獨的病變指數(shù),并算出所計算的兩個病變指數(shù)的合
計作為總病變指數(shù)IdxT。通過本發(fā)明人的研究,可知這樣計算出的炎癥性腸病的內(nèi)窺鏡圖
像的總病變指數(shù)IdxT與表示炎癥性腸病的重癥度的Mayo評分之間存在強相關(guān),總病變指數(shù)
IdxT成為用于簡單地判定炎癥性腸病的重癥度的良好指標。
[0141] 接著,在存儲器226中記錄各病變指數(shù)IdxR、IdxW、IdxT(S91),病變指數(shù)計算處理S8結(jié)束。
[0142] 接著,進行是否發(fā)出靜態(tài)圖像保存的指令的判定S9(圖5)。圖像處理單元220當從驅(qū)動器信號處理電路112接收到靜態(tài)圖像保存的指令和電子鏡100前端部的位置信息Pos
(S9:是)時,使圖像存儲器224的存儲區(qū)域組P0中存儲的通常觀察圖像數(shù)據(jù)N、色調(diào)增強圖像
數(shù)據(jù)E以及疊加圖像數(shù)據(jù)S的復(fù)制存儲在與位置信息Pos對應(yīng)的存儲區(qū)域組P1~6中的任一
個中(S10),接著進行畫面顯示處理S11。如果沒有來自驅(qū)動器信號處理電路112的靜態(tài)圖像
保存的指令(S9:否),則不進行處理S10而進入畫面顯示處理S11。
[0143] 需要說明的是,由圖像處理單元220進行的接收位置信息Pos的上述動作通過攝像位置獲取單元進行。根據(jù)一實施方式,優(yōu)選圖像處理單元220內(nèi)的未圖示的位置獲取部承擔
攝像位置獲取單元的功能。
[0144] 下一個畫面顯示處理S11是生成用于在監(jiān)視器300上顯示的顯示畫面數(shù)據(jù)并轉(zhuǎn)換為視頻信號后輸出的處理,由第二圖像處理電路228的顯示畫面生成部228b進行。顯示畫面
生成部228b能夠根據(jù)系統(tǒng)控制器202的控制而生成多種顯示畫面數(shù)據(jù)。
[0145] 圖12是由畫面顯示處理S11生成的顯示畫面的一例,是在圖像分析模式下的內(nèi)窺鏡觀察中顯示的分析模式觀察畫面320。分析模式觀察畫面320具備:顯示攝像日期時間的
日期時間顯示區(qū)域321、顯示與檢查關(guān)聯(lián)的基本信息(例如病歷號、患者名、手術(shù)者名)的基
本信息顯示區(qū)域322、顯示在病變指數(shù)計算處理S8中計算出的病變指數(shù)IdxR、IdxW、IdxT的
病變指數(shù)顯示區(qū)域323、顯示通常觀察圖像數(shù)據(jù)N(或色調(diào)增強圖像數(shù)據(jù)E)的通常圖像顯示
區(qū)域324、以及顯示疊加圖像數(shù)據(jù)S(疊加處理S7后的觀察圖像)的分析圖像顯示區(qū)域325。
[0146] 在畫面顯示處理S11中,顯示畫面生成部228b從存儲器226的存儲區(qū)域組Q0中讀取實時的病變指數(shù)IdxR、IdxW、IdxT,并顯示于病變指數(shù)顯示區(qū)域323。圖12中的“第一癥狀等
級:25.8%”、“第二癥狀等級:19.8”以及“檢測面積:45.6%”分別是病變指數(shù)IdxR、病變指
數(shù)IdxW以及總病變指數(shù)IdxT的顯示。另外,顯示畫面生成部228b從圖像存儲器224的存儲區(qū)
域組P0中讀取實時的通常觀察圖像數(shù)據(jù)N(或者色調(diào)增強圖像數(shù)據(jù)E)以及疊加圖像數(shù)據(jù)S,
分別顯示于通常圖像顯示區(qū)域324以及分析圖像顯示區(qū)域325。另外,由系統(tǒng)控制器202提供
的信息被顯示在日期時間顯示區(qū)域321和基本信息顯示區(qū)域322中。
[0147] 需要說明的是,在畫面顯示處理S11中執(zhí)行的使病變指數(shù)IdxR、病變指數(shù)IdxW和總病變指數(shù)IdxT、以及通常觀察圖像數(shù)據(jù)N(或色調(diào)增強圖像數(shù)據(jù)E)和疊加圖像數(shù)據(jù)S顯示于
監(jiān)視器300的動作由顯示單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的顯示畫面生成部228b
承擔顯示單元的功能。
[0148] 手術(shù)者一邊觀察分析模式觀察畫面320一邊進行內(nèi)窺鏡觀察。具體而言,一邊參照顯示于分析圖像顯示區(qū)域325的疊加圖像數(shù)據(jù)S的同時觀察顯示于通常圖像顯示區(qū)域324的
通常觀察圖像數(shù)據(jù)N(或者色調(diào)增強圖像數(shù)據(jù)E)一邊進行內(nèi)窺鏡觀察。通過對疊加圖像數(shù)據(jù)
S中已著色的部位特別慎重地進行觀察,能夠不遺漏病變部而進行正確的診察。另外,通過
一邊參照病變指數(shù)顯示區(qū)域323中顯示的病變指數(shù)IdxR、IdxW、IdxT的客觀且具體的數(shù)值一
邊進行觀察,從而能夠不被從通常觀察圖像數(shù)據(jù)N、疊加圖像數(shù)據(jù)S中受到的主觀印象所左
右,進行更客觀且縝密的診斷。
[0149] 例示性地,在炎癥性腸病中,病變部(炎癥部、潰瘍部)波及到大范圍,越為重癥,病變部的比例越高,因此總病變指數(shù)IdxT成為重癥度的良好指標。另一方面,在病變部局部存
在的疾病(例如息肉)中,由于電子鏡100的前端部越接近病變部,病變部的視角越大,因此
總病變指數(shù)IdxT增大。因此,總病變指數(shù)IdxT成為是否正在接近病變部的良好指標,通過在
總病變指數(shù)IdxT開始增加時仔細地觀察,能夠防止病變部的漏看。
[0150] 接著,判斷是否從系統(tǒng)控制器202接收到報告輸出的執(zhí)行指令(S12)。當通過對電子鏡100的操作部120或電子內(nèi)窺鏡用處理器200的操作面板208的用戶操作而指示報告輸
出的執(zhí)行時,系統(tǒng)控制器202將后述的報告輸出處理S13的執(zhí)行指令發(fā)送到圖像處理單元
220。如果從系統(tǒng)控制器202發(fā)出了報告輸出處理S13的執(zhí)行指令(S12:是),則接著進行報告
輸出處理S13。另外,如果沒有發(fā)出執(zhí)行指令(S12:否),則不進行報告輸出處理S13而處理進
入S14。
[0151] 報告輸出處理S13是生成將內(nèi)窺鏡檢查結(jié)果進行了整理的報告畫面420并將其轉(zhuǎn)換為報告輸出信號(印刷信號)后輸出給打印機400來印刷報告畫面420的處理。圖13所示的
報告畫面420具備大腸模型圖421、病變指數(shù)列表422、病變指數(shù)分布圖423、統(tǒng)計值列表424
以及縮略圖像列表425。
[0152] 大腸模型圖421圖示了獲取靜態(tài)圖像的位置(觀察點),在大腸的示意圖421a上配置有表示觀察點1~6的多個圓形標記421b。觀察點1~6分別對應(yīng)于上述的圖像存儲器224
的存儲區(qū)域組P1~P6和存儲器226的存儲區(qū)域組Q1~6。病變指數(shù)列表422是一覽顯示各觀
察點1~6(422b)的總病變指數(shù)IdxT(422c)的列表。另外,病變指數(shù)分布圖423是用曲線圖顯
示病變指數(shù)列表422的圖。統(tǒng)計值列表424是一覽顯示總病變指數(shù)IdxT的統(tǒng)計值(平均值、方
差和標準偏差)的列表。另外,縮略圖像列表425是一覽顯示在各觀察點1~6(425a)上獲取
的通常觀察圖像數(shù)據(jù)N(或色調(diào)增強圖像數(shù)據(jù)E)的靜態(tài)圖縮略圖像425b、疊加圖像數(shù)據(jù)S的
靜態(tài)圖縮略圖像425c以及對各通常觀察圖像數(shù)據(jù)N分配的病歷號425d的列表。
[0153] 通過使用報告畫面420,能夠一眼掌握腸道在長度方向上的內(nèi)窺鏡圖像以及病變指數(shù)的變化的情況,不僅能夠準確且容易地進行診斷,還能夠準確且容易地對患者進行檢
查結(jié)果的說明。
[0154] 需要說明的是,在報告輸出處理S13中執(zhí)行的、將報告輸出信號輸出給打印機400的操作由報告輸出單元進行。根據(jù)一實施方式,優(yōu)選圖2所示的報告生成部228c承擔報告輸
出單元的功能。
[0155] 接著,判斷是否繼續(xù)內(nèi)窺鏡觀察(S14)。重復(fù)上述的處理S1~S14,直至對電子內(nèi)窺鏡用處理器200的操作面板208進行指示內(nèi)窺鏡觀察結(jié)束或電子內(nèi)窺鏡系統(tǒng)1的運轉(zhuǎn)停止的
用戶操作(S14:否)為止。
[0156] 如上所述,根據(jù)實施方式,由于將多種病變指數(shù)的合計作為總病變指數(shù)來計算,因此能夠綜合評價所拍攝的被攝體的癥狀等級。另外,基于評價值為落入第一范圍的值的像
素的數(shù)量來計算第一病變指數(shù),基于評價值為落入第二范圍的值的像素的數(shù)量來計算第二
病變指數(shù),因此能夠細致地評價病變部在每個癥狀等級中所占的區(qū)域的大小。因此,在隔開
幾天的時間再觀察同一病變部時,能夠知道在每個癥狀等級中所占的區(qū)域的大小的時間變
化,因此能夠高精度地獲知病變部的進展程度。
[0157] 另外,如上所述,根據(jù)實施方式,將滿足預(yù)定的條件式的像素作為有效像素,只將該有效像素作為算出評價值的對象來算出評價值,因此除了評價值計算的處理負荷被減輕
以外,還能夠得到精度高的評價值。此時,根據(jù)有效像素中的評價值來計算作為與多種病變
的每一個對應(yīng)的像素的數(shù)量的各病變像素數(shù),針對多種病變的每一個,設(shè)定病變像素數(shù)相
對于有效像素數(shù)的比率作為病變指數(shù),因此能夠獲知各病變在攝像圖像內(nèi)的有效像素中所
占的大小,能夠與病變部的癥狀等級一起同時獲知病變部的擴展。
[0158] 另外,如上所述,根據(jù)實施方式,在顏色平面內(nèi),除了設(shè)定有血紅蛋白變化軸AX1(第一基準軸)以外,還設(shè)定有通過基準點O’的、關(guān)于沒有對象疾病的正常部位的粘膜變化
軸AX2(第二基準軸),將血紅蛋白變化軸AX1與粘膜變化軸AX2的交叉角度作為最大角度θMAX
而將角度θ標準化來算出評價值,因此能夠根據(jù)0~1評價值的大小而容易區(qū)分癥狀等級在
各像素中的強弱。
[0159] 需要說明的是,如上所述,根據(jù)實施方式,在顏色空間轉(zhuǎn)換處理S5中轉(zhuǎn)換后的兩種顏色成分均優(yōu)選是被設(shè)定為波段相互不同的顏色成分。因此,將不被設(shè)定為波段相互不同
的色相和彩度的組合除外。在不同的波段設(shè)定的顏色成分與圖像的明暗無關(guān),圖9所示的角
度θ不怎么變化,僅與基準點O’的距離變化。因此,作為轉(zhuǎn)換后的兩種顏色成分,優(yōu)選使用以
波段設(shè)定的顏色成分。該顏色成分優(yōu)選包含R成分、G成分和B成分中的至少兩種。進而,優(yōu)選
該顏色成分包含R成分、G成分及B成分中的任一種顏色成分。即使兩種顏色成分是R成分和B
成分,在R成分和B成分的顏色空間中,也可以使用圖9所示那樣的相對于成為基準的軸的角
度θ來算出關(guān)于對象疾病的評價值。
[0160] 另外,評價值優(yōu)選為表示生物體組織的粘膜的炎癥的強度的程度的值。能夠使用評價值來細致地設(shè)定粘膜的炎癥的強度。在實施方式中,根據(jù)兩個等級區(qū)分癥狀等級,但也
可以劃分為三個以上的癥狀等級來確定病變指數(shù)。
[0161] 實施方式所涉及的電子內(nèi)窺鏡系統(tǒng)帶來了本技術(shù)領(lǐng)域中的如下的效果以及課題的解決。
[0162] 第一,實施方式所涉及的電子內(nèi)窺鏡系統(tǒng)可以說成為用于早期發(fā)現(xiàn)炎癥性疾病的診斷輔助。
[0163] 第二,根據(jù)實施方式的結(jié)構(gòu),能夠?qū)ρ装Y程度(炎癥強度、病變指數(shù)、疊加圖像等)進行畫面顯示、或者增強炎癥所產(chǎn)生的區(qū)域的圖像,以使手術(shù)者能夠發(fā)現(xiàn)難以辨認的輕度
炎癥。特別是輕度炎癥難以進行與正常部的辨別,因此關(guān)于輕度炎癥的評價,由實施方式的
結(jié)構(gòu)帶來的效果變得顯著。
[0164] 第三,根據(jù)實施方式的結(jié)構(gòu),能夠向手術(shù)者提供客觀性的評價值作為炎癥度的評價,因此能夠降低手術(shù)者間的診斷差。特別是能夠?qū)?jīng)驗淺的手術(shù)者提供基于實施方式的
結(jié)構(gòu)的客觀性評價值的優(yōu)點大。
[0165] 第四,根據(jù)實施方式的結(jié)構(gòu),通過減輕圖像處理的負荷,能夠?qū)⒀装Y部實時地顯示為圖像。因此,能夠使診斷精度提高。
[0166] 第五,根據(jù)實施方式的結(jié)構(gòu),評價值計算的處理負荷被減輕,因此能夠無延遲地并排或合成后顯示疊加圖像和通常圖像。因此,能夠不伴隨檢查時間的延長而顯示疊加圖像,
進而能夠避免患者負擔增加。
[0167] 實施方式中的觀察的對象部位例如是呼吸器官等、消化器官等。呼吸器官等例如是肺、耳鼻咽喉。消化器官等例如是大腸、小腸、胃、十二指腸、子宮等。認為,實施方式所涉
及的電子內(nèi)窺鏡系統(tǒng)在觀察對象為大腸的情況下效果更加顯著。這是基于具體而言如下理
由。
[0168] 大腸中有能夠以炎癥為基準進行評價的病,就是說,發(fā)現(xiàn)炎癥的部位的優(yōu)點比其它器官大。特別是,作為以潰瘍性結(jié)腸炎所代表的炎癥性腸病(IBD)的指標,實施方式例示
的評價值(病變指數(shù))是有效的。由于潰瘍性結(jié)腸炎尚未確立治療法,因此通過使用實施方
式的結(jié)構(gòu)的電子內(nèi)窺鏡系統(tǒng)來早期發(fā)現(xiàn)而抑制發(fā)展的效果非常大。
[0169] 大腸是與胃等相比較細長的器官,得到的圖像有縱深,越深處越暗。根據(jù)實施方式的結(jié)構(gòu),能夠抑制評價值起因于圖像內(nèi)的明亮度變化的變動。因此,將實施方式所涉及的電
子內(nèi)窺鏡系統(tǒng)應(yīng)用于大腸的觀察時,實施方式的效果顯著。即,實施方式所涉及的電子內(nèi)窺
鏡系統(tǒng)優(yōu)選為呼吸器官用電子內(nèi)窺鏡系統(tǒng)或消化器官用電子內(nèi)窺鏡系統(tǒng),更優(yōu)選為大腸用
電子內(nèi)窺鏡系統(tǒng)。
[0170] 另外,輕度的炎癥一般難以診斷,但根據(jù)本實施方式的結(jié)構(gòu),例如通過在畫面上顯示評價炎癥度的結(jié)果,能夠避免手術(shù)者漏看輕度炎癥。特別是,關(guān)于輕度的炎癥,其判斷基
準并不明確,因此成為使手術(shù)者間的個人差異增大的主要原因。關(guān)于這一點,根據(jù)實施方式
的結(jié)構(gòu),也能夠向手術(shù)者提供客觀性的評價值,因此能夠降低由個人差異引起的診斷偏差。
[0171] 需要說明的是,實施方式的上述結(jié)構(gòu)不僅能夠應(yīng)用于炎癥度,還能夠應(yīng)用于癌、息肉及其它伴隨顏色變化的各種病變的評價值的算出,在那些情況下,也能夠帶來與上述同
樣的有利效果。即,實施方式的評價值優(yōu)選為伴隨顏色變化的病變的評價值,包括炎癥度、
癌癥、息肉至少任一個的評價值。
[0172] 以上是實施方式的說明,但本發(fā)明并不限定于上述實施方式的結(jié)構(gòu),能夠在由權(quán)利要求書的描述所表達的技術(shù)思想的范圍內(nèi)進行各種變形。
[0173] 在上述實施方式中,RGB顏色空間的像素數(shù)據(jù)被轉(zhuǎn)換為RG平面的像素數(shù)據(jù),使用轉(zhuǎn)換后的各像素數(shù)據(jù)中包含的R成分和G成分來進行了關(guān)于對象疾病的評價,而在另一實施方
式中,使用代替RGB顏色空間而將CIE1976L*a*b*顏色空間、CIELCh顏色空間、CIE1976L*
u*v*顏色空間、HSB顏色空間、sRGB顏色空間、CMK顏色空間、CMYK顏色空間、CMYG顏色空間等
其它顏色空間(由n(n≥3)種顏色成分定義的顏色空間)的像素數(shù)據(jù)轉(zhuǎn)換為比該顏色空間低
維的顏色空間(由m(n>m≥2)種顏色成分定義的顏色空間)的像素數(shù)據(jù)而得的成分,由此也
能夠進行與各個顏色空間對應(yīng)的、關(guān)于與上述的實施方式不同的對象疾病(胃的萎縮、大腸
腫瘤等)的評價。
[0174] 另外,在上述的實施方式中,TE處理S3在RGB顏色空間上進行,但也可以采用在顏色空間轉(zhuǎn)換處理S5之后在HSI空間等其它顏色空間上進行TE處理S3的結(jié)構(gòu)。
[0175] 作為在電子內(nèi)窺鏡系統(tǒng)1中使用的光源,可以使用各種各樣類型的光源。另一方面,也可能有依賴于電子內(nèi)窺鏡系統(tǒng)1的觀察目的等而使光源的類型設(shè)為限定性類型的方
式(例如,作為光源的類型除去激光等)。這里,校正矩陣系數(shù)M2的最佳值根據(jù)使用光源的分
光特性而變化。因此,例如在處理器200具備多種光源的情況(或者切換使用多種外部光源
的情況)下,也可以將每個光源種類的校正矩陣系數(shù)M2保存在存儲器226中。由此,抑制了由
使用光源的分光特性引起的評價結(jié)果的偏差。
[0176] 另外,在上述的實施方式中,算出連結(jié)基準點O’和關(guān)注像素的像素對應(yīng)點的線段L與血紅蛋白變化軸AX1所成的角度θ,基于計算出的角度θ來進行關(guān)于對象疾病的評價,但本
發(fā)明不局限于此。例如,也可以算出線段L與粘膜變化軸AX2所成的角度并基于計算出的角
度來進行關(guān)于對象疾病的評價。在該情況下,算出角度越小,G成分相對于R成分越強,表示
炎癥部位的重癥度越低;算出角度越大,R成分相對于G成分越強,表示炎癥部位的重癥度越
高。因此,在圖8的處理S65中,將算出角度標準化,使得在算出角度為零時值成為零、算出角
度為θMAX時值成為255。
[0177] 另外,在上述實施方式中,為了極力抑制由拍攝圖像的亮度引起的對炎癥評價值的影響,將血紅蛋白變化軸AX1與粘膜變化軸AX2的交點設(shè)定為基準點O’,但本發(fā)明不局限
于此。例如,也可以將位于粘膜變化軸AX2上的RG平面的原點(0,0)設(shè)定為基準點O’。在該情
況下,最低限度需要的基準軸是一軸(粘膜變化軸AX2)就夠了,所以處理負荷變輕,處理速
度提高。
[0178] 另外,在上述的實施方式中,雖然光源裝置230與電子內(nèi)窺鏡用處理器200一體設(shè)置,但是,光源裝置230也可以作為與電子內(nèi)窺鏡用處理器200分體的裝置而設(shè)置。
[0179] 另外,作為固體攝像元件108,也可以使用CMOS(ComplementaryMetalOxideSemiconductor:互補金屬氧化物半導(dǎo)體)圖像傳感器來代替CCD圖像傳感器。CMOS圖像傳感
器通常具有與CCD圖像傳感器相比圖像整體變暗的傾向。因此,由上述實施方式的結(jié)構(gòu)所帶
來的、能夠抑制由圖像的明亮度引起的評價值變動這樣的有利效果在使用CMOS圖像傳感器
作為固體攝像元件的情況下得以更顯著地顯現(xiàn)。
[0180] 為了高精度地進行診斷,優(yōu)選得到高精細的圖像。因此,在進一步提高診斷的精度的觀點而言,圖像的分辨率優(yōu)選為100萬像素以上,更優(yōu)選為200萬像素,進一步優(yōu)選為800
萬像素以上。圖像的分辨率越高,用于對所有像素進行上述的評價值計算的處理負荷越重。
但是,根據(jù)上述實施方式的結(jié)構(gòu),能夠抑制評價值計算的處理負荷,因此在處理高精細的圖
像的情況下由本實施方式的結(jié)構(gòu)所帶來的有利效果得以顯著地顯現(xiàn)。
[0181] 另外,在上述的實施方式中,采用了使用光傳感器132來獲取電子鏡100前端部的位置(攝像位置)的信息的結(jié)構(gòu),但本發(fā)明并不限定于該結(jié)構(gòu),也可以設(shè)為通過其它方法來
獲取攝像位置的信息的結(jié)構(gòu)。例如,也可以設(shè)為代替光傳感器132而將具備光源和受光元件
的光學(xué)式接近傳感器設(shè)置于電子鏡100的插入部130的結(jié)構(gòu)。在該情況下,當光學(xué)式接近傳
感器插入到消化管內(nèi)時,在消化管的內(nèi)壁反射的傳感器光由受光元件檢測,從而檢測接近。
因此,與上述的實施方式相反,通過將受光元件檢測光的光學(xué)式接近傳感器的分布長度判
斷為插入到消化管內(nèi)的插入部130的長度,能夠獲取電子鏡100前端部的位置的信息。
[0182] 另外,也可以設(shè)為代替光傳感器132而將根據(jù)與光學(xué)式鼠標相同的原理檢測移動量(移動的距離以及方向)的移動量傳感器設(shè)置于電子鏡100的插入部130的結(jié)構(gòu)。在該情況
下,只要在插入部130的前端附近只設(shè)置一個移動量傳感器即可。
[0183] 需要說明的是,在光學(xué)式接近傳感器或移動量傳感器的光源中,能夠使用從近紅外線到可見光區(qū)域的范圍的任意波長的光源(例如LD或LED),但通過使用由血紅蛋白引起
的吸收少、生物體組織表面上的反射率高的紅色區(qū)域的光源,能夠得到高的檢測精度。
[0184] 另外,也能夠在內(nèi)窺鏡檢查中從被檢者的體外獲取磁共振圖像、X射線圖像或超聲波圖像,再根據(jù)這些圖像來決定內(nèi)窺鏡前端部的位置。另外,也能夠通過內(nèi)窺鏡圖像的圖像
分析來計算內(nèi)窺鏡前端部在消化管內(nèi)的移動量,由此決定內(nèi)窺鏡前端部的位置。
[0185] 另外,在上述的實施方式中,對于對象疾病,第一癥狀等級和第二癥狀等級的判定條件不重復(fù),因此將總病變指數(shù)作為雙方的病變指數(shù)的和進行了計算。但是,在各病變的判
定條件重復(fù)的情況下,也可以將被判定為具有任一病變的像素的數(shù)量除以有效像素數(shù)而得
到的值作為總病變指數(shù)。
[0186] 另外,上述的實施方式是通過手術(shù)者的手動操作來記錄靜態(tài)圖像的結(jié)構(gòu),但也可以設(shè)為如下結(jié)構(gòu):在電子鏡100的插入部130從檢查范圍的最深部拔出之際,當插入部130的
前端到達了預(yù)先設(shè)定的靜態(tài)圖像獲取位置(觀察點)時,驅(qū)動器信號處理電路112自動發(fā)出
靜態(tài)圖像保存的指令而自動地保存靜態(tài)圖像。
[0187] 另外,在上述的實施方式中,使用了具有R、G、B拜耳陣列濾色片108b的固體攝像元件108,但也可以設(shè)為使用具有補色系的Cy(青色)、Mg(品紅色)、Ye(黃色)、G(綠色)的濾光
片的固體攝像元件的結(jié)構(gòu)。
[0188] 附圖標記說明[0189] 1電子內(nèi)窺鏡系統(tǒng)[0190] 100電子鏡[0191] 132移動量傳感器[0192] 200電子內(nèi)窺鏡用處理器[0193] 202系統(tǒng)控制器[0194] 220圖像處理單元[0195] 222第一圖像處理電路[0196] 222aRGB轉(zhuǎn)換部[0197] 222bTE處理部[0198] 222c有效像素判定部[0199] 222d顏色空間轉(zhuǎn)換部[0200] 222e炎癥強度算出部[0201] 222f疊加處理部[0202] 224圖像存儲器[0203] 226存儲器[0204] 228第二圖像處理電路[0205] 228a病變指數(shù)計算部[0206] 228b顯示畫面生成部[0207] 228c報告生成部[0208] 300監(jiān)視器[0209] 400打印機[0210] 600服務(wù)器。
聲明:
“電子內(nèi)窺鏡用處理器以及電子內(nèi)窺鏡系統(tǒng)” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)