تقسیم بندی چند ارگان بر روی مجموعه داده های جزئی با برچسب با انتزاع ویژگی چند مقیاس

گروه مهندسی زیست پزشکی و مرکز بیوتکنولوژی و مطالعات بین رشته ای در انستیتوی پلی تکنیک Rensselaer ، Troy ، NY ، USA 12180.

خلاصه

کمبود مجموعه داده های کاملاً حاشیه نویسی یک عامل محدود کننده در توسعه الگوریتم های تقسیم بندی تصویر مبتنی بر یادگیری عمیق بوده و مشکل در تقسیم بندی چند ارگان برجسته تر می شود. در این مقاله ، ما یک استراتژی آموزشی یکپارچه را پیشنهاد می کنیم که یک شبکه عصبی عمیق چند مقیاس جدید را قادر می سازد تا در مجموعه های مختلف دارای برچسب جزئی برای تقسیم بندی چند اندام آموزش دیده باشد. علاوه بر این ، یک معماری شبکه جدید برای انتزاع ویژگی چند مقیاس برای ادغام ورودی هرمی و تجزیه و تحلیل ویژگی ها در یک ساختار هرم به شکل U پیشنهاد شده است. برای عبور از شکاف معنایی ناشی از ادغام مستقیم ویژگی ها از مقیاس های مختلف ، یک مکانیسم عمق مساوی مساوی معرفی می شود. علاوه بر این ، ما از یک مکانیسم نظارت عمیق برای اصلاح خروجی ها در مقیاس های مختلف استفاده می کنیم. برای استفاده کامل از ویژگی های تقسیم بندی از همه مقیاس ها ، ما یک لایه وزن سازگار را طراحی می کنیم تا خروجی ها را به صورت اتوماتیک فیوز کنیم. همه این مکانیسم ها در کنار هم در یک شبکه انتزاعی هرمی ورودی هرمی (PIPO-FAN) در یک هرمی ورودی ادغام می شوند. روش پیشنهادی ما در چهار مجموعه داده در دسترس عمومی ، از جمله BTCV ، LITS ، کیت ها و طحال ، که در آن عملکرد بسیار امیدوارکننده حاصل شده است ، مورد بررسی قرار گرفت. کد منبع این کار به طور عمومی در https://github.com/dial-rpi/pipo-fan به اشتراک گذاشته می شود تا دیگران را برای تولید مثل کار و ساخت مدل های خود با استفاده از مکانیسم های معرفی شده تسهیل کند.

واژه‌های کلیدی: تقسیم بندی تصویر پزشکی ، ویژگی چند مقیاس ، یادگیری عمیق ، شبکه های عصبی حلقوی ، تقسیم بندی چند اندام ، مجموعه داده های متعدد

مقدمه

تقسیم بندی خودکار چند ارگان ، یک مؤلفه اساسی تجزیه و تحلیل تصویر پزشکی ، نقش مهمی در تشخیص به کمک رایانه دارد. به عنوان مثال ، مکان یابی و تقسیم آناتومی شکمی تصاویر CT می تواند در تشخیص و درمان سرطان بسیار مفید باشد [1]. با افزایش یادگیری عمیق در چند سال گذشته ، بسیاری از روشهای مبتنی بر شبکه عصبی عمیق (CNN) ارائه شده و برای تقسیم تصویر پزشکی استفاده شده است [2] - [5]. دو استراتژی اصلی برای بهبود عملکرد تقسیم بندی تصویر عبارتند از: (i) طراحی معماری های مدل بهتر و (ب) یادگیری با مقیاس بزرگتر داده های دارای برچسب.

مدل های پیشرفته در تقسیم بندی تصویر پزشکی انواع مختلفی از معماری رمزگذار-دکوراسیون ، مانند شبکه کاملاً حلقوی (FCN) [6] و U-NET [7] است. تمرکز عمده روشهای تقسیم بندی مبتنی بر FCN با ترکیب ویژگی های چند مقیاس بر مهندسی ساختار شبکه بوده است. دلیل این امر این است که ویژگی های چند مقیاس حاوی اطلاعات بافتی دقیق همراه با اطلاعات متنی هستند که برای تقسیم تصویر معنایی مفید هستند. روشهای تقسیم بندی تصویر یادگیری عمیق موجود که از ویژگی های چند مقیاس بهره برداری می کنند ، به طور کلی با طرح های ساختار هرمی با استفاده از اتصالات پرش یا ماژول های تجزیه کننده هرمی همراه است. شبکه هایی که از اتصالات پرش برای بهره برداری از ویژگی های سطوح مختلف استفاده می کنند ، به عنوان شبکه های پرش [8] گفته می شوند. ویژگی های موجود در Skip-Net به دلیل افزایش اندازه میدان گیرنده ، طبیعت چند مقیاس هستند. U-NET [7] همانطور که در شکل 1 (a) نشان داده شده است ، یک شبکه معمولی با ساختار هرمی است که معمولاً به عنوان یک شبکه پایه برای یادگیری اطلاعات پیکسل در تقسیم تصویر پزشکی استفاده می شود. بسیاری از آثار با ترکیب بلوک های حلقوی جدید مانند بلوک های باقیمانده [9] و بلوک های متراکم ، عملکرد تقسیم بندی را در بالای U-NET بهبود می بخشند [10]. به عنوان مثال ، هان [11] با جایگزینی لایه های حلقوی در شبکه U با بلوک های باقیمانده از Resnet ، ISBI 2017 Lits Challenge 1 را به دست آورد. لی و همکاران.[2] قسمت رمزگذار U-NET را با Densenet-169 جایگزین کرد و دقت بالایی از تاس 95. 3 ٪ را در تقسیم CT کبد بدست آورد.

(الف) ساختار همبستگی هرمی از SKIP-NET در رایج ترین شکل U-NET.(ب) تجزیه و تحلیل ورودی هرمی (P-IA) تجزیه هرم در تجزیه و تحلیل ویژگی های ورودی و هرمی (P-FA) از تجزیه هرمی در ویژگی های میانی استفاده می کند.(ج) شبکه انتزاع ویژگی هرم پیشنهادی ما ، ورودی هرمی را با همبستگی عمق مساوی (EDC) تجزیه و تحلیل می کند و خروجی هرم را برای دستیابی به تقسیم بندی بهبود می بخشد.

علاوه بر بررسی پیچیدگی های جدید در ساختارهای شبکه هرمی برای استخراج کارآمد ویژگی های سطح بالا ، ترکیب تجزیه هرمی در FCN همچنین به استفاده از اطلاعات چند مقیاس در کارهای تقسیم بندی کمک می کند [12]-[14]. شکل 1 (ب) دو نوع کلی ماژول تجزیه کننده هرمی ، تجزیه و تحلیل ورودی هرمی (P-IA) و تجزیه و تحلیل ویژگی هرم (P-FA) را نشان می دهد. P-IA CNN را بر روی هرم ورودی برای استخراج ویژگی های چند مقیاس از طریق کانال های موازی حلقوی اعمال می کند [12] ، [15]. روشهای P-FA بعد از استخراج ویژگی ها توسط CNN برای انتزاع بیشتر ، تجزیه هرمی را انجام می دهند. در این آثار ، ویژگی های مقیاس های مختلف فقط در مرحله بسیار دیررس شبکه ها برای تولید برچسب های خروجی نهایی ترکیب می شوند [13].

در کار ما فرض می کنیم که استخراج و حفظ ویژگی های چند مقیاس از طریق شبکه برای جمع آوری اطلاعات متنی سلسله مراتبی می تواند عملکرد تقسیم بندی را به میزان قابل توجهی بهبود بخشد. اگرچه ماژول های تجزیه کننده هرمی و سازه های هرمی با اتصالات پرش در کارهای مختلف دید رایانه ای (به عنوان مثال تشخیص شوری ، تشخیص شی ، تقسیم تصویر) مورد استفاده قرار گرفته است ، این مکانیسم ها برای اکتشاف ، به ویژه در بخش بندی چند اورژان از تصاویر پزشکی یکپارچه نشده اند. در این مقاله ، همانطور که در شکل 1 (c) نشان داده شده است ، ما یک معماری شبکه جدید را طراحی می کنیم ، که ورودی های هرمی را با مسیرهای انفرادی اختصاصی برای ترکیب ویژگی ها از مقیاس های مختلف برای استفاده از اطلاعات سلسله مراتبی می گیرد. پیچیدگی های سلسله مراتبی از طریق مقیاس های مختلف شکاف معنایی بین انتهای اتصالات را کاهش می دهد. برای فیوز ویژگی های تقسیم بندی از مقیاس های مختلف ، ما یک لایه وزن سازگار را بیشتر طراحی می کنیم. به طور خاص ، این لایه از مکانیسم توجه برای محاسبه اهمیت ویژگی ها از هر مقیاس استفاده می کند. بنابراین روش پیشنهادی به عنوان ورودی هرمی و خروجی هرمی (PIPO) شبکه انتزاع (FAN) ساخته شده است. روش پیشنهادی را می توان به راحتی در سایر شبکه های U-شکل موجود برای بهبود قدرت بازنمایی ویژگی مدل ها ادغام کرد.

CNN های عمیق عملکرد بسیار خوبی را برای تقسیم بندی اندام نشان داده اند. با این حال ، ما اغلب با مشکل تقسیم چند ارگان در کاربردهای بالینی روبرو هستیم. تقسیم ارگان های متعدد به طور مستقل با استفاده از الگوریتم های تقسیم بندی اندام ممکن است ساده باشد ، که با این حال ، نمای کلی از تصویر را از دست می دهد. بنابراین ، عملکرد تقسیم بندی ممکن است تخریب شود. با این حال ، جمع آوری حاشیه نویسی های چند اندام برای الگوریتم های آموزش دشوارتر از حاشیه نویسی مجموعه داده های ارگان های منفرد است. در حالت ایده آل ، محققان می توانند از مجموعه داده های مشابه ایجاد شده توسط سازمان های مختلف برای تحقیقات خود استفاده کنند. با این حال ، در واقعیت ، همیشه تفاوت هایی وجود خواهد داشت که از مجموعه داده ها به طور مستقیم استفاده نمی شود ، زیرا این داده ها برای اهداف مختلف جمع آوری شده اند. به عنوان مثال ، چندین مجموعه داده CT شکمی در دسترس عموم است اما با اندامهای هدفمند مختلف در معرض خطر قرار می گیرند ، همانطور که در شکل 2 نشان داده شده است. یک مجموعه داده CT شامل تقسیم بندی برچسب زده شده از طحال است ، در حالی که مجموعه داده دیگر فقط حاشیه نویسی کبد را شامل می شود. اگر بتوانیم از همه این مجموعه داده ها برای آموزش یک شبکه تقسیم بندی چند ارگ استفاده کنیم ، بسیار سودمند خواهد بود. برای دستیابی به این هدف ، در این مقاله ، ما یک استراتژی آموزشی یکپارچه با یک ضرر تطبیقی هدف جدید پیشنهاد می کنیم.

نمونه تصاویر از مجموعه داده های Lits ، Kits ، Spleen و BTCV. برخی از اندام ها در تمام مجموعه داده ها گنجانده شده اند اما فقط در بیش از دو مورد از آنها حاشیه نویسی شده اند.

در این مقاله ، ما به طور گسترده روش پیشنهادی را در مجموعه داده های تقسیم بندی تقسیم بندی BTCV (فراتر از طاق جمجمه) ارزیابی کردیم و سه مجموعه داده با برچسب جزئی ، از جمله تقسیم تومور کبد Miccai 2017 (LITS) Datast ، Datast Miccai 2019 (بخش) Miccai 2019 تومور (KITS)مجموعه داده های 4 چالش و مجموعه داده های تقسیم بندی طحال [16]. ما عملکرد بسیار امیدوارکننده ای از تقسیم تصویر پزشکی را در این مجموعه داده ها نسبت به رویکردهای پیشرفته نشان می دهیم.

مشارکتهای ما در این کار را می توان به شرح زیر خلاصه کرد.

یک شبکه جدید هرمی و شبکه هرمی برای چگالش ویژگی های چند مقیاس برای کاهش شکاف های معنایی بین ویژگی های مقیاس های مختلف معرفی شده است.

یک لایه وزن تطبیقی مبتنی بر متن برای فیوز ویژگی های تقسیم بندی از مقیاس های مختلف استفاده می شود.

از دست دادن تطبیقی هدف با یک استراتژی آموزش یکپارچه برای فعال کردن تقسیم تصویر بر روی چندین مجموعه داده با برچسب جزئی با یک مدل واحد یکپارچه شده است.

عملکرد بسیار رقابتی با پیشرفته با استفاده از شبکه توسعه یافته در چندین مجموعه داده عمومی در دسترس است.

II. کارهای مرتبط

A. یادگیری ویژگی های چند مقیاس

ویژگی های چند مقیاس حاوی بافت دقیق و اطلاعات زمینه ای است که برای بسیاری از وظایف دید رایانه از جمله تشخیص شیء [17] ، تشخیص شوری [18] و تقسیم تصویر مفید است [19]. یادگیری ویژگی های چند مقیاس به طور کلی می تواند به دو دسته گروه بندی شود. نوع اول ، که گاهی اوقات به عنوان SKIP-NET [8] گفته می شود ، ویژگی های مختلف سطح را با اتصالات پرش ترکیب می کند. آنها همیشه در ساختارهای هرمی هستند. به عنوان مثال ، FPN [20] ، U-Net [7] و Fed-Net [21] از یک رمزگذار استفاده می کنند که به تدریج نمونه های پایین برای ضبط متن بیشتر می شود ، و به دنبال آن یک رمزگذار که یاد می گیرد از تقسیم بندی استفاده کند. اطلاعات ظاهر خوب سطح پایین از طریق اتصالات پرش ، دروازه های توجه یا بلوک های حلقوی بین لایه های کم عمق و عمیق ، در ویژگی های سطح بالا درشت قرار می گیرد. این آثار به طور مؤثر با استفاده از اتصالات پرش ، زمینه چند مقیاس را فیوز می کنند ، اما در عین حال شکاف معنایی عظیمی بین ویژگی ها در دو انتهای اتصالات ایجاد می کند. Unet ++ [22] سعی می کند با طراحی مجدد مسیرهای پرش به ویژگی های مشابه معنایی ، شکاف معنایی Skip-Net را برطرف کند. از ساختارهای هرمی برای استخراج ویژگی های چند مقیاس در کارهای بینایی رایانه استفاده شده است. برای به دست آوردن ویژگی های هرمی مؤثر ، از نظارت عمیق در تشخیص شوری [18] و تقسیم تصویر استفاده شده است [23]. در آثار تشخیص شی با استفاده از ویژگی های هرمی [17] ، [20] ، تشخیص در سطوح مختلف در هرم ویژگی برای اشیاء در اندازه های مختلف انجام می شود. ویژگی های هرمی برای ارائه زمینه چند مقیاس برای پیش بینی نهایی ذوب می شوند. این مکانیسم نشان داده شده است که بسیار مفید است ، که با این حال ، در تقسیم بندی چند ارگان مورد بررسی قرار نگرفته است. SEGCAPS [24] کپسول هایی را برای تقسیم اشیاء معرفی می کند ، که جایگزین لایه های استخر حداکثر با گام های حلقوی و مسیریابی پویا برای حفظ اطلاعات مکانی می شود. این به عملکرد تقسیم بندی بسیار رقابتی در مقایسه با UNET می رسد ، اما با کاهش فضای پارامتر قابل ملاحظه ای.

نوع دوم روشها از ماژول تجزیه هرمی برای استخراج ویژگی های چند مقیاس در همان سطح حلقوی با تجزیه و تحلیل ورودی هرمی (P-IA) یا آنالیز ویژگی هرمی (P-FA) استفاده می کند ، همانطور که در شکل 1 نشان داده شده است. این ویژگی ها دارای زمینه های پذیرایی مؤثر متفاوتی هستند و برای تقویت توانایی بازنمایی ویژگی اطلاعات زمینه به هم پیوسته یا خلاصه می شوند. به عنوان مثال ، روش های P-FA مانند PSP-NET [13] استخر هرمی مکانی را برای نقشه های ویژگی های حلقوی برای تجزیه و تحلیل ویژگی هرم اعمال می کنند. Deeplab [25] و Ce-Net [26] از همبستگی موازی با نرخ نمونه برداری مختلف برای استخراج ویژگی های چند مقیاس برای افزایش تقسیم استفاده می کنند. شین و همکاران.[27] ماژول توجه را در لایه تجزیه هرمی ادغام می کند تا زمینه گیرنده شبکه را به روشی محور داده سازگار کند. از طرف دیگر ، روشهای P-IA تجزیه و تحلیل ویژگی را از تصاویر ورودی با اندازه های مختلف انجام دهید ، یعنی هرم تصویر را در مقیاس های مختلف ایجاد کنید. به عنوان مثال ، فاراب و همکاران.[28] با استفاده از شبکه مشترک در مقیاس های مختلف نسخه هرمی لاپلاسی از تصویر ورودی ، تغییر مقیاس مقیاس را اجرا کنید. کامنیتس و همکاران.[15] از یک معماری مسیر دوگانه استفاده می کند که تصاویر ورودی را در مقیاس های مختلف به طور همزمان پردازش می کند تا ویژگی های هرمی را برای تقویت بازنمایی از ویژگی ها استخراج کند.

اگرچه ورودی های هرمی و ماژول تجزیه کننده هرمی معمولاً در دید رایانه مورد استفاده قرار می گیرند ، اما در تقسیم بندی چند اندام مورد بررسی قرار نگرفته اند. از آنجا که هم ماژول تجزیه کننده هرمی و هم Skip-Net می توانند اطلاعات زمینه چند مقیاس را برای کمک به تقسیم بندی تصویر استخراج کنند ، همچنین ممکن است برای تقویت بیشتر عملکرد ترکیب شوند. برخی از آثار اخیر مانند [29] ، [30] ویژگی ها را از تصاویر ورودی هرمی گرفته تا ساختار u-net ادغام می کنند. با این حال ، از آنجا که این ویژگی ها در سطوح مختلف انتزاع معنایی قرار دارند ، فیوز این ویژگی ها از مقیاس های مختلف ممکن است مشکل شکاف معنایی را ایجاد کند. بنابراین ، این شبکه ها تنها با استفاده جزئی از شکل هرمی U-NET ، نتوانند اطلاعات زمینه چند مقیاس را کاهش دهند.

ب - تقسیم بندی بیش از چندین مجموعه داده

مجموعه داده های مختلفی برای تقسیم بندی معنایی ارائه شده است. آموزش یک مدل کلی بر روی مجموعه داده های متعدد، ویژگی ها را قوی تر و دقیق تر می کند. هنگامی که حاشیه نویسی برای مجموعه داده های مختلف برچسب های یکسانی باشد [31]، مدل می تواند مستقیماً روی این داده ها آموزش داده شود [32]. با این حال، در بیشتر موارد، مجموعه داده های مختلف حاشیه نویسی متفاوتی دارند. اگرچه بسیاری از مجموعه‌های داده اطلاعات ظاهری مشابهی را به اشتراک می‌گذارند، تفاوت حاشیه‌نویسی آن را به یک مشکل چالش برانگیز تعمیم مدل در مجموعه‌های داده متعدد تبدیل می‌کند. کارهای زیادی برای مقابله با مشکل تنوع انجام شده است. این آثار را می توان با توجه به انواع مختلف تفاوت حاشیه نویسی تقسیم کرد. هنگامی که برچسب های قوی (حاشیه نویسی از نظر پیکسل) و برچسب های ضعیف (دسته تصویر، کادر محدود) در چندین مجموعه داده وجود دارد. این یک مشکل تقسیم بندی نیمه نظارت شده است. ویژگی های استخراج شده از رمزگذار برای یادگیری از طریق یادگیری چند وظیفه ای استفاده می شود. هونگ و همکاران[33] برچسب‌های کلاس قطار و تقسیم‌بندی همراه با دو شاخه. پاپاندرو و همکاران[34] روش‌های انتظار-بیشینه‌سازی (EM) را برای آموزش مدل تقسیم‌بندی تصویر معنایی بر روی تعداد کمی از تصاویر با برچسب قوی و بسیاری از تصاویر با برچسب ضعیف، که از یک یا چند مجموعه داده منبع‌یافته‌اند، توسعه دادند. زمانی که برچسب ها متفاوت هستند اما انواع حاشیه نویسی از نظر پیکسلی است. فقط چند کار برای حل مشکل انجام شده است. برخی از آثار [35]، [36] طبقه بندی سلسله مراتبی را برای مجموعه داده های ناهمگن چندگانه طراحی می کنند. هر طبقه بندی کننده برچسب های فرزند یک گره را طبقه بندی می کند و کل طبقه بندی کننده آموزش داده می شود. با این حال، سلسله مراتب معنایی برچسب ها مورد نیاز است. از دست دادن تاس چند منبعی پیشنهاد شده توسط تانگ و همکاران.[37] کار مرتبط دیگری است که برای آموزش یک شبکه تقسیم‌بندی بر روی مجموعه داده‌های چند منبعی ناهمگن برای بخش‌بندی طحال استفاده شد. برخلاف این روش‌ها، رویکرد پیشنهادی ما یک مدل واحد را با استفاده از برچسب‌های جزئی، که از اطلاعات نسبت برچسب بهره‌برداری می‌کند، اجازه می‌دهد. برای آموزش مدل خود، یک تابع ضرر جدید را معرفی می‌کنیم که خود را با نسبت برچسب‌های شناخته شده در هر مثال تطبیق می‌دهد.

ج. بخش بندی چند اندام

تقسیم بندی دقیق و قوی چند اندام ضروری است. سه روش، مدل‌های آماری [38]، [39]، روش‌های چند اطلس [40]، [41] و روش‌های بدون ثبت [42]، [43] همیشه برای انجام بخش‌بندی چند اندامی استفاده می‌شوند. با این حال، این روش ها همیشه مختص اندام هستند و نیاز به دانش حرفه ای قبلی و طراحی دستی دارند.

پیشرفت های اخیر در یادگیری عمیق و در دسترس بودن داده ها امکان آموزش روشهای پیچیده تر ثبت نام را فراهم می کند ، به عنوان مثال. CNN عمیق ، که نه مکاتبات آناتومیکی صریح و نه ویژگی های دست ساز. بسیاری از مطالعات مبتنی بر CNN های عمیق متمرکز بر تقسیم اندام واحد ، به ویژه برای مناطق شکمی به دلیل شدت و تغییر اندازه مشابه بین اندام های هدف مختلف. تقسیم بندی چند ارگان در CT شکم یک مشکل مهم برای حل تشخیص و درمان دقیق بوده است. روشهای تقسیم بندی مبتنی بر یادگیری عمیق برای تقسیم اندامهای متعدد شکمی [32] ، [44] - [47] ایجاد شده است. برخی از آثار از تقسیم دو مرحله ای برای بهره برداری از اطلاعات آناتومیکی قبلی استفاده می کنند [45]-[47]. به طور خاص ، چن و همکاران.[45] از یک ماژول توجه اندام برای هدایت تقسیم بندی خوب استفاده کنید. با این حال ، اکثر آثار موجود بیشتر برای یک مجموعه داده خاص با برچسب تمام اندام های هدف سفارشی می شوند. فقدان تنوع و کیفیت مجموعه داده ها ، مدل های تقسیم بندی را خاص برای بیماری های خاص و همچنین آموزش دشوار می کند.

آرامش بخشیدن به نیازهای یادگیری برای بهره برداری از تمام برچسب های موجود ، فرصت های بهتری برای ایجاد مجموعه داده های در مقیاس بزرگ برای آموزش شبکه های عصبی عمیق باز می کند. یک استراتژی امیدوارکننده استفاده از حاشیه نویسی های جزئی از چندین مجموعه داده موجود است که ممکن است برخی از اندام های دارای برچسب مشترک را به اشتراک بگذارد. برچسب های جزئی اخیراً برای بهبود عملکرد طبقه بندی تصویر معرفی شده اند [48]. ما تصور می کنیم مجموعه داده های مختلف مکمل هستند ، که می توانند با هم برای آموزش یک مدل تقسیم بندی یکپارچه بدون آسیب رساندن به عملکرد استفاده شوند.

iiiورودی هرمی و خروجی هرمی ویژگی شبکه انتزاع

در این بخش ، ما یک شبکه هرمی جدید و خروجی هرمی جدید شبکه انتزاع (PIPO-FAN) ارائه می دهیم ، که اطلاعات زمینه چند مقیاس و ویژگی های مشابه معنایی را با یک شبکه واحد کاملاً فیوز می کند. تجزیه و تحلیل ورودی هرمی و تجزیه و تحلیل ویژگی هرم در شبکه پیشنهادی یکپارچه شده اند. فرضیه ما این است که اطلاعات معنایی در اعماق مختلف می تواند با استفاده از ویژگی های متنی سلسله مراتبی بیشتر شود. Pipo-Fan قصد دارد تا به طور مؤثر ویژگی های چند مقیاس برای تقسیم تصویر پزشکی ، در بالای ماهیت چند مقیاس U-NET را استخراج کند. شکل 3 ساختار کلی PIPO پیشنهادی را نشان می دهد. این شبکه استخر هرمی مکانی را بر روی ویژگی های چند مقیاس ورودی و سلسله مراتبی در هر سطح که توسط مکانیسم نظارت عمیق اعمال می شود ، انجام می دهد.

نمای کلی از معماری PIPO. با معماری طراحی شده ، اطلاعات تصویر از ورودی هرمی به خروجی هرمی از طریق انتزاع سلسله مراتبی و ترکیب در هر سطح پخش می شود.

A. ورودی هرمی با عمق حلقوی برابر

برای جستجوی الگوهای از تصاویر در مقیاس های مختلف ، یعنی عدم تغییر مقیاس ، شبکه پیشنهادی ابتدا با استفاده از جمع آوری هرمی مکانی و جمع آوری مشترک ، تجزیه و تحلیل هرمی را به تصویر ورودی انجام می دهد تا اطلاعات زمینه را در مقیاس های مختلف بدست آورد. بر خلاف روشهای کلاسیک U-NET ، که در آن مقیاس فقط با افزایش عمق حلقوی کاهش می یابد ، PIPO-FAN دارای ویژگی های چند مقیاس در هر عمق است و بنابراین هر دو اطلاعات زمینه جهانی و محلی می توانند برای تقویت ویژگی های استخراج شده ادغام شوند. پس از گذراندن یک یا چند لایه حلقوی ، این ویژگی ها برای داشتن اطلاعات ساختاری سلسله مراتبی در کنار هم قرار می گیرند. نقشه های ویژگی ورودی به هر سطح U-Net و Pipo-Fan برای مقایسه در جدول I ذکر شده است. در جدول I ، من_حرفورودی را در مقیاس S-th ، f نشان می دهد_{s ، j}ویژگی های ورودی بلوک Convolution J-th را در مقیاس S-th نشان می دهد ، و S تعداد مقیاس ورودی ها است. نقشه ویژگی به اولین بلوک حلقوی در هر مقیاس f_{S ، 1}همانطور که من تنظیم شده است_حرف.

جدول من

مقایسه ویژگی ها در U-Net و Pipo-Fan.

یک شخصیت قابل توجه Pipo-Fan این است که ویژگی های ذوب شده در هر سطح همه از همان تعداد لایه های حلقوی عبور می کنند ، یعنی آنها دارای عمق حلقوی برابر (ECD) هستند. با درج مجدد نمونه ها به شبکه ها ، همانطور که در شکل 3 توسط جعبه های رنگ آبی روشن نشان داده شده است ، حاصل می شود. برخلاف آثار موجود ، به عنوان مثال[29] ، [30] ، که در آن ویژگی ها پس از عمق مختلف پیچیدگی ها به طور مستقیم در کنار هم قرار می گیرند ، ما با مشکل شکاف معنایی با استفاده از ECD سر و کار داریم. با اتصالات ECD پیشنهادی ، تمام ویژگی های ذوب شده در هر مرحله در همان سطح انتزاع معنایی قرار دارند تا از شکل هرمی U-NET بهتر بهره برداری کنند.

ب. خروجی هرمی

علاوه بر این ، با الهام از کار نظارت عمیق [23] ، ما نظارت عمیق هرمی (DPS) را به مسیر رمزگشایی برای تولید و نظارت بر خروجی های مقیاس های مختلف معرفی می کنیم. در طی فرآیند آموزش ، ما هرم مکانی را به تقسیم حقیقت زمین انجام می دهیم تا برچسب ها در کلیه مقیاس های خروجی تولید کنیم. از دست دادن آموزش با استفاده از خروجی مربوطه و تقسیم حقیقت زمین در همان مقیاس محاسبه می شود. آنتروپی متقاطع وزنه برداری به عنوان عملکرد از دست دادن در کار ما استفاده می شود ، که به عنوان تعریف شده است

جایی که P I ، S C احتمال پیش بینی شده وکسل I متعلق به کلاس C (کبد ، کلیه ، طحال یا پس زمینه) را در مقیاس S نشان می دهد

Y I ، S C برچسب حقیقت زمین در مقیاس S ، N است_حرفتعداد وکسل ها را در مقیاس S نشان می دهد ، و W I C یک پارامتر وزنه برداری برای کلاس C است. DPS می تواند به رفع مشکل ناپدید شدن شیب در شبکه های عصبی عمیق و یادگیری ویژگی های سطح عمیق با زمینه های سلسله مراتبی کمک کند. همچنین برای حفظ اطلاعات ساختاری ، خروجی ها را در همه مقیاس ها اعمال می کند.

ج - همجوشی تطبیقی

با مکانیسم DPS ذکر شده در بالا ، ویژگی های تقسیم بندی آموزنده در مقیاس های مختلف به دست می آید. از آنجا که آنها ممکن است حاوی اطلاعات زمینه مکمل باشند ، ما انگیزه داریم که این ویژگی ها را با هم فیوز کنیم تا به تقسیم بندی دقیق تر برسیم. برای بهره برداری مؤثر از اطلاعات متنی در مقیاس های مختلف ، ما یک ماژول همجوشی تطبیقی (AF) را طراحی می کنیم تا اهمیت نسبی هر مقیاس را بیاموزیم و نقشه های نمره (یعنی آخرین خروجی لایه قبل از SoftMax) را به صورت اتوماتیک فیوز کنیم. برای هر پیکسل از هر نقشه نمره ، مقدار بزرگتر نشان دهنده احتمال بالاتر متعلق به کلاس است. این همچنین به معنای اطمینان بالاتر از پیش بینی است. بنابراین ، فشردن یک کانال از یک نقشه نمره به تک هسته با استفاده از یک عملیات جهانی می تواند یک اندازه گیری از اعتماد به نفس پیش بینی را ارائه دهد.

به طور خاص ، این ماژول AF از مکانیسم توجه برای نشان دادن اهمیت در هر مقیاس استفاده می کند. همانطور که در شکل 4 نشان داده شده است ، پس از انتزاع سلسله مراتبی از ورودی هرمی ، ویژگی های خروجی هرمی در ماژول توجه پخش می شوند. برای بهره برداری از اطلاعات ساختاری مشابه در هر مقیاس ، خروجی های هرمی ابتدا برای دستیابی به عدم تغییر مقیاس به یک بلوک حلقوی مشترک منتقل می شوند.

این ویژگی ها سپس به یک وکتور ویژگی کانال واحد فشرده می شوند که نشانگر نمره کلی خروجی در هر مقیاس است. میانگین جمع آوری جهانی (GAP) و جمع آوری حداکثر جهانی (GMP) می توانند نمره اطمینان جهانی پیش بینی ها را در هر مقیاس استخراج کنند. در کار ما ، GAP و GMP خلاصه می شوند تا نمره جهانی را استخراج کنند_حرفدر مقیاس s

مقادیر از مقیاس های مختلف سپس برای تغذیه در یک لایه softmax جمع آوری می شوند تا وزن مربوطه را برای هر مقیاس بدست آورند. وزنه ها_حرفنشان دهنده اهمیت ویژگی در مقیاس s است. پس از بازگرداندن به اندازه تصویر اصلی ، ویژگی های خروجی هرمی برای به دست آوردن ویژگی های ذوب شده خلاصه می شود ، جایی که وزن مقیاس به عنوان محاسبه می شود