<p id="lvxrx"></p>

<address id="lvxrx"></address>

    <noframes id="lvxrx"><listing id="lvxrx"><nobr id="lvxrx"></nobr></listing>
      <address id="lvxrx"></address>
          <address id="lvxrx"></address>

            <noframes id="lvxrx"><form id="lvxrx"></form>

          <address id="lvxrx"><listing id="lvxrx"><meter id="lvxrx"></meter></listing></address>

          讓神經網絡“腦補”圖像細節!復旦大數據學院醫學影像人工智能實驗室基于數學與統計建模提出了圖像超分辨率框架

          發布者:劉鐵江發布時間:2022-04-05瀏覽次數:14

          21世紀是一個信息爆炸的時代,其中圖像是日常生活中傳遞信息最直接有效的方式。在微信朋友圈中,我們通過湊齊九宮格曬出自己的飲食、看到的風景以及表達心情的配圖。在每個人的手機中,我們會通過收藏照片來記錄旅行中的風景、過年的團圓照、孩子的成長照、父母的容顏以及曾經的那個自己。但是某一天當你用雙指放大過去的某個瞬間時,你是否發現曾經的那些照片由于手機攝像質量不好或者照片在保存中被壓縮,導致想看的細節丟失。此時此刻,我們只能通過調取大腦中模糊的回憶來腦補曾經的那些點滴?,F在,復旦大數據學院醫學影像人工智能實驗室(ZMIC Lab)可以通過神經網絡自動復原圖像中的細節,來幫助你找回曾經的“記憶”。

          2022年3月29日(美國時間),相關研究成果以《通過深度建模圖像先驗的貝葉斯圖像超分辨率》(“Bayesian Image Super-Resolution with Deep Modeling of Image Statistics”)為題在線發表在全球人工智能領域頂尖期刊《IEEE模式分析與機器智能匯刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence,簡稱TPAMI)。該成果為無監督圖像超分辨率提供了全新的研究思路。

          圖1. IEEE TPAMI (Eearly Access)

          當你用一只手擋住半邊臉時,人腦總能通過已有的認知腦補出另半邊臉,這是因為我們在腦海中已經形成了人臉的原型。在玩拼圖游戲時,人腦總能將各個圖像塊關聯起來,并重新拼接為一副完整的圖。那么人腦是如何將遮擋或者裁剪的圖像復原的了?其實,我們能夠通過半邊臉復原另半邊臉,是因為在大腦的認知中兩邊臉很像。同樣地,我們能夠將不同的兩個圖像碎片拼接到一起,也是因為在大腦的認知中它們更像。那么如何通過數學和統計方法來描述這種“像”了?為了研究這一問題,我們嘗試建模圖像的自相似性。所謂圖像的自相似性是指相鄰或者不相鄰的圖像塊很相似,這正是人腦拼圖時的一種先驗認知。為了建模這種先驗知識,我們從統計的角度出發,將圖像建模為具有相似性的成分。緊接著,我們通過神經網絡來學習這種相似性,從而重建出更加符合人腦先驗認知的圖像。與已有方法相比,貝葉斯圖像超分辨框架可解釋性強、泛化性能好,并且可以應用于真實場景。下圖是貝葉斯圖像超分辨率框架的示意圖。


          圖2. 基于統計建模和變分貝葉斯的圖像超分辨率示例:

          (a) 概率圖模型  (b) 貝葉斯推斷示意圖

          2020年12月22日(美國時間),相關研究成果以《秩一網絡:一個有效的圖像復原框架》(“Rank-One Network: An Effective Framework for Image Restoration”)為題在線發表在全球人工智能領域頂尖期刊《IEEE模式分析與機器智能匯刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence,簡稱TPAMI)。該研究為可解釋的深度圖像復原提供了新思路。

          圖 3. IEEE TPAMI (Early Access)

          在拼圖游戲中,我們常常通過圖像塊的相似性來拼接圖像,但是當考慮整幅圖的全局結構是我們會發現拼接錯誤。這是因為在圖像拼接過程中,人腦過度關注了相鄰圖像塊的相似性,而忽略了所有圖像塊的全局關聯性。為了建模圖像的全局相似性,我們從數學的角度出發,基于神經網絡提出了深度秩一分解與重建框架。圖像的秩一成分代表了圖像的自相似性特征,這是建模圖像的一種有效手段。因此,我們通過如下圖所示的方式分解圖像,從而一定程度上保持圖像的全局相似性。


          圖 4. 圖像秩一分解示例:左圖為秩一分解示例,右圖為不同方法秩一分解結果示意圖

          研究成果的第一作者是復旦大學大數據學院2018級博士研究生高尚奇,通訊作者是莊嚇海教授。相關工作得到了國家自然科學基金和上海人才發展基金的支持。IEEE TPAMI是計算機視覺、模式識別與人工智能領域最頂尖的SCI期刊,2021年影響因子為16.389,是中國計算機協會(CCF)評選出的為數不多的人工智能領域A類期刊之一。近年來,復旦大數據學院醫學影像人工智能實驗室(ZMIC Lab)通過將數學、統計、人工智能與自然圖像和醫學影像相結合,先后在IEEE TPAMI發表了3項研究成果。


          作者簡介

          高尚奇,復旦大學大數據學院2018級博士研究生,師從莊嚇海教授攻讀統計學專業理學博士學位。2015年至2018年在武漢大學數學與統計學院應用數學專業攻讀理學碩士學位,研究方向為反問題計算與張量填充。2011年至2015年在西北工業大學數學系數學與應用數學專業攻讀理學學士學位。當前的研究興趣包括反問題計算、統計建模以及圖像重建。曾經獲得過國際大學生數學建模競賽一等獎、碩士研究生國家獎學金和博士生研究生國家獎學金。目前在IEEE TPAMI、J Sci. Comput.和Neurocomputing等期刊上發表6篇文章,是IEEE TNNLS、Med Imag Ana.、IEEE TMI和Neurocomputing等期刊的審稿人。

          莊嚇海,復旦大學大數據學院教授、博士生導師,2010年在UCL獲得博士學位。發表包括IEEE TPAMI、Med Imag Ana、IEEE TMI、MICCAI、IPMI、CVPR等論文100余篇?,F任IEEE Trans Med Imag, Med Imag Ana、Neurocomputing.等多個期刊的副主編,以及國際學術組織MICCAI協會的理事(Board of Directors)。相關工作曾2次獲MICCAI青年科學家獎提名,多篇文章入選頂級期刊Med Imag. Ana最高引用和熱門下載論文。主要研究方向為醫學影像、圖像處理和大數據分析,涉及深度學習與計算機視覺、貝葉斯深度學習、弱/非監督學習、增量學習等在醫學圖像和自然圖像中的研究。


          論文發表

          [1] Shangqi Gao and Xiahai Zhuang, Bayesian Image Super-Resolution with Deep Modeling of Image Statistics, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, DOI: 10.1109/TPAMI.2022.3163307

          [2] Shangqi Gao and Xiahai Zhuang, Rank-One Network: An Effective Framework for Image Restoration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, DOI: 10.1109/TPAMI.2020.3046476

          国产精品videossex久久
          <p id="lvxrx"></p>

          <address id="lvxrx"></address>

            <noframes id="lvxrx"><listing id="lvxrx"><nobr id="lvxrx"></nobr></listing>
              <address id="lvxrx"></address>
                  <address id="lvxrx"></address>

                    <noframes id="lvxrx"><form id="lvxrx"></form>

                  <address id="lvxrx"><listing id="lvxrx"><meter id="lvxrx"></meter></listing></address>