戴琼海团队和中科院团队合作开发深度学习超分辨显微成像方法

xinkaiduan

1月21日，清华大学自动化系、清华大学脑与认知科学研究院戴琼海课题组与中国科学院生物物理所李栋课题组在《自然•方法》（Nature Methods）期刊发表了题为“光学显微成像中超分辨卷积神经网络的测评和发展”（Evaluation and development of deep neural networks for image super-resolution in optical microscopy）的论文，该文综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上的表现，提出傅立叶域注意力卷积神经网络（DFCAN, Deep Fourier Channel Attention Network）和傅立叶域注意力生成对抗网络（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨重建效果，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。

深度学习超分辨显微成像方法观测细胞骨架的交错结构

        为测评现有多种超分辨神经网络在显微图像超分辨任务中的表现，以及建立基于深度学习的显微图像超分辨算法研究生态，戴琼海/李栋联合课题组首先利用自主搭建的整合了全内反射结构光照明显微镜（TIRF-SIM）、非线性结构光照明显微镜（Nonlinear-SIM）【Science，2015】和掠入射结构光照明显微镜（GI-SIM）【Cell，2018】等多种超分辨成像模态的多模态结构光超分辨显微镜系统对不同生物结构进行成像，建立了一个包含4种不同复杂度的生物结构、9种不同信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高质量超分辨显微成像公开数据集，命名为BioSR。以此为基础，该团队测试了多个现有超分辨神经网络模型的性能，并提出测评矩阵（assessmentmatrix）方法，将超分辨神经网络模型与传统线性结构光照明超分辨技术（Linear-SIM）和非线性结构光照明超分辨技术（Nonlinear-SIM）的效果进行比较，得到了不同模型的优越区域（priorityregion），即给出了不同模型实现足够好的超分辨成像效果、能够用于日常生物成像实验的成像条件。
       但通过分析评测矩阵结果发现，现有超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升2倍分辨率（即Linear-SIM）的成像条件下，而在生物成像实验通常使用的中、高信噪比条件下的性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中的适用范围，提升超分辨成像和重建效果，戴琼海/李栋联合课题组基于高、低分辨率图像频谱覆盖范围的显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其他现有卷积神经网络模型更鲁棒的显微图像超分辨预测效果，依据测评矩阵结果，其优越区域可以拓展至中高信噪比，可在实际生物成像实验中替代现有超分辨成像方法，应用场景得到较大程度的拓展。

傅立叶注意力机制和基于傅立叶域注意力卷积神经网络（DFCAN）、傅立叶域注意力生成对抗网络（DFGAN）结构光超分辨重建的活细胞成像

        应用傅立叶域注意力卷积神经网络（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN）单张显微图像超分辨率预测和结构光照明超分辨重建方法，研究人员能够以更低的激光功率、更快和拍摄速度、更长的拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度的生物结构互作。例如：
      （1）细胞中的线粒体内膜和线粒体拟核之间的相互作用，成像时程（大于1200张超分辨图像）达到传统活体超分辨成像方法的10倍以上，观察到伴随着线粒体内脊形变的拟核分离和聚合现象；
      （2）细胞中环形线粒体的行为，观察到环形线粒体会在细胞质流的推动下进行双向旋转，表明除植物细胞外，动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态；
      （3）细胞内吞过程中细胞微丝（F-actin）和网格蛋白小窝（CCPs）的相互作用，观察到在内吞过程伊始时细胞微丝与网格蛋白小窝接触较少，而在内吞即将结束时细胞微丝频繁接触网格蛋白小窝，以帮助其脱离细胞膜；
       （4）细胞中线粒体和内质网之间的相互作用，观察到线粒体的分裂和融合往往发生在其与内质网的接触位点附近。


       清华大学自动化系戴琼海教授与中国科学院生物物理所李栋研究员为共同通讯作者。清华大学自动化系博士生乔畅、中国科学院生物物理研究所副研究员李迪、博士后郭玉婷、博士生刘冲为该论文共同第一作者。本研究得到了国家自然科学基金委、科技部、中国科学院、中国博士后科学基金、腾讯“科学探索奖”的资助。
        文章链接：https://www.nature.com/articles/s41592-020-01048-5


       文章来源：清华大学
       戴琼海，1964年12月生，清华大学自动化系教授，清华大学生命科学院兼职教授，中国工程院院士。 2005年国家自然科学基金委杰出青年基金获得者，2009年受聘教育部“长江学者奖励计划”特聘教授。主要学术方向为人工智能（立体视觉）和计算摄像学，长期致力于该研究领域的理论和关键技术创新，主持承担了科技部重大基础研究973项目和国家基金委重大仪器项目，成功研制了多维多尺度计算摄像仪器，有望成为脑科学和新一代人工智能的重要利器。
       李栋博士为中国科学院生物物理研究所研究员、博士生导师。2006年毕业于浙江大学光电信息工程学系，获工学学士学位；2011年毕业于香港科技大学获电子与计算机工程学系，获博士学位；2011-2015年在美国霍华德休斯医学研究所从事超分辨显微镜技术开发的博士后研究。目前，李栋研究员从事光学显微成像技术的开发与应用研究，特别是开发适于活体、高速、长时程、低损伤的超分辨荧光显微镜成像技术。首创了基于条纹激活非线性结构光显微镜，以及掠入射结构光超分辨显微镜等成像技术。已在Cell、Science、Nature Communications、Nano Letters、Cell Reports等国际著名期刊上发表20余篇高水平论文。获得中组部“青年##”计划，科技部“2018年度中国科学十大进展”、国际光学工程学会(SPIE) “PicoQuant青年研究员奖”、中科院“百人计划”英才、首届腾讯“科学探索奖”、香港科学会“青年科学家奖获奖者”等多个荣誉。