如何看待南京理工大学学生团队研制出的新一代无透镜全息显微镜? 第1页

19/11/14 更新回复评论区一部分问题

首先大学名称我是搞错了，应该是南京理工大学。现在已经修改

我写这个文章的目的其实不是仅仅评价这个项目本身，更多还是向想要了解同轴无镜全息或者计算成像领域的朋友做个科普。我写这篇回答的时候发现很多朋友都比较好奇这个东西的原理而且左超老师自己的回答里面还没有添加原理部分。我正好昨天项目卡死了，就趁这个机会写点科普，也算是个小总结，也希望能吸引一些同行讨论科学方面的问题。同轴无镜全息的原理也比较简单，正好方便大家了解一下计算成像科学的梗概。所以文章是想到哪写到哪，连学校名字也搞错了。另外文章中一些中文的术语不一定正确，我的确不熟悉他们的准确中文翻译，但是我也不想就全留成英文，这样读起来肯定很累，所以只能勉强翻译了。

另外回复评论区几位键盘侠。

有一位说我的回答是翻译英文文章的。答主是个假人。但凡宁看完了文章也不会觉得这个个翻译文本吧。我活了将近30年被宁直接分类成假人也是有点伤心。

还有一位老板说我是恰饭的，我这人也不在国内也没挂公众号真的不知道怎么恰这个饭。文章写长了就必须恰饭? 知乎现在不准义务科普了? 要不这位老板看我这么可怜恰不上饭，宁给我赏点 ?我在文章中优缺点写的也比较明白了，宁真的看完文章了?

#####################回答正文#############################

先说结论，这个系统在科学性上属于比较先进但是算不上技术垄断，因为这个东西由于它本身的限制基本在国外没有被商业化。但是南京理工大学这个大学生创业团队能把这个系统的完成度做到这么高实在是不简单。把文章中的系统做成产品其实是非常困难的任务。报道中有一定程度的夸张，但我相信这是宣传方自作主张的做法。

我还算不上这个领域的专家，如果文章中有科学性的问题欢迎大家指正

我是做QFI quantitative phase imaging(定量相位成像) 的博士生，接触到文中提到的这种技术也有一年多了，正好项目卡住了，趁这个机会写点科普，也算是小的总结吧。

1. 原理

这种装置结构我们一般成为 inline lensless digital holographic microscopy (轴上无镜数字全息显微镜)。其实这种结构就是全息成像的起源，上世纪四十年代 Gabor 教授发明全息的时候使用的就是这种结构，这也帮助他获得了诺贝尔奖。但是他后来就放弃了这个方向，而 inline DHM (digital holographic microscopy)之后很长时间不再被用于光学成像, 在21世纪前这种结构主要被应用于电子显微镜，和X光成像中。原因其实源自于它本身原理上的限制。

全息的原理其实并不复杂，由于光的波动性。相干性好的光可以互相干涉产生干涉条纹，通过这些相位条纹可以的到原来的物体信息。全息成像需要物体光和参考光。inline lensless DHM 的光源一般是一个点光源。一部分光射到物体上被散射从而携带了物体信息被散射形成了物体光，而没有被散射的部分作为参考光。这种结构无需透镜和其他光学器件，非常稳定。这对于光学相干成像来说是个巨大的优点，因为对于相干成像来说震动和装配不稳会对成像造成极大的负面影响。而器件越少系统肯定是越稳定。但是为什么这种结构被一度抛弃了呢，其实是源于它本身的局限。

全息重建的过程如上图所示，以模拟全息为例子。为了重建全息像，需要将参考光照射在全息干板上这样的话可以得到物体光的波前(相位和强度)，这样我们就获得了物体的虚像。但是问题在于我们同时会获得一个孪生像(上图的twin image) 这个像是物体像的共轭，会覆盖在物体像上。在观察这看来就像是图像上多了一圈圈光环，这无疑会降低图像的分辨率。所以在21世纪前大多研究者选择了离轴的形式,使光源物体有一个偏角，这样通过牺牲一半成像面积的方法来使孪生像避开物体像。另外由于没有透镜系统放大，系统的分辨率取决于物体距离大小和sensor的面积。而在上个世纪并没有高分辨率的传感器，所以inline系统一度被抛弃了。

到了21世纪由于微电子科技的发展，高分辨率CMOS CCD 和高性能的计算机逐渐变得平民化，由于inline系统的稳定性和简便性。越来越多的研究者开始重新关注这个领域

2. 代表工作

下面我会简单介绍一下几个代表性的组，

首先在21世纪初加拿大Dalhousie大学 H.J Kreuzer 组，他们可以说是当时这个领域的领军人物。当时他们需要一个可以在深海下仍可以稳定工作的成像方法。由于他们的目的是对活的微生物成像所以染色方法肯定是无法满足的。于是他们开始使用全息方法，由于在海下的极端情况系统肯定需要越简单越好，于是inline lensless 系统成为了第一选择^[1]。

他们是如何避免该结构的问题呢，一方面当时的CCD已经优于上世纪很多，但是像素仍然是10微米甚至以上级别，分辨率仍然不高。为了解决这个问题他们将样品通道置于贴近光源的位置，一方面这样可以获得一个额外的放大率，另一方面因为物体离探测器的距离边远了所以物体像和孪生像的距离也更远了，孪生像的影响当然也更小了。

这个组现在仍然有这个领域工作，感兴趣的朋友可以自行搜索。

近十年的inline 领域就不得不提加州大学的 Aydogan Ozcan组了。到今天为止他们仍然是这个领域的领军人物^[2][3](Ozcan 组的工作太多了在这里不一一引用，感兴趣可以自行搜索)。他们是一个大组基本上inline DHM 的所以能想到了领域他们都有非常优秀的工作。由于近十年微电子科技突飞猛进现在商业CMOS的像素大小已经可以达到接近1微米。同时计算机科学的发展和GPU 计算的发展也使图像处理速度越来越快。Inline lensless 系统的种种问题终于有机会被克服了。

第一由于CMOS的分辨率提高，可以无需系统提供的额外放大率，所以可以将样品贴近CMOS。如果对傅里叶光学稍有了解的话，可以知道这样可以提高到达探测器的空间频率。而孪生像的影响则可以通过计算的方法处理。这样他们成功的通过了一个简单而稳定的系统获得了常规显微镜可以达到的亚微米分辨率。另外由于放大率为1，视场也远比传统显微镜要大得多。

3. 关于这篇新闻

对于我个人来说这个系统最核心的技术其实就在于算法方面，如何可以获得高分辨率同时消除孪生像影响，这是全息成像科学的核心问题。从根本上来说全息还原的问题就是一个优化问题。由于探测器仅能记录幅度信息所以我们有N(N是像素数)个已知量。然而我们想要获得复振幅 a+ib所以我们有2N个未知量，再加上其中还有噪声，所以整个问题就成了一个病态反问题(ill posed inverse problem)。我们可以直接用处理图像中反问题的方法来处理这个问题，例如法国的 C.Fournier 组^[4] 他们在这个方面已经做了二十余年的工作了。然而由于反问题优化的复杂性，这个方法并没有成为主流。

现在的主流方法在根本上大多基于G-S迭代算法和由此发展来的Fienup方法^[5]，Y-Guo ^[6] 算法。由于缺少已知量，一方面可以通过添加先验条件来帮助算法收敛。Tatiana Latychevskaia的正吸收条件是一个很常用的约束。^[7]

另外一个方法就是变换系统设置拍摄多张照片来获得更多的已知量，前面答案中的Fourier Ptychography 其实算是这种方法的一种。但是Fourier Ptychography 一般是在傅里叶空间操作，目的一般是使用一个低数值孔径的镜头来合成一个高数值孔径虚拟镜头并保持一个较大的视场大小。但是这并不是新闻中这个产品的原理，因为不论有镜无镜 Ptychography 是没有参考光的，参考光是全息技术的一个必要的特点。 调整光学设置的方法有非常多，多角度光源，多高度，多波长光源 甚至是倾斜物体或者探测器。然后将这一系列的图像使用上面提到的迭代算法进行迭代来获得物体光场，结合合适的约束我们一方面可以消除孪生像的影响，另一方面如果由于系统设置的调整图像产生了亚像素的偏移，由此获得额外的信息可以实现计算超分辨，一般可以增强3倍左右的分辨率。

具体到这个产品，因为新闻中没有具体信息我只能进行猜测。我一年前看过一篇左教授组的文章 Adaptive pixel-super-resolved lensfree in-line digital holography for wide-field on-chip microscopy^[8]。这篇文章的方法写的比较详细有心的同学可以学习一下。简略来说样品被放置在一个可以纵向移动的压电晶体上，通过压电晶体的移动来控制物体的纵向移动拍摄多张图片，通过处理对准图像开始迭代获得超分辨的图像。但是我不认为这个产品使用了这个方法，一方面压电晶体非常贵，另外对于装配的要求很高不适合这种小的产品。先前的答案说过可能是通过两篇玻璃片提供位移，因为无法查看国内的专利网站，无法确定。

我只能根据我的经验进行推测，如果给我做这个系统，我可能倾向于多光源的方法(类似Ozgan组)，这样的有点在于这个系统没有任何需要移动的部件，这样如果有磕碰整体会更加稳定。但是我并不懂产品的生产所以可能这样会产生装配上的问题。

4. 技术局限

这里我不是特指这个产品的局限而是这个技术的局限。因为我自己也在做这方面的研究所以还是有一些心得。

第一.由于使用迭代算法，而且经常是百万像素进行成百上千次迭代，所需的时间取决于算法优化和计算机计算速度。但是一般来说对于游动的活细胞该技术暂时不太适合。Ozgan组从去年开始应用机器学习的方法来加速像还原。但是不同于一般的医学成像机器学习，因为设备是自制的，标定训练集是个非常耗时而且费力的工作，而且类似于医学成像机器学习，训练出来的模型也不一定具有普遍性。

第二.该方法不适合用于比较大的样品。Gabor 当年就提到过这个问题，当物体足够大的时候就不能忽略物体光对参考光的影响了。样品过大的时候系统就从全息成像变成了衍射成像。相位的还原就更加难以收敛了。但具体多大是大并没有一个详细的研究。T. latychevskaia称 菲涅尔数大于100 就可以称为大物体，这样的物体就难以还原了。但这并不是一个严格证明并验证的结论。^[9]

第三，对于相位差过大的物体这个技术一般也无法还原相位。在生物医学应用中这并不是很大的问题，因为细胞的折射率基本与水类似，相位差就在3到4倍pi。但是如果对其他物体就需要进行折射率匹配。在新闻图像中我们可以看到有些黑色的物体，一方面可能是由于灰尘(幅度物体)，另一些中心亮但是有一个黑圈的就是因为折射率差过大无法成功还原了 。

5. 结论

南京理工学生创业组能做出这个产品不是一个简单的工作。正如我上文的介绍这个技术存在很多难点而他们也提出了自己有创新性的解决方法。这个产品在国外由于种种原因并没有商业化，国外文章中大多数也是利用系统简单稳定的特点，针对第三世界国家野外疾病或寄生虫检测提出的应用场景。这次国内尝试将它应用于医院并尝试将其集成在现有设备中，如果可以成功是个很好的应用尝试。

但是我们也要认识到这项技术并不像新闻中提到的都是优点，可以替代传统百倍显微镜头。事实上传统百倍显微镜头是无法被取代的。不论是在成像方面还是在其他应用场景计算显微方法更多是传统显微镜的一个补充。而在传统光学显微领域我国还是比较落后的。比如高数值孔径显微镜我们最近才由苏州医工所实现了数值孔径(NA)1.45的100x显微镜头，而且暂时还没有大量生产。然而这仅仅是蔡司尼康奥林巴斯上世纪90年代的水平。现在他们已经可以大量生产NA1.49的100x和60x显微镜头(低放大率难度更高)。甚至现在还可以买到NA1.65的镜头 这已经达到了光学镜头的理论极限。这些镜头的价格一般都在单个10万元甚至20万元的级别。这些传统镜头才是真正卡我们脖子的垄断技术。

参考

1. ^[1]Digital in-line holographic microscopy https://www.osapublishing.org/ao/abstract.cfm?uri=AO-45-5-836
2. ^Holographic pixel super-resolution in portable lensless on-chip microscopy using a fiber-optic array https://pubs.rsc.org/en/content/articlelanding/2011/lc/c0lc00684j/unauth#!divAbstract
3. ^Lensfree super-resolution holographic microscopy using wetting films on a chip https://www.osapublishing.org/oe/abstract.cfm?uri=oe-19-18-17378
4. ^Regularized reconstruction of absorbing and phase objects from a single in-line hologram, application to fluid mechanics and micro-biology https://www.osapublishing.org/oe/abstract.cfm?uri=oe-26-7-8923
5. ^Reconstruction of an object from the modulus of its Fourier transform J. https://www.osapublishing.org/oe/abstract.cfm?uri=oe-26-7-8923
6. ^Gerchberg–Saxton and Yang–Gu algorithms for phase retrieval in a nonunitary transform system: a comparison https://www.osapublishing.org/ao/abstract.cfm?uri=ao-33-2-209
7. ^Solution to the Twin Image Problem in Holography Tatiana https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.98.233901
8. ^Adaptive pixel-super-resolved lensfree in-line digital holography for wide-field on-chip microscopy https://www.nature.com/articles/s41598-017-11715-x
9. ^Reconstruction of purely absorbing, absorbing and phase- shifting, and strong phase-shifting objects from their single-shot in-line holograms https://www.osapublishing.org/ao/abstract.cfm?uri=ao-54-13-3925