未来的图像
图像处理引擎直接决定 X 射线系统的图像与视频画质。
这场研发凭借逆向思维,成功扭转技术落后局面。
一段模糊的视频
森田尚孝
“你能把这段影像处理得清晰可辨吗?”
岛津制作所基础技术研究所数据处理单元图像小组组长森田尚孝,一时无言以对。
画面中是心脏与周边血管,还有疏通血管的支架。这些未经处理的原始图像噪声明显、整体模糊。血管位置、血管内导丝的走向都难以分辨。
“我们试试看……”
这是森田当时能给出的最稳妥答复。
飞速迭代的图像处理技术
血管造影装置是利用 X 射线拍摄心脏血管的核心设备,在动脉硬化引发冠状动脉狭窄的导管介入治疗中,是不可或缺的 “临床双眼”。
20 世纪 80 年代出现的导管治疗,相比传统搭桥手术对患者创伤更小,因此快速普及。近年来,随着血管造影装置、支架、导丝等设备性能不断提升,导管治疗的适用范围持续扩大。如今直径约 2 毫米的微细支架已投入临床,即便极细小的血管也能实施治疗,挽救了无数生命。
导管治疗过程中,血管造影装置会持续将患者胸部的 X 射线图像实时投射到显示屏。为将辐射剂量控制在相对低水平,必须使用极微弱的 X 射线。但就像在烛光下看清夜晚的玻璃一样,X 射线强度过低会导致血管、支架、心脏的成像极度模糊。
将这类模糊图像优化为清晰可视画面的,正是图像处理技术。其基本原理与用电脑处理相机照片相似。但血管造影装置有特殊要求:处理对象是动态视频,且手术过程中无法暂停画面逐帧优化,必须以每秒约 15 帧的速度实现近乎实时的自动处理。
梅田充
森一博于 1991 年加入岛津,恰逢医疗影像从模拟时代迈向数字时代的关键节点。
“以当时的计算机运算能力,所谓图像处理只能做非常简单的优化。技术革新速度极快,不到 20 年,原本只能用于静态图像的复杂处理,已经能应用到动态视频上”(森)
当然,高清画质并非只依靠图像处理,球管、探测器性能以及系统整体优化同样关键。随着计算机算力与软件技术大幅提升,图像处理水平逐渐成为决定画质的核心因素。
医疗器械事业部持续深耕影像技术,凭借扎实功底不断迭代优化。2012 年,搭载全新自研高速图像处理引擎的血管造影系统正式上市。
彼时竞品已处于领先位置,团队收到了用户十分严苛的反馈意见。
“看过其他公司的影像后,我们发现,自家视频里看不清的微细血管,在竞品画面中清晰可见。再这样下去肯定不行,我们内心非常焦急”(梅田充)
就在这时,基础技术研究所专注图像处理研发的森田团队,受命接手这一攻坚项目。
“实现未来级画质”
森田尚孝将此视为使命。在此之前,他一直专注研发可应用于 5 年、10 年后产品的超高清处理技术。即便如此,回忆起当时的委任,他坦言并没有十足把握。
“为降低辐射剂量,X 射线强度被大幅削弱,图像噪声非常严重。有些区域甚至难以区分:究竟是该去除的噪声,还是该保留的血管影像”(森田尚孝)
补齐画面缺失的关键
搭载SCORE PRO Advance的新Trinias系列拍摄的左冠状动脉造影图像
基础技术研究所数据处理单元
图像小组 武田 辽
动态图像降噪最经典的方法,是复用历史帧进行叠加累加处理。多帧图像互补融合,可消除随机噪声,得到高对比度清晰画面。
但拍摄目标是动态物体时,叠加会因轮廓错位产生残影。
“为避免残影,动态目标通常不做帧间补偿。而心脏造影中,重点观察的血管、支架会随心跳持续运动,等于核心观察对象无法做降噪补偿。叠加在目标上的噪声无法消除,画面自然不够清晰。我们尝试了多种替代方案,想在不做帧补偿的前提下降噪,却始终达不到理想画质”(森田尚孝)
森田与入职第三年的下属武田辽,日复一日地摸索尝试。几个月后的一天,武田辽突然提出:
“提前预判运动轨迹再补偿,会怎么样?”
这是一种彻底的逆向思维。先精准预测观察目标在下一帧的位置,再进行帧间补偿。这样既能消除噪声,又完全不会产生残影。这项技术的可行性早被业内认可,但因算力要求极高,普遍认为还需数年才能落地。
“我们把这个想法告诉硬件团队,得到的答复是:计算量极其庞大,手术室专用计算机根本无法支撑”(森田尚孝)
即便如此,森田仍选择坚定推进。这是唯一能突破瓶颈的方向。武田辽全身心投入编程,最终成功完成算法开发。
没有终点的技术攻坚
森一博
森一博与梅田充再次来到基础技术研究所,用森田与武田编写的程序进行实拍测试。
生成的画面中,目标清晰呈现。支架影像格外锐利清晰。
接下来要将程序落地到设备中。森田、森一博、梅田充多次深度研讨,最终达成共识:要处理前所未有的海量数据,必须跳出传统设计思路。而找到解决对策的是森一博的下属——入职第七年的长谷川直纪。长谷川提出“如果处理耗时过长,从目标运动到图像输出会产生延迟。我们需要设计一套机制:只保存最低限度必要数据,支持多任务并行处理,实现极速运算输出”(森一博)。森一博、梅田充确认方案可行,与森田、武田共同确定规格。之后,长谷川直纪与武田辽完善细节,2014年4月,全新图像处理引擎“SCORE PRO Advance”正式诞生。
不久后,搭载该引擎的全新 Trinias 系列设备推向市场。
搭载超大信息量算法的图像处理引擎 SCORE PRO Advance
医疗器械事业部技术部FPD/应用软件小组
长谷川直纪
“我们的产品因为影像清晰,没有残影,收获了大量用户高度评价”(梅田充)
当然,技术探索永无止境。
“医生需要治疗更微细的血管、更复杂的病例,为此支架与导丝会越来越细。很明显,如果图像处理技术不持续升级,画质终将无法满足临床需求”(森一博)
团队将持续追求 “未来画质”,不断突破前行。
注:本文所登载被采访者所属部门、职务均为采访当时信息

左起依次为
医疗器械事业部技术部 CVS小组组长 梅田充
基础技术研究所数据处理単元 图像小组组长 森田尚孝
医疗器械事业部技术部 FPD/应用软件小组组长 森一博





