立足于对新技术开发所需社会价值的深入思考

STORY

员工发展

March 22, 2023

近年来，随着AI与传感器不断融合，能够只读取变化部分的基于事件的视觉传感器（Event-based Vision Sensor/以下称EVS）备受关注。相比从一般影像中获取信息，其具有能够大幅削减电力消耗和压缩数据容量的特点，因此，有望在今后应用于各种场景。

此次，我们采访了索尼半导体解决方案株式会社（下称SSS）第1研究部门的丹羽笃亲。

他成功研发出突破性的小像素尺寸*1EVS，我们请他讲述了开发时的轶事和研发创新技术的秘诀。

*1) 索尼研究（截至2021年9月）

Niwa Atsumi

Sony Semiconductor Solutions CorporationResearch Division 1

个人信息：2008年入职索尼株式会社半导体事业本部（现在的SSS）从事电视协调器模拟电路的开发。主要负责设计基带模拟信号处理部和AD转换器，之后又推动手机用CMOS图像传感器实现了高性能化。从2017年开始，从事EVS技术研发工作，2021年凭借IMX636的商品化，入选Sony Outstanding Engineer2021。现在，正致力于在公司内推广EVS技术，以及通过开发扩大该技术的应用范围。

- EVS是一款什么样的传感器？

过去的图像传感器必须具备能够清晰记录人眼所见景象的特性，但EVS的特性与之截然不同。它是以像素为单位测量辉度变化的位置，再结合坐标与时间信息进行输出的传感器，主要有以下三个特点。

首先，过去的图像传感器为了拍摄清晰的照片，必须优化拍摄条件，而EVS只捕捉辉度的变化，因此可不受拍摄条件影响进行拍摄。

其次，EVS只输出变化，相比传统的图像传感器，电力消耗非常少。

最后，传统的图像传感器每秒读取30～60张图像，但是EVS则以像素为单位，仅对变化的部分进行检测，无需将整个画面作为图像读取，因此，就算是毫秒以下的高速变化也能准确捕捉。

比如，拍摄工厂中的焊接场景时，由于焊接部位很亮，所以使用传统的图像传感器经常会发生过度曝光，导致不能确认到任何信息。而且，拍摄时需要根据飞溅的火花确认焊接是否正确，但是火花的速度很快，传统的图像传感器难以捕捉。相反，如果使用EVS，就算是在这样的条件下，也能轻松捕捉高速运动的火花的情形。

金属过程监控

基于帧的传感器的图像

火花的高亮度导致过度曝光使火花看起来如线条一般

EVS的图像

可捕捉高速运动的每一粒火花[高速性]不输出火花以外的工夹具等的信息 [高效率：节省数据]

应用的输出

为捕捉到的每一粒火花分配ID，实现可追踪性⇒ 可对个数、尺寸、速度等进行解析

此外，EVS还能测量运动方式，因此有望用于故障检测。以引擎为例，引擎是始终运转的，状态好时与状态不好时的动作存在差异，通过读取不同状态下的动作差异，就能事先检测故障预兆。

振动监测

基于帧的传感器的图像

振动台上汽车模型的振动肉眼无法捕捉

EVS的图像

只输出振动部位的信息，所以可肉眼识别振动

应用的输出

可解析每个像素的频率，并以二维方式显示

- EVS是以前就有的技术吗？

EVS是2000年代中期问世的技术，是以人眼的活动为提示，仅对运动的被摄体进行高速输出的视觉传感器。它具有只高效率捕捉变化的特点，但通过与神经网络*2结合，被尝试用于各种用途，并在此过程中得到了发展。与前面提及的高效率特点相通的是，如果要从过去的图像传感器的影像中获取变化的信息，电力消耗和数据量都会很庞大。今后，为了AI的发展，我们就需要能够只获取神经网络所需信息的传感器，而其中之一的技术就是EVS。

*2) 以人类的大脑为模型、识别图案的算法

- 你在得知这项技术时，是否产生了亲自参与开发的想法？

我第一次知道这项技术时，就有一个很直接的想法，就是“感觉挺有意思的，想要参与研发”，我对于这项技术将“如何为社会做贡献”产生了兴趣。

过去，我一直从事的是以拍摄美丽照片为目的的CMOS图像传感器的开发，因此在原理截然不同的EVS身上，感受到了可能性和吸引力。就在此时，法国开发感知设备的风险投资企业Prophesee公司向我们提出了推进EVS产品化的合作建议。此次的项目将在全球范围内首次实现EVS的产品化，因此，出于希望“见证”这项技术将如何为社会做贡献的想法，我决定参与进来。

- 此次，在开发全球突破性的小像素EVS时，你都经历了哪些困难？

EVS的每个像素上都有事件检测电路，如果要实现要求的电路特性，像素尺寸就会增大。但是考虑到要将其搭载在可穿戴型终端和智能手机上，像素的微细化（小型化）和低耗电化就是不可回避的问题。因此，这一次，我们决定将SSS原本所擅长的堆栈技术与电路设计的技术经验相结合，重新对电路进行设计。但新的电路设计与工艺技术的结合始终不顺利，为实现像素的微细化，我们不得不反复进行了摸索和尝试。

另外，开发是在设想了一定的使用场景的情况下推进的。但此次的EVS是我们欠缺的技术，因此虽然我们设想了使用场景，但很多时候还是必须尝试了才能知道实际能否获取数据。再进一步说，因为这项技术还处于萌芽阶段，用现有的设备自然不能进行技术验证和获取数据，也不能进行评估。所以，我们同时开展了以技术验证为目的的开发，从这一点上来说，这次开发比一般开发工序更多，难度很大。

- 这是SSS第一次在EVS领域与其他公司合作，你有什么感受？

过去我们也有过职责分工明确的合作，但这一次则是两家公司共同开发设计一款堆栈式传感器的形式，对我和对SSS而言都是一次崭新的体验。

在设计方面，SSS有规定的开发流程，当然，这个开发流程与其他公司是不同的，开发中使用的术语也不一样。Prophesee公司和SSS的技术背景知识存在差异，因此，很多时候双方不能简单、准确地传达意图。如果这种龃龉累积，就会影响到开发日程，因此，我们就从密切交流、相互理解开始着手进行了改进。

此外，我们与Prophesee公司在利用SSS技术打造更先进的EVS产品这一点上是一致的，但在此次的开发中，我们在“产品化的目标水平”、“产品的营销方式”等方面存在分歧，因此，在这些部分的磨合中也不得不投入了大量时间。

合作必须在构建新的开发流程的同时推进开发，并且还必须构建新的验证环境，一切都是从零开始。而且，EVS本身也是一种崭新构想的传感器，因此我们耐心地向公司内部人员宣传，让其了解EVS的特性和对EVS产生兴趣，并建立了一支团队。

- 开发流程与过去截然不同，这是否让你感到了困扰？

在开发工序和沟通方面，我确实遇到了一些困难，但还是很愉快，我自己也学到了很多。Prophesee公司为这项技术赌上了公司的命运，他们精益求精的态度值得我们学习。

- 请介绍一下你对半导体产生兴趣的契机

原本，我在研究室研究的并不是最先进的工艺，但是通过电路设计亲自进行试制后，便开始研究与理论之间的差异。“为什么和理论不一样”，在探究这个问题深入思考的过程中，我感受到了半导体的有趣之处。

在进入重视理论的研究室后，我发现了对事物追根究底的乐趣，这也成为了我之后人生的重大转机。

- 请你介绍一下为什么决定入职SSS

硕士毕业时，我还在烦恼要不要留在研究室继续博士课程，但是在和很多企业人士交谈后，我被SSS员工和谐的氛围吸引了。我还听说SSS的员工可以主动提案自己想要尝试的工作，并作为一个项目实际推进，所以我想如果去SSS的话，或许就能做自己想做的事，这对我而言很有吸引力。

通过研究室的经历，我在自己先思考理论，然后验证实际的这个过程中感受到了乐趣。而能够挑战将完成的产品投入市场，并见证其将如何贡献社会，正是我放弃留在研究室而选择去SSS检验自己能力的一个重要理由。

- 请介绍一下你过去经历过的挫折

在开发手机用CMOS图像传感器时，我参与了一个项目，开发要求很高，在公司内也经常会听到质疑说“为什么要开始这样的开发”。但即便如此，我们还是进行了反复的摸索与尝试，在历经千辛万苦之后终于完成了原型，但在商品化时，却追加了新的规格。这种规格按照原型的结构难以实现，最终导致这项技术没能得到采用。

之后，在新机型商品化时，我们成功地修正并采用了这项技术，但当时未能实现，让我感到非常懊恼。

- 你在工作中最重视什么？

我经常思考现在从事的研究开发对未来有什么意义、其价值能否传播。不管是哪个项目，我们都需要想象这项技术将“如何被使用”，并应以此为前提推进研究开发，如果套用现在的常识和价值观，就可能走入死胡同。

打个比方，在听说与传统的图像传感器相比，EVS“只能捕捉变化”时，不能只是因为它不能拍摄清晰的图像，就认为这项技术不需要。要深入思考只捕捉变化这一特性“有什么价值、能实现哪些可能性”。

我现在所属的研究部门就有一种文化，那就是充分思考“开发和研究的技术能为社会做出哪些贡献、能发挥什么样的价值”，我也在学习这种态度。

- 请你谈一谈未来想要尝试的工作

过去，SSS一直致力于研发忠实捕捉肉眼所见世界的图像传感器，这类技术和产品也是社会所需要的。但现在我思考的是我们能否从“社会幸福”的角度，探索改变我们生活的技术。比如，虽然不能拍摄清晰的观赏用照片，却可以获取某些信息，通过系统对这些信息善加利用，将我们从繁重的重度劳动中解放出来。

我希望将这种“拍摄图像”的成像技术拓展到“获取必要信息”的感知领域，也希望探索能利用感知技术创造哪些价值。今后，新的图像传感器与应用的组合将越来越丰富，可以想象，社会将变得更加适宜生活、充满乐趣。我将从应用的角度进行价值实证，验证以图像传感器技术为轴心，采用什么样的使用方法能提供什么样的价值，努力为社会带来积极的改变。

- 让社会更幸福的图像传感器——这是一个非常了不起的思路

而要实现这一目标，一个人的能力是有限的。现在，我会和各个专业领域的人员频繁讨论理想的图像传感器。但停留于讨论的研发工作不能取得进展，所以，我必须将天线延伸到各个角落，构建能获取新信息的人际关系。

- 访谈结束

追求大学时代的理论。在开发部门不断挑战大家放弃的课题。很明显，调动到研究部门后，丹羽就养成了对事物追根究底的习惯，比如对社会价值的追求。这种对事物追根究底的态度、不断挑战的体力，正是在研发中取得创新性成果不可缺少的才能。现在，丹羽还在探索新的传感器的可能性。让我们拭目以待，看看接下来他会带来哪些令人惊喜的技术。