医学图像标注终极指南

毫无疑问，机器学习有能力改变医疗保健行业

潜在的应用范围很广，包括整个医学成像生命周期——从图像创建和分析到诊断和结果预测。

然而，医疗专业人员正在处理许多阻碍他们成功地将人工智能技术应用于临床实践的障碍。‍

在本文中，我们将解决这两个问题。

医学图像注释是标记医学成像数据的过程，例如 X 射线、CT、MRI 扫描、乳房 X 光检查或超声波。

它用于训练用于医学图像分析和诊断的 AI 算法，帮助医生节省时间、做出更明智的决策并改善患者治疗效果。

但是，您很快就会了解到，这个过程并不像看起来那么容易。 

医学图像注释是标记医学成像数据的过程，例如 X 射线、CT、MRI 扫描、乳房 X 光检查或超声波。

它用于训练用于医学图像分析和诊断的 AI 算法，帮助医生节省时间、做出更明智的决策并改善患者治疗效果。

但是，您很快就会了解到，这个过程并不像看起来那么容易。 

对医学图像数据的访问受限是一个重大问题，它解释了当前与开发强大的机器学习模型相关的限制。

来自小地理区域的小样本量和耗时（且成本高昂）的数据准备过程会产生瓶颈，导致算法的效用有限。

在为医学成像注释准备数据时，请记住以下几点。

您的数据集需要在部署模型的环境方面具有代表性——这将确保模型的准确性。

使用来自多个不同数据集（例如，不同的成像机器、不同的人群和医疗中心）的图像是降低偏倚风险的理想选择。最常见的是，训练、验证和测试数据的比例接近 80:10:10。 

训练、验证、测试数据。

收集数据并训练模型后，是时候使用验证集来检查过拟合或欠拟合，并相应地调整参数。

最后，根据测试集评估模型的性能。

获取质量测试数据集至关重要，因为它可以作为参考标准，并将决定您的训练模型的进一步监管批准。

尽管您仍然可以使用较小的数据集为特定的目标应用程序训练一个相对可靠的模型，但最好收集大样本量。

因此，您的数据集越大、越多样化，您的模型就越准确。

当成像表型之间的差异很细微时，或者当您收集具有显着异质性的人群数据时，大型相关数据集尤其重要。

要在医学成像中开发可通用的 ML 算法，您需要具有数百万张图像的统计数据集。

大多数医学成像将采用 DICOM 格式。 

什么是DICOM？ 

DICOM（医学数字成像和通信）是医学成像信息和相关数据的通信和管理标准。DICOM 文件表示可能包含一个或多个图像的案例。

从机器学习的角度来看，DICOM文件在训练过程中会被转换成另一种无损图像格式；因此，不必使用 DICOM 文件进行 AI 研究。

但是，保留 DICOM 图像的完整性在数据标记阶段可能会有所帮助，尤其是当放射科医生在操作 DICOM 查看器多年后熟悉它们的工作方式时。

还使用了多层 TIF 文件。这些是图像的切片——通常来自显微镜——并且众所周知地缺乏支持。就像其他 TIF 文件一样，该首字母缩写词被戏称为“数千种不兼容的格式”。虽然 V7 支持大多数 TIF 文件，但我们经常会遇到需要支持的新版本。

最后，一些研究将使用需要平铺的超高分辨率图像，例如 Leica 或 Aperio 的 SVS。

这些通常用于病理学。虽然许多查看器支持这些可能超过 100,000 平方像素和数 GB 的高分辨率图像，但很少有人允许您在其上添加深度学习框架可以读取的任何标记或注释。

如果您的最终目标是训练机器学习模型，那么注释医学图像与常规 PNG 或 JPEG 之间存在一些差异。 

以下是一些不适用于其他视觉数据的医学成像方面需要考虑的事项。

让我们更详细地探讨其中的一些。

对医学图像数据的访问受限

“垃圾进，垃圾出”是一种流行的机器学习妙语，它强调了训练 ML 模型时数据质量的重要性。

您需要高质量的数据来构建具有临床意义的模型。

但-

通过图片存档和通信系统 (PACS) 访问医学影像数据仅限于经过认证的医疗专业人员，并且获得所有法律文件和许可非常耗时。

此外，大多数医疗机构没有适当的基础设施来共享大量医学图像。

最后，收集的数据通常需要匿名化（去识别化），这进一步使整个过程复杂化。

HIPAA、FDA 和 CE 合规性

临床环境中使用的图像数据集需要准确记录谁参与了开发哪个注释。 

注释作者身份、数据集完整性和数据审查历史是监管批准所必需的。

美国 FDA 和欧洲 CE 提供了在开发临床诊断模型时数据集应如何显示的指南。在已经涵盖这些准则的平台上工作是一个好的开始。 

另一部分涉及确保与托管、处理和执行注释的任何人签订正确的数据处理器协议。

我们所说的“医学成像包含透明胶片”的意思是必须区别对待遮挡物 

一个在另一个前面的对象可能会出现在另一个后面。众所周知，由于缺乏注意力，AI 对遮挡的处理很差，而透明物体可能会更糟。 

不过幸运的是，对于人工智能来说，看起来透明的器官、细胞或骨骼比一块玻璃要明显得多。

看看下面的胸部 X 光片，自己决定——肺是在横膈膜后面还是前面？ 

胸部 X 光片显示肺的下部，在横膈膜前面向后延伸，在横膈膜后面向前延伸

答案是……两者都有！传统的计算机视觉方法无法感知肺部被遮挡的部分；然而，深度神经网络可以很容易地学会发现它。

一个案例可能包含 2D 或 3D 成像。 

在这两个示例中，通常需要多个视图来评估正在发生的事情。例如，手部的 X 光片可能仅在手部处于特定姿势或角度时才显示骨折。 

尽管如此，捕捉手的正面视图是标准的。

手的正面视图。

第 3 和第 4 中节指骨基底部的小骨折大多仅在右图可见。

不要在机器学习数据集中包含不可用的数据，这一点很重要。

如果上述视图对参考有用，但无法标记并转化为训练数据，则最好将其丢弃。

类似地，MRI、CT 或 OCT 等体积数据可以通过矢状、冠状或轴向平面浏览。 

出于浏览和参考目的，这些很有用，因为它们可以更好地了解解剖结构。从机器学习的角度来看，除非您希望模型处理所有三个平面视图，否则最好坚持一个并在其他两个平面中重建这些注释。 

为什么？

它提供了跨案例的更一致的结果。 

例如，一个由 10 名注释者放射科医师组成的团队轴向标记 100 个脑 CT 病例，另一个由 10 人组成的团队在矢状面标记另外 100 个病例，将获得略有不同的结果。这些可能会给您的模型带来偏差，并导致两种平面模态的表现比团队始终将标签应用于一个系列的情况更差。

头部 CT 和 MRI 扫描的注释切片。

HIPAA 指南不可掉以轻心。 

在搜索处理数据的平台时，请确保它对以下问题提供明确的答案：

以上六个问题是基本的技术合规要求。

以下是一些与数据访问相关的内容，您在将用户添加到您的训练数据平台时需要注意：

了解 HIPAA 要求的一个很好的参考点是这样的清单。

通常，数据安全要求的严格程度会随着项目的规模而扩大，违反 HIPAA 要求的罚款也会很高。 

如果您的项目需要 HIPAA 合规性，则始终建议对您合作的公司进行专业的法律审计，以确保一切就绪。您最不想看到的是，处理您所有数据的公司会因为一个小的安全疏忽而招致巨额罚款。

放射科医生每天都对医学图像进行注释（或标记）。 

这可以在 DICOM 查看器中完成，其中包含基本注释功能，例如边界框、箭头，有时还包含多边形。 

机器学习 (ML) 有时可能会利用这些标签，但是，它们的格式通常与 ML 研究的需求不一致，例如缺少实例 ID、属性、标签队列或 Pytorch 或 TensorFlow 等深度学习框架的正确格式.

 侧胸 X 射线中肺的自动图像分割

例如，您无法根据放射科医生 DICOM 标记开发分析肺纤维化的神经网络。相反，您必须使用专业工具仔细标记切片。