1.本技术涉及图像处理技术领域，种医具体而言，疗图练方涉及一种医疗图像分割方法及医疗图像分割模型的像分训练方法
。
背景技术：
2.随着医疗技术的割方发展，对医疗图像分割模型的法及分割法流分割精度越来越高
。
以甲状腺癌为例，医疗近年来，图像甲状腺癌的模型发病率呈快速上升趋势，
2020
年全球癌症调查结果显示甲状腺癌发病具有女性多于男性
、种医
城市高于农村的疗图练方分布特点
。
3.其中，像分超声作为甲状腺病变的割方首选检查方法，可在发现病灶的法及分割法流同时对其生物学行为进行初步判断，具有便捷
、医疗
安全等优势
。图像
科技的高速发展促使人工智能
(artificial intelligence
，
ai)
技术广泛应用于医学大数据的超声影像中，其优势显而易见
。
在日常超负荷工作量和复杂高风险的检查压力下，超声
ai
系统能优化检查流程
、
规范诊断标准
、
缩短检查与报告时间，显著提高超声医师的诊断信心和工作效率
。
基于人工智能的甲状腺结节超声图像分割进而辅助医生更快速的定位结节位置，确认结节形态，以方便对结节良恶性进行判断
。
可以预见该项技术在未来助力超声诊断与治疗技术
、
人才培养等方面具有广阔的创新与发展前景
。
4.因此，需要一种准确度较高的甲状腺结节超声图像分割方法，从而可以辅助医生在检查中进行快速
、
准确的诊断
。
推及其他医疗图像，与甲状腺图像结节超声图像类似，同样需要一种准确度较高的分割方法
。
5.在现有技术中，一般主要是通过改进医疗图像分割模型的架构或者进行数据增强，来提升分割的精度
。
但是，由于医疗数据的隐私性
、
数据标注的专业性，缺少大规模高质量的医疗分割图像数据，从而导致分割模型的精度较低
。
技术实现要素：
6.本技术实施例的目的在于提供一种医疗图像分割方法及医疗图像分割模型的训练方法，用以解决现有技术中由于医疗数据的隐私性
、
数据标注的专业性，缺少大规模高质量的医疗分割图像数据，从而导致分割模型的精度较低的技术问题
。
7.第一方面，本技术实施例提供一种医疗图像分割方法，包括：获取待处理医疗图像；将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器
、
图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练
。
8.在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果
。
其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分
割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
9.在可选的实施方式中，所述将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果，包括：将所述待处理医疗图像输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果
。
在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果
。
其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果
。
10.在可选的实施方式中，所述医疗图像分割方法还包括：利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
11.在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块；所述将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果，包括：将所述待处理医疗图像输入所述空间多尺度信息特征提取模块，得到所述空间多尺度信息特征提取模块输出的特征数据；将所述待处理医疗图像以及所述特征数据输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果
。
在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度
。
12.在可选的实施方式中，所述医疗图像分割方法还包括：利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器
、
所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
13.第二方面，本技术实施例提供一种医疗图像分割模型的训练方法，包括：获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器
、
图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；针对所述自然图像分割模块加载对应的预训练参数；利
用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
14.在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
15.在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块，所述利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型，包括：利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器
、
所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
16.第三方面，本技术实施例提供一种医疗图像分割装置，包括：第一获取模块，用于获取待处理医疗图像；输入模块，用于将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器
、
图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练
。
17.在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果
。
其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
18.在可选的实施方式中，所述输入模块具体用于：将所述待处理医疗图像输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果
。
在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果
。
其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果
。
19.在可选的实施方式中，所述医疗图像分割装置还包括：第一训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
20.在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取
模块；所述输入模块具体用于：将所述待处理医疗图像输入所述空间多尺度信息特征提取模块，得到所述空间多尺度信息特征提取模块输出的特征数据；将所述待处理医疗图像以及所述特征数据输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果
。
在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度
。
21.在可选的实施方式中，所述医疗图像分割装置还包括：第二训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器
、
所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
22.第四方面，本技术实施例提供一种医疗图像分割模型的训练装置，包括：第二获取模块，用于获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器
、
图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；加载模块，用于针对所述自然图像分割模块加载对应的预训练参数；更新模块，用于利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
23.在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
24.在可选的实施方式中，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块，所述更新模块具体用于：利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器
、
所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
25.第五方面，本技术实施例提供一种电子设备，包括：处理器
、
存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的医疗图像分割方法或者如第二方面所述的医疗图像分割模型的训练方法
。
26.第六方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的医疗图像分割方法或者如第二方面所述的医疗图像分割模型的训练方法
。
27.为使本技术的上述目的
、
特征和优点能更明显易懂，下文特举本技术实施例，并配合所附附图，作详细说明如下
。
附图说明
28.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图
。
29.图1为本技术实施例提供的一种医疗图像分割方法的流程图；
30.图2为本技术实施例提供的一种
vit
结构的示意图；
31.图3为本技术实施例提供的一种
vit+adaper
结构的示意图；
32.图4为本技术实施例提供的一种
sms
结构的示意图；
33.图5为本技术实施例提供的一种医疗图像分割模型的训练方法的流程图；
34.图6为本技术实施例提供一种医疗图像分割装置的结构框图；
35.图7为本技术实施例提供的一种医疗图像分割模型的训练装置的结构框图；
36.图8为本技术实施例提供的一种电子设备的结构框图
。
具体实施方式
37.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述
。
38.请参照图1，图1为本技术实施例提供的一种医疗图像分割方法的流程图，该医疗图像分割方法可以包括如下步骤：
39.步骤
s101
：获取待处理医疗图像
。
40.步骤
s102
：将待处理医疗图像输入预先训练好的医疗图像分割模型中，得到医疗图像分割模型输出的分割结果
。
41.具体的，在上述步骤
s101
中，待处理医疗图像是指当前需要进行图像分割的医疗图像
。
医疗图像是指在医疗行业中使用的图像，需要说明的是，本技术实施例对医疗图像的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整，例如：医疗图像可以包括甲状腺超声图像
、
乳腺超声图像
、
颈动脉造影图像等
。
42.此外，本技术实施例对获取上述待处理医疗图像的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整
。
举例来说，可以接收外部设备的待处理医疗图像；或者，可以读取本地或者云端存储的待处理医疗图像；或者，可以实时采集待处理医疗图像等
。
43.在上述步骤
s102
中，医疗图像分割模型是指用于对上述待处理医疗图像进行图像分割的神经网络模型，其中，上述步骤
s102
中的医疗图像分割模型是预先训练好的医疗图像分割模型
。
44.下面对本技术实施例提供的一种医疗图像分割模型的结构进行介绍
。
该医疗图像分割模型可以包括自然图像分割模块
(segment anything model
，
sam)
；自然图像分割模块可以包括图像编码器
、
图像解码器以及分割适配器，其中，分割适配器可以嵌入在图像编码器中
。
45.在上述自然图像分割模块中，图像编码器可以基于标准的视觉变形器
(vision transformer
，
vit)
，而注意力机制可以由
14*14
大小的窗口注意力以及四个等间隔的全局注意力构成；图像解码器是一个基于
transformer
的解码器，包括可以处理不同提示
(
文本，点，框等
)
掩码信息的动态预测头
。
46.请参照图2，图2为本技术实施例提供的一种
vit
结构的示意图
。
该
vit
结构中包括层归一化
(layer norm)、
多注意力头
(muti-head attention)
以及多层感知机
(multilayer perceptron
，
mlp)。
其中，
layer norm
用于对每个
token
进行
norm
处理；
mlp
可以包括全连接层
、gelu
激活函数以及
dropout。
47.在图2所示的
vit
结构上，可以嵌入分割适配器
(adaper)。
作为一种实施方式，请参照图3，图3为本技术实施例提供的一种
vit+adaper
结构的示意图
。
该
vit+adaper
结构在图2的基础上，分别在
muti-head attention
层以及
mlp
层引入
adaper。
48.根据现在研究表明，部分参数微调方法比完全微调更有效，因为它们可以避免灾难性遗忘，并更好地推广到域外情景，特别是在低数据的情况下
。adapter
作为一种有效的工具，不仅在自然语言处理中，而且在计算机视觉中，可以应用于对下游任务的大型基本视觉模型进行微调
。
考虑到高质量的医疗数据难以获取且不容易标注，因此，本技术实施例中引入
adapter。
49.作为另一种实施方式，还可以在
mlp
层中引入
scaling
超参数，以达到更好的
channel
权重学习的目的
。
50.需要说明的是，本技术实施例对
adapter
的具体结构不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整
。
举例来说，如图3所示，
adapter
可以包括
down
层
、relu
层以及
up
层
。
51.基于上述
vit+adaper
结构，在对医疗图像分割模型进行训练的过程中，可以通过对分割适配器的参数进行更新实现对图像编码器进行训练
。
52.作为一种实施方式，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，在本技术实施例中，自然图像分割模块可以预先加载预训练参数
。
53.在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即自然图像分割模块中图像编码器
)
，只对
adapter
部分进行训练
。
也就是说，在对医疗图像分割模型进行训练的过程中，图像编码器的参数不会发生改变，而
adapter
的参数会进行迭代更新，直至得到训练好的医疗图像分割模型
。
54.可以理解的是，由于自然图像分割模块预先加载了针对自然图像进行分割时精度较高的预训练参数，因此可以提升在此基础上训练得到的医疗图像分割模型的分割能力；此外，由于仅需要对
adapter
部分进行训练，因此，只需要利用少量的医疗分割图像数据对医疗图像分割模型进行训练便可以得到精度较高的医疗图像分割模型，从而解决了现有技术中由于医疗数据的隐私性
、
数据标注的专业性，缺少大规模高质量的医疗分割图像数据，从而导致分割模型的精度较低的技术问题
。
55.需要说明的是，现有技术中的自然图像分割模块一般包括图像编码器
、
图像解码器以及掩码解码器，但是在本技术实施例中，由于只采样图像编码以及图像解码的部分，不需要动态掩码输入，因此，可以省略掩码解码器
。
56.除此之外，本技术实施例对上述步骤
s102
中的分割结果的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整
。
举例来说，当医疗图像包括甲状腺超声图像时，分割结果可以包括甲状腺结节的位置；或者，当医疗图像包括颈动脉造影图像时，分割结果可以包括颈动脉斑块的位置等
。
57.在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果
。
其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
58.进一步的，在上述实施例的基础上，上述步骤
s102
具体可以包括如下步骤：
59.步骤
1)
，将待处理医疗图像输入图像编码器中，得到图像编码器输出的编码结果
。
60.步骤
2)
，将编码结果输入图像解码器中，得到图像解码器输出的分割结果
。
61.具体的，在上述步骤
1)
中，图像编码器可以基于标准的视觉变形器
(vision transformer
，
vit)
，而注意力机制可以由
14*14
大小的窗口注意力以及四个等间隔的全局注意力构成
。
如图3所示，可以将待处理医疗图像输入上述图像编码器中，待处理医疗图像经过
layer norm、muti-head attention、adaper
以及
mlp
，最终可以得到图像编码器输出的编码结果
。
62.作为一种实施方式，可以对待处理医疗图像进行
16
倍下采样后，作为图像编码器的输入
。
63.在上述步骤
2)
中，图像解码器是一个基于
transformer
的解码器，包括可以处理不同提示
(
文本，点，框等
)
掩码信息的动态预测头
。
可以将编码结果输入上述图像解码器中，最终可以得到图像解码器输出的分割结果
。
64.在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果
。
其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果
。
65.进一步的，在上述实施例的基础上，可以利用如下步骤对上述实施例中的医疗图像分割模型进行训练：
66.步骤
1)
，获取医疗分割图像数据以及待训练的医疗图像分割模型
。
67.步骤
2)
，针对自然图像分割模块加载对应的预训练参数
。
68.步骤
3)
，利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
69.具体的，在上述步骤
1)
中，医疗分割图像数据是指已经分割好并且标注好的医疗图像
。
可以理解的是，由于本技术实施例中引入了
adaper
，因此，上述医疗分割图像数据的数量不需要太大，即只需少量的医疗分割图像数据即可对医疗图像分割模型进行训练
。
70.需要说明的是，本技术实施例对获取上述医疗分割图像数据的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整
。
举例来说，可以接收外部设备的医疗分割图像数据；或者，可以读取本地或者云端存储的医疗分割图像数据等
。
71.医疗图像分割模型是指用于对上述待处理医疗图像进行图像分割的神经网络模型，其中，上述步骤
1)
中的医疗图像分割模型是指未进行训练或者未训练好的医疗图像分割模型
。
可以理解的是，上述步骤
1)
中的医疗图像分割模型与上述步骤
s102
中的医疗图像分割模型的结构相同，两者的区别仅在于其模型参数存在不同
。
72.与获取上述医疗分割图像数据类似，本技术实施例对获取上述待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整
。
举例来说，可以接收外部设备的待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的待训练的医疗图像分割模型等
。
73.在上述步骤
2)
中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数
。
74.在上述步骤
3)
中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即自然图像分割模块中图像编码器
)
，利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
75.在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
76.进一步的，在上述实施例的基础上，医疗图像分割模型还可以包括：空间多尺度信息特征提取模块
(spatial multi-scale
，
sms)。
请参照图4，图4为本技术实施例提供的一种
sms
结构的示意图，该空间多尺度信息特征提取模块可以采用从
resnet
借鉴的标准卷积系统
。
77.作为一种实施方式，空间多尺度信息特征提取模块可以包括三个卷积和一个最大池化层；之后使用一个3×3的卷积层将通道数量增加一倍，并减小特征映射的大小；接着应用多个1×1的卷积层将特征映射投影到d维；这样就得到了一个包含d维特征图的特征金字塔
{ f1,f2,f3,f4}
，分辨率分别为原图的
1/8、1/16、1/32、1/64
；然后将上述包含d维特征图的特征金字塔进行映射平面化，并拼接成新特征作为特征交互，得到空间多尺度信息特征提取模块的输出
。
78.空间多尺度信息特征提取模块用于给自然图像分割模块传递多尺度空间信息
。
其中，为了不改变自然图像分割模块的原有结构，空间多尺度信息特征提取模块可以与
patch
嵌入层并行，对图像的局部空间上下文进行建模
。
因此，空间多尺度信息特征提取模块的输出可以输入给后面的分割适配器，再由其与第i个图像编码器模块一起进行运算
。
79.进一步的，在上述实施例的基础上，上述步骤
s102
具体可以包括如下步骤：
80.步骤
1)
，将待处理医疗图像输入空间多尺度信息特征提取模块，得到空间多尺度信息特征提取模块输出的特征数据
。
81.步骤
2)
，将待处理医疗图像以及特征数据输入图像编码器中，得到图像编码器输出的编码结果
。
82.步骤
3)
，将编码结果输入图像解码器中，得到图像解码器输出的分割结果
。
83.具体的，在上述步骤
1)
中，空间多尺度信息特征提取模块可以依次包括三个卷积
、
一个最大池化层一个3×3的卷积层
、
多个1×1的卷积层，这样就得到了一个包含d维特征图的特征金字塔
{ f1,f2,f3,f4}
，分辨率分别为原图的
1/8、1/16、1/32、1/64
；然后将上述包含d维特征图的特征金字塔进行映射平面化，并拼接成新特征作为特征交互，得到空间多尺度信息特征提取模块输出的特征数据
。
84.在上述步骤
2)
中，图像编码器可以基于标准的视觉变形器
(vision transformer
，
vit)
，而注意力机制可以由
14*14
大小的窗口注意力以及四个等间隔的全局注意力构成
。
如图3所示，可以将待处理医疗图像以及特征数据输入上述图像编码器中，待处理医疗图像以及特征数据经过
layer norm、muti-head attention、adaper
以及
mlp
，最终可以得到图像编码器输出的编码结果
。
85.其中，待处理医疗图像可以输入图像编码器中的
layer norm
，而特征数据可以输入图像编码器中的
adaper。
86.在上述步骤
3)
中，图像解码器是一个基于
transformer
的解码器，包括可以处理不同提示
(
文本，点，框等
)
掩码信息的动态预测头
。
可以将编码结果输入上述图像解码器中，最终可以得到图像解码器输出的分割结果
。
87.在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度
。
88.进一步的，在上述实施例的基础上，可以利用如下步骤对医疗图像分割模型进行训练：
89.步骤
1)
，获取医疗分割图像数据以及待训练的医疗图像分割模型
。
90.步骤
2)
，针对自然图像分割模块加载对应的预训练参数
。
91.步骤
3)
，利用医疗分割图像数据对医疗图像分割模型中的分割适配器
、
图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
92.具体的，在上述步骤
1)
中，与上述实施例类似，本技术实施例对获取上述医疗分割图像数据以及待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整
。
举例来说，可以接收外部设备的医疗分割图像数据以及待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的医疗分割图像数据以及待训练的医疗图像分割模型等
。
93.在上述步骤
2)
中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数
。
94.在上述步骤
3)
中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即自然图像分割模块中图像编码器
)
，利用医疗分割图像数据对医疗图像分割模型中的分割适配器
、
图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
95.在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
96.请参照图5，图5为本技术实施例提供的一种医疗图像分割模型的训练方法的流程图，该医疗图像分割模型的训练方法可以包括如下步骤：
97.步骤
s501
：获取医疗分割图像数据以及待训练的医疗图像分割模型
。
98.步骤
s502
：针对自然图像分割模块加载对应的预训练参数
。
99.步骤
s503
：利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
100.具体的，在上述步骤
s501
中，医疗分割图像数据是指已经分割好并且标注好的医疗图像
。
可以理解的是，由于本技术实施例中引入了
adaper
，因此，上述医疗分割图像数据的数量不需要太大，即只需少量的医疗分割图像数据即可对医疗图像分割模型进行训练
。
101.需要说明的是，本技术实施例对获取上述医疗分割图像数据的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整
。
举例来说，可以接收外部设备的医疗分割图像数据；或者，可以读取本地或者云端存储的医疗分割图像数据等
。
102.医疗图像分割模型是指用于对上述待处理医疗图像进行图像分割的神经网络模型，其中，上述步骤
s501
中的医疗图像分割模型是指未进行训练或者未训练好的医疗图像分割模型
。
作为一种实施方式，医疗图像分割模型可以包括自然图像分割模块，自然图像分割模块包括图像编码器
、
图像解码器以及分割适配器，分割适配器可以嵌入图像编码器中
。
103.与获取上述医疗分割图像数据类似，本技术实施例对获取上述待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整
。
举例来说，可以接收外部设备的待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的待训练的医疗图像分割模型等
。
104.在上述步骤
s502
中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数
。
105.在上述步骤
s503
中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即自然图像分割模块中图像编码器
)
，利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
106.在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
107.进一步的，在上述实施例的基础上，医疗图像分割模型还可以包括：空间多尺度信息特征提取模块，本技术实施例介绍另一种医疗图像分割模型的训练方法：
108.步骤
1)
，获取医疗分割图像数据以及待训练的医疗图像分割模型
。
109.步骤
2)
，针对自然图像分割模块加载对应的预训练参数
。
110.步骤
3)
，利用医疗分割图像数据对医疗图像分割模型中的分割适配器
、
图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
111.具体的，在上述步骤
1)
中，与上述实施例类似，本技术实施例对获取上述医疗分割
图像数据以及待训练的医疗图像分割模型的具体实施方式同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整
。
举例来说，可以接收外部设备的医疗分割图像数据以及待训练的医疗图像分割模型；或者，可以读取本地或者云端存储的医疗分割图像数据以及待训练的医疗图像分割模型等
。
112.在上述步骤
2)
中，考虑到自然图像分割模块是由千万级自然图像训练得到的模型，在自然图像分割上可以实现超高精度的图像分割，因此，可以针对自然图像分割模块加载对应的预训练参数
。
113.在上述步骤
3)
中，在针对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即自然图像分割模块中图像编码器
)
，利用医疗分割图像数据对医疗图像分割模型中的分割适配器
、
图像解码器以及空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
114.请参照图6，图6为本技术实施例提供一种医疗图像分割装置的结构框图，该医疗图像分割装置
600
包括：第一获取模块
601
，用于获取待处理医疗图像；输入模块
602
，用于将所述待处理医疗图像输入预先训练好的医疗图像分割模型中，得到所述医疗图像分割模型输出的分割结果；其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器
、
图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中，通过对所述分割适配器的参数进行更新实现对所述图像编码器进行训练
。
115.在上述方案中，可以利用预先训练好的医疗图像分割模型对待处理医疗图像进行分割，从而得到对应的分割结果
。
其中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
116.进一步的，在上述实施例的基础上，所述输入模块
602
具体用于：将所述待处理医疗图像输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果
。
117.在上述方案中，可以利用自然图像分割模块对待处理医疗图像进行图像分割，从而得到对应的分割结果
。
其中，由于自然图像分割模块具有强大的分割能力，因此可以使得整个医疗图像分割模型在医疗图像中可以有较高精度的分割效果
。
118.进一步的，在上述实施例的基础上，所述医疗图像分割装置
600
还包括：第一训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
119.在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
120.进一步的，在上述实施例的基础上，所述医疗图像分割模型还包括：空间多尺度信
息特征提取模块；所述输入模块
602
具体用于：将所述待处理医疗图像输入所述空间多尺度信息特征提取模块，得到所述空间多尺度信息特征提取模块输出的特征数据；将所述待处理医疗图像以及所述特征数据输入所述图像编码器中，得到所述图像编码器输出的编码结果；将所述编码结果输入所述图像解码器中，得到所述图像解码器输出的所述分割结果
。
121.在上述方案中，可以引入空间多尺度信息特征提取模块，在对待处理医疗图像进行图像分割之前，先基于上述待处理医疗图像向主干网络传递多尺度空间信息，从而提高训练得到的医疗图像分割模型的分割精度
。
122.进一步的，在上述实施例的基础上，所述医疗图像分割装置
600
还包括：第二训练模块，用于利用如下步骤对所述医疗图像分割模型进行训练：获取医疗分割图像数据以及待训练的医疗图像分割模型；针对所述自然图像分割模块加载对应的预训练参数；利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器
、
所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
123.在上述方案中，在对医疗图像分割模型进行训练的过程中，可以冻结图像编码器，只利用少量的医疗分割图像数据去训练分割适配器，同时训练图像解码器以及空间多尺度信息特征提取模块，从而得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
124.请参照图7，图7为本技术实施例提供的一种医疗图像分割模型的训练装置的结构框图，该医疗图像分割模型的训练装置
700
包括：第二获取模块
701
，用于获取医疗分割图像数据以及待训练的医疗图像分割模型，其中，所述医疗图像分割模型包括自然图像分割模块，所述自然图像分割模块包括图像编码器
、
图像解码器以及分割适配器，所述分割适配器嵌入所述图像编码器中；加载模块
702
，用于针对所述自然图像分割模块加载对应的预训练参数；更新模块
703
，用于利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器以及所述图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
125.在上述方案中，上述医疗图像分割模型包括自然图像分割模块，可以在自然图像分割模块的基础上引入分割适配器，这样，在对医疗图像分割模型进行训练的过程中，可以冻结主干网络
(
即图像编码器
)
，只利用少量的医疗分割图像数据去训练分割适配器，得到训练好的医疗图像分割模型
。
因此，即使缺少大规模高质量的医疗分割图像数据，也可以通过上述方式训练得到分割精度较高的医疗图像分割模型
。
126.进一步的，在上述实施例的基础上，所述医疗图像分割模型还包括：空间多尺度信息特征提取模块，所述更新模块
703
具体用于：利用所述医疗分割图像数据对所述医疗图像分割模型中的分割适配器
、
所述图像解码器以及所述空间多尺度信息特征提取模块的参数进行更新，得到训练好的医疗图像分割模型
。
127.请参照图8，图8为本技术实施例提供的一种电子设备的结构框图，该电子设备
800
包括：至少一个处理器
801
，至少一个通信接口
802
，至少一个存储器
803
和至少一个通信总线
804。
其中，通信总线
804
用于实现这些组件直接的连接通信，通信接口
802
用于与其他节点设备进行信令或数据的通信，存储器
803
存储有处理器
801
可执行的机器可读指令
。
当电子设备
800
运行时，处理器
801
与存储器
803
之间通过通信总线
804
通信，机器可读指令被处理器
801
调用时执行上述医疗图像分割方法或者医疗图像分割模型的训练方法
。
128.例如，本技术实施例的处理器
801
通过通信总线
804
从存储器
803
读取计算机程序
并执行该计算机程序，作为一种实施方式，可以实现如下方法：步骤
s101
：获取待处理医疗图像
。
步骤
s102
：将待处理医疗图像输入预先训练好的医疗图像分割模型中，得到医疗图像分割模型输出的分割结果
。
作为另一种实施方式，可以实现如下方法：步骤
s501
：获取医疗分割图像数据以及待训练的医疗图像分割模型
。
步骤
s502
：针对自然图像分割模块加载对应的预训练参数
。
步骤
s503
：利用医疗分割图像数据对医疗图像分割模型中的分割适配器以及图像解码器的参数进行更新，得到训练好的医疗图像分割模型
。
129.其中，处理器
801
包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力
。
上述的处理器
801
可以是通用处理器，包括中央处理器
(central processing unit
，简称
cpu)、
微控制单元
(micro controller unit
，简称
mcu)、
网络处理器
(network processor
，简称
np)
或者其他常规处理器；还可以是专用处理器，包括神经网络处理器
(neural-network processing unit
，简称
npu)、
图形处理器
(graphics processing unit
，简称
gpu)、
数字信号处理器
(digital signal processor
，简称
dsp)、
专用集成电路
(application specific integrated circuits
，简称
asic)、
现场可编程门阵列
(field programmable gate array
，简称
fpga)
或者其他可编程逻辑器件
、
分立门或者晶体管逻辑器件
、
分立硬件组件
。
并且，在处理器
801
为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器
。
130.存储器
803
包括一个或多个，其可以是，但不限于，随机存取存储器
(random access memory
，简称
ram)
，只读存储器
(read only memory
，简称
rom)
，可编程只读存储器
(programmable read-only memory
，简称
prom)
，可擦除可编程只读存储器
(erasable programmable read-only memory
，简称
eprom)
，电可擦除可编程只读存储器
(electric erasable programmable read-only memory
，简称
eeprom)
等
。
131.可以理解，图8所示的结构仅为示意，电子设备
800
还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置
。
图8中所示的各组件可以采用硬件
、
软件或其组合实现
。
于本技术实施例中，电子设备
800
可以是，但不限于台式机
、
笔记本电脑
、
智能手机
、
智能穿戴设备
、
车载设备等实体设备，还可以是虚拟机等虚拟设备
。
另外，电子设备
800
也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等
。
132.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的医疗图像分割方法或者医疗图像分割模型的训练方法
。
133.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现
。
以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行
。
另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式
。
134.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上
。
可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的
。
135.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分
。
136.需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中
。
基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备
(
可以是个人计算机，服务器，或者网络设备等
)
执行本技术各个实施例所述方法的全部或部分步骤
。
而前述的存储介质包括：u盘
、
移动硬盘
、
只读存储器
(read-only memory
，
rom)
随机存取存储器
(random access memory
，
ram)、
磁碟或者光盘等各种可以存储程序代码的介质
。
137.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序
。
138.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化
。
凡在本技术的精神和原则之内，所作的任何修改
、
等同替换
、
改进等，均应包含在本技术的保护范围之内
。