答辩博士：沈利言
指导老师：周济教授
论文题目：基于多模态机器学习和ViT注意力机制的小麦关键生育期检测与品种差异分类研究
答辩委员会：
主席：
刘守阳教授/博导 南京农业大学
委员：
肖茂华教授/博导 南京农业大学
卢伟教授/硕导 南京农业大学
黄成龙教授/博导 华中农业大学
云挺教授/博导 南京林业大学
秘书：
戴芸/助理研究员 南京农业大学
答辩时间：2024年12月2日15时
答辩地点：南京农业大学滨江校区前沿交叉研究院A561
论文简介：
在全球气候变化日益加剧的背景下，小麦关键生育时期的进程不仅是反映气候变化的敏感性指标，还为评估不同小麦品种的环境适应性和生产潜力提供重要依据。同时，基于开花阶段的小麦品种差异分类，可以更准确地评估不同品种的生理特性。并且，不同小麦品种对水肥养分的需求各异，基于品种差异的分类还可以为栽培学家改进栽培措施（如施肥、灌溉和病虫害防治等）提供数据支持，进而优化资源利用、提高生产效率。针对生育时期检测以及基于开花期的小麦品种差异性分类，本研究的主要内容如下：
1.构建了基于无人机航空影像的中英美小麦关键生育时期数据集
本研究首先通过无人机自动交叉飞行、倾斜摄影的方式，在2018至2021年小麦生长季中的关键生育时期，大规模多尺度的采集了中国（54个品种；2019-21年生长季）、英国（109个品种；2020-21年生长季）、美国（100个品种；2018-19年生长季）三个田间试验站共263个品种、数千个栽培和育种小区的冠层图像，并建立了田间无人机航空影像采集标准。其次，开发了结合Pix4D软件、三维点云滤波、去噪算法的大规模航空影像预处理和自动化小区分割流程，构建了小区尺度的中英美三国小麦冠层图像数据集。经过数据增强，最终的数据集共有60423张关键生育期图像，包括：分蘖期（10279）、拔节期（10277）、孕穗抽穗期（10882）、开花期（9673）、灌浆期（9675）、成熟期（9637）。再次，根据无人机采集图像的地理位置信息，从国际公共气象数据网站获取了中英美小麦试验站的多季气候数据（如温度、太阳辐射量、降雨量等）。最后，通过整合中英美三国的小麦冠层图像数据、多季气象数据及田间人工统计数据，完成了开放小麦关键生育时期数据集（Wheat Growth Stage Prediction，WGSP）的构建，为小麦关键生育时期检测模型的建立提供了高质量的多源数据基础。
2.开发了基于多模态学习的小麦关键生育时期检测和开花期预测模型
基于WGSP数据集，本研究构建了多模态深度学习模型（Multimodal deep learning model）GSP-AI（即Growth Stage Prediction AI），实现了对小麦关键生育时期的检测和开花期的预测。首先，本研究设计了一种基于Res2Net19的卷积神经网络架构，通过分层式残差连接提取不同生育时期小麦冠层的颜色和纹理特征。然后，进一步使用了长短期记忆网络（Long Short-Term Memory，LSTM）模型提取了不同生育时期的气候变化模式，如温度短期波动、降雨量和太阳辐射量的季节性变化等。最后，利用多层感知器融合冠层图像和环境信息，用以检测图像所属的关键生育时期，以及预测不同小麦品种的开花期。模型预测结果与人工计数的相关性分析结果表明：模型对分蘖期、拔节期、孕穗抽穗期、开花期、灌浆期和成熟期等六个关键生育时期识别的总体准确率为91.2%；开花期预测的均方根误差为5.6天。为进一步测试和改进GSP-AI模型，本研究还在2021-22年生长季，通过图像分辨率更高的智能手机采集了54 个中国冬小麦品种冠层图像（共9987张，并以此扩充WGSP至70410张标注图像）。改进后的GSP-AI模型总体生育时期识别准确率为93.4%，对开花期预测的RMSE为4.7天。为便于GSP-AI模型的推广应用，本研究还将该模型部署于云端服务器，进行了云计算平台GSP-Cloud的系统实现和应用尝试，为后续实现生育时期的智能化检测提供了新的技术平台。
3.建立了基于开花期小麦品种差异的分类模型
由于小麦开花持续时间较短，本研究基于GSP-AI 对开花期的预测结果，于2022-23年和2023-24年小麦生长季，分别在中国（20个品种）和英国（13个品种）试验田的开花期使用智能手机拍摄了小麦冠层和侧面株型的图像。相比于无人机，手机近距离拍摄的图像分辨率更高，能捕捉更细微的小麦品种形态特征（如穗形、叶片特征、株型等）。在此基础上，本研究首先使用滑动窗口方法对原始图像进行裁剪，建立了由102130张图像构成的小麦多品种数据集（WheatMulti-varietyDataset，WMVD），包含了33个表型形态差异较大的小麦品种及其器官级图像数据。然后，将器官特征分为麦穗有芒、麦穗无芒、冠层稀疏和冠层紧密等四个类型，并通过ViT模型与空间金字塔注意力模块（Spatial Pyramid Attention，SPA）结合，增强了模型对小麦冠层、侧面株型图像的特征提取能力，该模型对中英两国所试品种差异分类的准确率分别为92.1%和94.8%。最后，本研究对模型所关注的图像区域使用灰度共生矩阵（包括熵、同质度、角二阶矩、方差、对比度、差异性、均值、标准差等8个纹理性状）进行了评估，量化了小麦品种间性状差异性，为后续基于小麦器官级特征的大规模、标准化品种分类研究提供了科学参考。
主要重新点：
（1）建立了标准化田间无人机航空影像采集方案，利用无人机自动化的采集了中-英-美田间多尺度的小麦图像，并且通过整合三国的小麦冠层图像数据、多季气象数据及田间人工统计数据，完成了开放小麦关键生育时期数据集的构建（WGSP）。
（2）将环境信息融入到生育时期自动化检测模型中，设计了基于Res2Net19的CNN架构融入了分层式残差连接实现了多尺度的小麦冠层图像特征提取，利用LSTM提取了不同生育时期的气候变化模式，并且通过MLP实现了特征融合，构建了GSP-AI模型。本研究还将该模型部署于云端服务器，进行了云计算平台GSP-Cloud的系统实现和应用尝试，为后续生育时期的智能化监测提供了新的技术平台。
（3）构建的ViT+SPA模型实现了小麦品种差异性分类和器官级特征分类。此外，还对深度学习模型所关注的图像区域使用灰度共生矩阵提取了八个纹理性状（包括熵、同质度、角二阶矩、方差、对比度、差异性、均值、标准差），量化了不同小麦品种间性状差异性。
