时间：2026-01-23 分类：计算机应用
草类植物入侵后会争夺农作物生长所需资源，严重影响农作物的产量和品质;蒿属植物等草类植物释放的过敏性花粉还会引起人体过敏反应，危害人体健康。因此，将深度学习与无人机遥感技术相结合，实现对草类植物的高效识别与检测，在植物入侵预防、过敏原监测、农业生产管理等领域具有重要现实意义。当前遥感图像存在分辨率较低、背景信息复杂、细节信息不明显等问题，而深度学习结合无人机遥感RGB图像、多光谱图像等技术，能够解决草类植物密度大、种类多、覆盖范围广、识别困难等应用难题。本文对深度学习技术在草类植物无人机遥感图像中的研究进展进行了全面且深入的综述，阐述了广泛应用于草类植物研究的多种无人机遥感图像技术，重点介绍了可见光RGB和多光谱遥感技术的应用;详细总结了无人机航拍草类植物数据集，并聚焦当前深度学习在草类植物遥感图像中采用的主要网络结构和方法;最后归纳了该领域应用深度学习技术面临的主要问题，并展望了未来发展趋势。
关键词：深度学习;无人机(UAV);遥感图像;草类植物
论文《草类植物无人机遥感图像中深度学习应用综述》发表在《计算机工程与应用》，版权归《计算机工程与应用》所有。本文来自网络平台，仅供参考。
近年来，草类植物遥感图像的获取和分析在生态保护、资源管理和精准农业等领域发挥着越来越重要的作用。基于遥感相机与无人机的低空遥感技术快速发展，其相关技术被广泛应用于农作物类型识别、病虫害检测、生长实时监测等方面。相较于传统遥感技术，无人机遥感技术凭借高分辨率、低成本和高灵活性的特点，逐渐成为获取草类植物遥感图像的重要手段。但由于遥感图像的复杂性和庞大的数据量，传统图像处理方法往往难以满足对大规模数据的高效处理和精确分类需求，同时植物遥感图像具有高维、复杂的特征，其分类和识别面临诸多挑战。
深度学习具有出色的特征提取与表示能力，能够从图像中学习复杂的空间信息，更好地实现图像识别与检测、分类、分割等任务。深度学习技术的崛起弥补了传统方法在处理大规模数据上的局限性，能更充分地挖掘植物遥感图像中蕴含的信息，提高分类的精度和效率，为植物遥感图像的研究和分析提供了全新的解决方案。
针对分类、识别、检测和分割任务，深度学习模型在草类植物遥感图像中的应用场景各有不同。在农业监测场景中，可采用AlexNet、VGGNet、ResNet等神经网络技术区分不同类型的草类植物，这些模型通过多层卷积提取特征，实现草类植物的高效分类;在识别特定入侵类草类植物或致敏性植物，以进行过敏风险评估和防护的场景中，区域卷积神经网络(R-CNN)、Fast R-CNN、Faster R-CNN等模型结合区域提议网络(RPN)，能够精准定位和识别草类植物;在实时监测和检测农田中的杂草和野草，防止其与农作物争夺资源的场景中，YOLO(You Only Look Once)、SSD(Single Shot Multibox Detector)等单阶段检测模型具有检测速度快、实时性强的特点，适用于无人机快速巡查农田;在精细分割草类植物与背景，以进行详细生长状态分析和健康评估的场景中，全卷积网络、U-Net、Mask R-CNN等模型能够实现像素级分割，适用于精细化的草类植物研究。
深度学习在处理草类植物遥感图像时，尽管展现出巨大潜力，但也面临一些问题：(1)深度学习模型的训练高度依赖大量标注数据，然而草类植物数据集的标注过程复杂且费时，导致标注数据不足，进而影响模型的训练效果;(2)深度学习模型通常具有大量参数和复杂结构，训练过程需要大量计算资源;(3)不同环境条件下(如光照、天气变化)的图像质量差异较大，深度学习模型需要具备较高的适应能力，以确保在不同条件下的稳定性能;(4)遥感图像通常包含多个波段信息，传统的单波段处理方法无法充分利用遥感图像的全部信息，如何有效融合和利用这些信息是一个重要挑战。
本文首先分析对比了大规模、多样化的草类植物遥感图像数据集，其包含多种草类植物类型和生长环境;其次总结了常用的深度学习模型及其改进方法，以提高草类植物识别和分类的准确性;接着总结了常见的多模态模型融合RGB图像、近红外(NIR)图像和其他光谱数据的应用，以提升识别效果;最后提出了有效的预处理和迁移技术，旨在提升遥感图像的质量和模型的预测性能。
1 草类植物深度学习应用论文检索分析
本文按照图1所示流程进行了草类植物深度学习相关文献的检索。选择Science Direct、Web of Science和知网三个学术数据库，使用关键词“草类植物”和“深度学习”，通过布尔运算符“and”进行检索，阅读所有检索到文章的摘要，筛选出主题与本文内容一致的论文，得出过去五年(2019-2023年)中发表的关于草类植物深度学习应用技术文章的数量分布(如图2所示)。
从图中可以看出2019年至2023年期间，三个数据库共检索到的相关文章数量及变化情况。在搜索分析过程中发现，基于RGB图像的检测识别类论文有31篇，分类分割类有19篇;基于多光谱图像的检测识别类论文有9篇，分类分割类有17篇。2019年后逐步出现使用深度学习技术研究草类植物的文章，2021年Web of Science上发表的相关论文数量最多，达12篇，这表明2019年之后，深度学习在草类植物研究与应用方面的潜力稳步上升。
图1 文献检索流程 Fig.1 Literature retrieval process
图2 草类植物深度学习应用技术文章数量 Fig.2 Number of articles on application techniques of deep learning for grass plants
2 无人机遥感技术
无人机(UAV)遥感技术基于飞行器和机载传感器获取地面遥感数据，将地面数据分析处理系统融为一体，可对地面或地表物体进行高分辨率、多光谱或其他类型的数据采集。当前低空遥感平台的研究主要集中在固定翼无人机和旋翼无人机(如图3所示)，无人机上可搭载不同类型的传感器云台，满足对地物进行更清晰、精确判读的要求。随着无人机技术的快速发展，无人机遥感已成为当前遥感领域的研究热点。
相比卫星和飞机遥感，无人机遥感具有高时效性、高分辨率、低成本等优势。无人机遥感技术主要包括平台技术、载荷技术、遥感方法等。平台技术是无人机遥感的重要支撑，无人机作为遥感平台，为各类传感载荷提供稳定可靠的搭载环境，使其能在不同环境下进行精准的数据采集和传输，这种灵活性和高效性使得无人机遥感能够在更狭小的空间范围内收集数据，为后续数据处理和分析提供更丰富的信息。
通过搭载各类先进传感器，无人机能够捕捉到更细致的地表信息，具有高分辨率优势，使遥感数据更加精准可靠。在载荷技术中，常见的传感器主要有RGB传感器、多光谱传感器和高光谱传感器。RGB传感器主要用于彩色成像，捕捉红、绿、蓝三种颜色通道的信息，提供丰富的彩色数据，可用于评估作物的生长条件、营养状况等;多光谱传感器能够获取可见光、近红外等光谱波段的信息，主要用于监测作物的生长环境和土壤条件等;高光谱传感器能够在更精细的连续光谱范围内获得光谱信息，提供详细的光谱细节，使地面物体的识别和分类更加准确。在实验中，应根据实验地点、研究对象以及研究方法的不同选择合适的传感器类型。
遥感方法作为无人机遥感技术的核心，主要包括数据获取、数据处理和信息提取三个环节。各个环节协同工作，使无人机遥感技术能够提供高效、精确和多维度的地表信息，为各种实际应用提供强有力的技术支持。
图3 无人驾驶飞行器类别 Fig.3 Types of unmanned aerial vehicles
2.1 可见光RGB遥感技术
在农业领域，RGB传感器是无人机应用最为广泛的一种视觉传感器，主要用于捕捉物体的颜色，并将获取的信号快速、准确地转换为数字形式。该传感器凭借高精度、快速响应、低能耗、经济实惠以及出色的空间分辨率等特点备受青睐。
无人机拍摄的RGB图像可以覆盖广阔的地理范围，使得杂草分类不受地形和地物限制，实现更全面的覆盖和分类;同时，RGB传感器的高精度使其能够准确捕捉作物、土壤和其他农田要素的色彩信息;其高速响应能力能够实时捕捉农田中各种颜色变化，这对于监测作物生长过程中的变化、疾病和害虫入侵等情况至关重要;低功耗设计使得无人机能够长时间飞行，覆盖更大的农田范围，减少对电力和能源的需求，降低运营成本;此外，RGB传感器价格相对较低，农业从业者更容易获得和使用。综上，RGB传感器越来越多地用于物体识别、物候学、作物产量估计和测绘等领域。例如，Ge等采用大疆幻影4 Pro无人机，配备1英寸CMOS 2000万像素相机收集水稻数据，捕捉水稻育种中水稻冠层的高空间分辨率图像，建立了水稻育种产量估算模型。
由于深度学习算法的显著成果，许多研究学者将其应用于无人机RGB图像并取得了较好效果，如表1所示。该表详细展示了数据集来源、数据类型、深度学习模型、任务类型以及精度，以说明深度学习模型的高效应用。例如，Ahmad等使用了一个注释数据集，该数据集由美国中西部玉米和大豆生产系统中发现的四种早季草类的RGB图像组成(即苍耳、狐尾、复根猪草和巨型豚草)，并采用VGG16、ResNet50和InceptionV3预训练模型进行图像分类，深度学习与无人机拍摄RGB图像的优势相结合，取得了优秀的野草分类结果。表中Gao等的方法应用于甜菜识别，Hussain等的方法应用于马铃薯识别，表明深度学习不仅应用于杂草识别，在其他作物识别方面也有广泛应用。
深度学习算法能够从大量数据中学习草类植物的特征，结合无人机拍摄的RGB图像提供的丰富视觉信息，可实现快速而准确的杂草分类。由表1可以看出，传统图像处理技术在简单场景下计算效率具有优势，但在复杂场景下表现不佳;深度学习模型(如CNN和YOLO)虽然计算复杂度高，需要大量标注数据，但在检测精度上具有明显优势，且具备高准确率、自动特征提取的优点;YOLO等实时检测模型在速度上表现出色，但在小目标检测上存在不足，需要在具体应用中进行权衡。
在未来杂草检测研究中，应从以下三个方面展开：首先，研究多模态融合，将不同传感器的数据结合，如RGB图像与多光谱、红外、激光雷达、热红外等数据进行多模态融合，以提高检测的准确性和鲁棒性;其次，研究轻量级的深度学习模型，在保证检测精度的同时提高计算效率，适应资源受限的环境;最后，研究多任务学习框架，将杂草检测与其他农业任务(如病虫害检测、作物健康监测)融合到一个统一的深度学习框架中，通过共享特征提取网络，提高各任务的性能，提升模型的整体效用和资源利用率。
表1 用于无人机RGB图像杂草检测的技术和深度学习模型 Table 1 Techniques and deep learning models used for weed detection in UAV RGB images
|文献|草类植物|数据类型|数据集|深度学习模型|任务|精度/%|
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|Fraccaro 等 [13]|冬麦田/黑草/其他草类|RGB|由英国专家收集的本地和全球草类植物地图，实地调查数据|DCNN|检测|90.00|
|Chew 等 [14]|香蕉、玉米和豆类|RGB|无人机(UAV)中收集的RGB图像用于作物类型识别|VGG16 和迁移学习|识别|49.00(豆类)、96.00(香蕉)|
|Qiao 等 [15]|薇甘菊|RGB|使用无人机(UAV)获取了野生环境中监测区域的彩色图像|MmNet|识别|94.50|
|Teimouri 等 [16]|草的9个生长类别|RGB|收集了各种作物中杂草生长的图像，自动将杂草分为9个生长类别|DCNN|识别|78.00(何首乌)、46.00(黑草)|
|Adhikari 等 [17]|稻田杂草|RGB|水稻检测和野生小米检测数据集|改进的深度卷积神经网络|检测|召回率显著提高|
|Gao 等 [18]|C.sepium 和甜菜|RGB|C.sepium 和甜菜数据集|YOLOv3-tiny|检测|82.90|
|Hussain 等 [19]|羔羊窝和马铃薯植株|RGB|图像数据库包括马铃薯在不同生长阶段、室外光线(晴朗、多云和部分多云)和阴影条件下拍摄的照片|DCNNs、EfficientNet|检测|92.00~97.00|
|Junior 等 [20]|抗性野草|RGB|基于5种抗草甘膦野草的自定义数据集|YOLOv5|检测|-|
|Peng 等 [21]|水稻/草类|RGB|建立了一个包含水稻和草的数据集|基于RetinaNet的WeedDet模型|检测|94.10|
|Razfar 等 [22]|大豆种植园中的草|RGB|基于包含400张图像和1536个总片段的数据集|MobileNetV2、ResNet50|检测|-|
|Beeharry 等 [23]|杂草|RGB|无人机图像的杂草数据集|人工神经网络和AlexNet|检测|99.80|
|Sivakumar 等 [24]|大豆田中后期杂草|RGB|低空无人机(UAV)图像|Faster R-CNN 和 SSD|检测|-|
|Wang 等 [25]|茄种子|RGB|共采集413张含有龙葵幼苗的图像，包括192张NIKON D610图像、186张手机图像和35张MAVIC AIR图像|YOLO_CBAM|检测|94.65|
|Torres-Sánchez 等 [26]|野草|RGB|向日葵和棉花等宽行草本作物中进行阔叶杂草和杂草检测|神经网络解决遥感硬分类|检测|80.00|
|Haq 等 [27]|小麦/野草|RGB|Koont Chakwal大学研究农场的田地里保留了6000张草和小麦的RGB顺序照片|YOLOv4-Tiny|检测|89.00|
|Punithavathi 等 [28]|植物/野草|RGB|Benchmark数据集 [29]|Faster R-CNN|检测|-|
|Xu 等 [30]|麦田/野草|RGB-D|所有的草类植物图像都来自公开的数据库(https://vision.eng.au.dk/植物幼苗数据集/)|Faster R-CNN+VGG-16|识别|99.63|
2.2 无人机多光谱遥感技术
无人机多光谱技术通过搭载多光谱传感器的无人机，能够获取地表植被的高分辨率多波段图像。其基本原理是利用可见光、近红外和其他波段光谱独特的吸收、反射、透射等特性，揭示植物的健康状况、生长情况以及其他环境信息。
与传统的单光谱传感器相比，多光谱传感器可以同时获取和记录多个波长的信息，从而更全面地理解和分析目标的光谱特性。如表2所示，不同光谱波段具有不同的植物作用和波段作用：可见光波段(400~700nm)中，植物对不同波段的光呈现吸收和反射特性，叶绿素对蓝光和红光吸收较强，对绿光反射较多，该波段图像常用于监测植被的表观特征;近红外波段(700~1400nm)中，植物反射率相对较高，通过分析该波段反射情况，可获取植被的叶面积指数(LAI)、植被覆盖度和植物健康状况等信息;短波红外波段(1400~3000nm)对探测植物的生理变化、土壤类型和水分状况等具有高度敏感性，可用于分析土壤特性;中波红外波段(3000~8000nm)、长波红外波段(8000~15000nm)和微波波段(1~1000mm)也各有其独特的应用场景，如热成像、温度测量、气体检测、气象监测等。
例如，Jelínek等使用两种无人机，分别配备RGB和多光谱相机，从这些图像中导出了七个常用的RGB植被指数(VI)，包括绿色百分比指数(G%)、过量绿色指数(ExGreen)、绿叶指数(GLI)、可见大气抗性指数(VARI)、红-绿-蓝植被指数(RGBVI)、归一化绿-红差异指数(NGRDI)和三角绿色指数(TGI)，并组成两个数据集;Stempliuk等探讨了多光谱技术基于植物组织对于可见光和近红外等波段的不同反应特性，植物细胞中的叶绿素、水分和其他化学成分对不同波段的光具有不同的吸收和反射特性，通过测量这些光谱信息，可以推断植物的生理状况、水分含量、叶面积指数等重要参数。
通过综合不同波段的光谱信息，无人机多光谱技术可以提供更为全面的植被信息，获取地表植被高度丰富的光谱数据。传感器在这些波段上的灵敏度使得植物的生理和生态信息能够被准确捕捉，不仅提高了数据采集的效率，也为相关领域的科研和管理工作提供了更为全面和准确的信息，推动了遥感技术在环境监测和资源管理中的应用水平，在植物学研究中为科学家提供了高效、精准的手段，在植物种类分类和生长状态监测方面展现出卓越潜力。其具体应用如表3所示。
表2 多光谱光谱波段信息及作用机制 Table 2 Multispectral spectra band information and action mechanism
|光谱波段类型|波段波长范围|植物作用|波段作用|
| ---- | ---- | ---- | ---- |
|可见光波段|400~700nm|植物对于可见光的反射主要受到叶绿素的吸收和散射的影响，在可见光波段，植物对不同波段的光呈现吸收和反射的特性。叶绿素对蓝光和红光吸收较强，而对绿光相对较少吸收，绿光反射较多|无人机搭载的多光谱传感器在可见光波段的图像常用于监测植被的表观特征，如颜色和形态，可以用于分析植物的颜色、生长情况等表观特征|
|近红外波段|700~1400nm|在近红外(NIR)波段的反射相对较高，特别是叶绿素的吸收峰位于红光和近红外波段。这是由于植物细胞的结构和水分对NIR光的反射性质|由于植物在NIR波段的反射率相对较高，通过分析近红外波段的反射，可以获取关于植被的叶面积指数(LAI)、植被覆盖度和植物健康状况等信息|
|短波红外波段|1400~3000nm|短波红外波段(SWIR，1400~3000nm)对于探测植物的生理变化、土壤类型和水分状况等具有高度敏感性|SWIR波段可以用于分析土壤特性，如含水量和矿物质组成。红外和SWIR波段的信息对病害、虫害以及植物生长的异常情况提供了重要线索|
|其他波段|中波红外波段(MWIR)：3000~8000nm;长波红外波段(LWIR)：8000~15000nm;微波波段：1~1000mm|MWIR和LWIR通过热成像技术检测植物的健康状况、水分胁迫和环境影响，适用于热应力和病虫害监测。微波波段通过其穿透能力和散射特性，提供土壤湿度测量、植被结构分析和大尺度生物量估算|中波红外波段用于热成像和温度测量。长波红外波段能够探测物体的热辐射，应用于气体检测和生态环境监测。微波波段穿透性强，用于雷达成像、气象监测、地表特征探测和通信|
表3 无人机多光谱技术在植物学研究中的应用 Table 3 Applications of UAV multispectral technology in botany research
|应用|植物学研究机制|文献|
|植物种类分类|无人机多光谱技术获取高分辨率植物的多光谱图像，每个植物物种在不同波段的光谱反射特性是独特的，通过使用深度学习等先进算法，使其能够自动识别和分类不同的植物，实现对植物多样性的高效监测和分类|杨蜀秦等 [33]、张妮娜等 [34]|
|植物生长状态监测|无人机多光谱技术能够实时监测植物的生长状态，包括生长速率、叶面积指数(LAI)、植被覆盖度等关键指标。通过定期采集多光谱图像，可以追踪植物的生长过程，识别植物在不同阶段的生长特征，对生态系统的动态变化进行深入研究|陈虹等 [35]、陈建福等 [36]|
|植被指数计算|计算各种植被指数，如归一化植被指数(NDVI)、归一化差异植被指数(NDWI)等可以反映植物的光合活动、水分状况、叶绿素含量等重要信息，精确地评估植物的健康状况|周宇飞等 [37]、王帅等 [38]|
|病虫害监测|植物受到病害或虫害侵袭，导致植物在不同波段的光谱反射率发生变化，针对不同的病害或虫害，通过比对多光谱图像，可以及时发现植物的健康问题|地力夏提·依马木等 [39]、贺园园 [40]|
|土壤植被相互作用研究|通过分析土壤和植物在多光谱图像中的反射率，可以研究土壤特性、水分分布和植物根系的生长情况|张智韬等 [41]、李鑫星等 [42]|
|环境监测和生态研究|无人机多光谱技术为生态学研究提供了新的维度，通过监测植物的光合作用、水分利用效率等指标，可以更全面地了解生态系统的健康状况和生物多样性|高鲁红等 [43]|
3 研究方法和技术应用
3.1 基于深度学习的方法
深度学习是机器学习的一个重要分支，其核心思想是通过构建和训练包含多个处理层的神经网络模型来进行特征学习和模式分类，其发展得益于计算能力的提升和大规模数据集的可用性。深度学习的基础是人工神经网络，这是一种由神经元(模拟生物神经元)组成的网络结构。神经元接收输入并通过权重进行加权求和，再通过激活函数产生输出。
深度学习之所以称为“深度”，是因为它采用了多层的神经网络结构，允许模型学习更加复杂和抽象的特征表示。核心的训练算法是反向传播(back propagation)，它通过计算模型的输出与真实标签之间的误差，并反向传递这个误差，来更新网络中的权重，从而最小化误差。这一过程依赖于梯度下降算法，通过不断调整权重，使得模型的输出逐渐逼近真实标签，实现对任务的学习和优化。在神经网络中，激活函数引入非线性特性，使得神经网络能够学习更为复杂的函数关系，常见的激活函数包括Sigmoid、Tanh、ReLU等，每种激活函数都有独特的性质，适用于不同的场景。
深度学习的架构多种多样，根据任务的不同选择不同的模型结构(如图4所示)。其中，Transformer-base模型是以Transformer架构为基础设计的模型，该架构最初为自然语言处理(NLP)任务而设计，但其自注意力机制和并行处理能力使其在计算机视觉任务中也表现出色。它允许模型在处理输入数据时捕捉到全局的依赖关系，能够很好地理解数据的全局上下文;通过多头自注意力机制，模型可以从不同的子空间中提取信息，提高模型的表现力;同时，Transformer架构允许并行处理输入数据，显著提高了模型训练和推理的速度以及训练的稳定性。在图像任务中，图像分类会将图像分割为固定大小的块(patches)，并将这些块作为序列输入到Transformer中;目标检测利用Transformer的全局上下文捕捉能力进行目标检测;图像分割则利用Transformer处理图像的全局上下文信息进行像素级分类。
图4 深度学习模型总结 Fig.4 Summary of deep learning models
3.2 深度学习在草类植物识别中的具体应用
深度学习为植物识别领域的应用提供了强大的工具，并取得了显著进展。卷积神经网络(CNN)是深度学习最为成功的架构之一，在植物识别中也取得了卓越成果。通过卷积神经网络，模型能够自动学习植物图像中的特征，从而实现对植物的高效分类。Kamilaris等将卷积神经网络与其他现有技术进行了比较，列出了在农业中使用卷积神经网络的优缺点，总体研究结果表明，卷积神经网络是一种很有前途的技术，在识别和分类精度方面具有很高的性能，优于现有的其他常用图像处理技术。这些模型通过多层卷积和池化操作，逐渐提取图像的层次化特征，使得植物的复杂结构能够被有效地表示和分类。
Subeesh等评估了基于深度学习的技术(AlexNet、GoogLeNet、InceptionV3、Xception)应用在甜椒田RGB图像草类植物识别中的可行性，模型的总体准确率在94.5%至97.7%之间。植物检测模型还能够在图像中准确定位并标记出植物的位置，这对于实时监测植物的生长状态、密度和空间分布等信息具有重要意义。
通过不断改进和创新深度学习模型，科学家和农业人员能够更精准、高效地进行植物识别，实现农业可持续发展和生态环境的监测与保护。例如，Yan等研究了一种新的草类植物自动识别方法，该方法使用深度卷积神经网络从原始图像中学习特征，使用支持向量机(SVM)对手工设计(HC)特征的分类准确率为87.8%，使用学习特征的分类正确率为94.5%;Jin等评估了使用深度卷积神经网络根据其对ACC酶抑制和合成生长素除草剂的易感性来检测和区分草坪中生长的草类植物的有效性，深度学习模型GoogLeNet、MobileNet-v3、ShuffleNet-v2和VGGNet经过训练后，ShuffleNet-v2和VGGNet显示出高的总体准确度(≥0.999)和F1得分(≥0.998);Kulkarni等利用卷积神经网络、图像处理和物联网技术检测作物中的杂草。由此可见，深度学习在植物识别中的应用为农业和环境科学带来了新的机遇和挑战，也为未来研究提供了广阔的发展空间。
由于杂草、害虫和疾病等多种因素的影响，农业作物的生产力可能会降低。在过去的几年里，使用无人机平台进行植物病害监测是研究人员越来越感兴趣的重要农业应用之一，早期准确检测和治疗植物病害对提高农业生产至关重要。深度学习在植物病害检测中也发挥了重要作用，通过训练深度学习模型，可以实现对植物病害的自动识别，提前发现植物健康问题，采取及时的防治措施，这对于提高农作物产量、减少农药使用等具有重要意义。Bouguettaya等分析了基于深度学习算法和无人机技术的计算机视觉技术在识别和治疗作物疾病方面的最新进展;Soeb等通过在孟加拉国四个著名茶园收集的病茶叶数据集上训练单阶段对象检测模型YOLOv7，为茶叶病害检测问题提供了一种基于人工智能的解决方案，该方法的检测准确性、精密度、召回率、mAP值和F1得分分别为97.3%、96.7%、96.4%、98.2%和0.965;张建华等概述了当前国内外关于植物病理诊断领域的最新成果及研究方向，重点介绍了基于深度学习网络的植物病理病征特征提取、分类器设计等方面的工作原理及关键技术。
在深度学习应用于无人机遥感草类植物多光谱图像识别中，最广泛采用的方法是迁移学习。迁移学习是一种将在一个任务上学到的知识应用到另一个相关任务上的方法，在植物识别中，针对在大规模图像数据集上训练好的通用模型(如物体图像识别任务上预训练的模型)，可以通过微调(fine-tuning)适应植物图像的特定特征。这种方法有效解决了植物图像数据相对较少的问题，提高了植物识别模型的性能。例如，Zhuang等从数据和模型的角度回顾了40多种具有代表性的迁移学习方法，尤其是同质迁移学习方法，简要介绍了迁移学习的应用，并使用20多个具有代表性的迁移学习模型进行实验，实验结果证明了为实践中的不同应用选择适当的迁移学习模型的重要性;Chen等首次对深度迁移学习进行了全面评估，用于识别美国南部棉花生产系统特有的常见杂草，并创建了一个新的杂草识别数据集，该数据集由5187张在自然光照条件下和不同草类植物生长阶段收集的15类草类植物的彩色图像组成，通过迁移学习评估了27个最先进的深度学习模型，取得了高分类准确率，F1分数超过95%，ResNet101获得了99.1%的最佳F1成绩，其中14个模型的F1成绩超过了98.0%;Espejo-García等提出了一种方法，将农业迁移学习的使用和生成对抗性网络(GAN)创建人工图像相结合，并在包含番茄和黑茄图像的数据集上评估了几种架构和配置，最佳配置是GAN创建看似合理的合成图像和Xception网络的组合，在测试集上的性能为99.07%;Sharma提出了一种基于迁移学习技术的方法，对12种作物和草类植物进行分类，使用在具有ResNet101架构的ImageNet数据集上训练的模型来执行迁移学习，最后采用包括渐进调整大小、循环学习率和焦点损失函数在内的各种技术来调整网络的参数，以提高性能，模型在验证期间实现了98.47%的总体准确率，在测试集上实现了96.04%的总体准确率。
草类植物具有广泛的分布和多样的形态特征，随着现代农业技术的发展，对草类植物的准确识别和分类变得越来越重要。草类植物数据集作为支持机器学习和深度学习算法的重要资源，为研究人员和农业从业者提供了宝贵的信息来源。表4对草类植物数据集进行了综述和总结，包括数据集的来源、采集方法、标注方式以及数据集中所包含的草类植物种类等内容。
由表4可以看出，现有的数据集在规模和多样性上存在差异，较大规模的数据集在训练深度学习模型时具有优势，而较小的数据集适合模型验证和小规模实验;像素级标注数据集在精细分割任务中尤为重要，但制作成本高，分类标注数据集(如DeepWeeds)适合分类任务，标注成本相对较低。未来研究学者可以集成不同领域的数据集(如遥感数据、气象数据)，为模型提供更丰富的上下文信息，通过融合多源数据，更好地理解植物生长环境，提高杂草检测的准确性;2023年以来，更多的数据集开始强调时空多样性，覆盖不同季节、不同生长阶段、不同地理位置的植物图像，未来应构建更大规模、更多样化的草类植物数据集，涵盖不同种类的杂草和环境条件，同时推动数据集的标准化，以便于模型的训练和评估，这种多样性有助于训练出更具泛化能力的模型;此外，可以利用生成对抗网络(GAN)等技术生成合成数据，特别是对于稀有或难以采集的草类植物图像，通过生成与真实数据分布相似的合成数据，显著扩展数据集规模，提高模型的训练效果。
表4 草类植物数据集 Table 4 Grass plant datasets
|文献|规模|标注方式|应用场景|链接|
|Aggarwal 等 [62]|早季杂草数据集，该数据集由159张公鸡草图像、139张狐尾图像、170张红根猪草图像和150张巨型碎草图像组成，对应于玉米和大豆生产系统中发现的4种常见杂草|图像分类、物体检测|图像创建了边界框注释，训练图像分类和对象检测，网络能准确定位和识别玉米和大豆田中的杂草|
|Sa 等 [63]|甜菜与杂草分割数据集，使用Mavic Pro无人机拍摄和Inspire 2无人机搭载Red Edge的摄像头传感器拍摄。捕获地面采样距离为10m的高度大约1cm的不同甜菜作物|图像分类、物体检测|鹦鹉红杉相机有4个通道R、G、NIR、RE。Red Edge相机的通道为R、G、B、RE和NIR|
|Haug 等 [64]|水稻-小米数据集，8个以水稻和小米草类为基底，其余像素作为背景。使用了该数据集的380张图像，其中310张用于训练，30张用于验证，40张用于测试，共包含380张804×604大小的图像，使用佳能EOS-200D手持式相机拍摄|识别检测|水稻和小米草类的外观相似，因此这是一个非常具有挑战性的数据集，其目标是使用语义图形识别和定位水稻和杂草的位置|https://github.com/cwfid|
|CWD30 Dataset (Weed) [65]|CWD30包括20种草类植物和10种作物，219770多张高分辨率图像，涵盖不同的生长阶段、多个视角和环境条件|识别检测|专门用于精准农业中的作物和杂草识别，从不同地理位置和季节的不同农田中收集的|
|Champ 等 [66]|数据集的样本是单独的试验场地的作物行，每个地块由两排平行的作物组成，每个图分为包含作物和草类特定组合的4个物种，用于获取测试数据|识别检测|8个地块用于训练数据，每个数据包含单个作物的样本，以及一种特殊的草类|
|Moazzam 等 [67]|甜菜本地数据集，通过Ying Phantom 4无人机使用农业凸轮传感器Agrocam Geo相机传感器，其被设计为监测作物健康。NGB图像具有3个通道，即NIR、G和B channels。NDVI图像用B和NIR通道计算|识别检测、图像分类、图像分割|新捕获的甜菜多光谱数据集，应用于草类检测|poIUBXCEF42yBb9QAeO4tWDydVQ?e=La8STb|
|Weed25 Wang 等 [68]|杂草数据集，包含25种不同杂草的14035张图像。该数据集中包括单子叶植物和双子叶植物的杂草图像资源|图像分类|记录了不同生长阶段的杂草图像，应用于不同种类不同生长阶段的分类|
|Multiclass Weeds Dataset [69]|澳大利亚牧场杂草物种的第一个大型公共多类图像DeepWeeds数据集，由17509张标记的图像组成|图像分类|澳大利亚北部8个地区的8种全国重要杂草|
|CoFly-WeedDB [70]|CoFly-WeedDB包含201张RGB图像，这些图像来自DJI Phantom Pro 4的附属相机，RGB图像是无人机在该领域执行覆盖任务时收集的草类、旋花类植物和马齿苋数据集|图像分割、图像分类|由专业农学家使用LabelMe注释工具进行了注释，用于杂草自动分割和分类|
|Annotated food crops and weed images [29]|杂草和粮食作物数据集，该数据集由1118张图像组成，其中识别了6种粮食作物和8种杂草，共进行了7853次注释|识别检测|用于杂草检测。3台RGB数码相机用于图像捕获|
|Weed Dataset [71]|玉米杂草数据集包括1200片蓝草、1200片刚毛卷须、1200片莎草、1200片藜和1200片玉米。生菜杂草数据集在30m高的地方采集了500张生菜幼苗图像和300张杂草图像。萝卜杂草数据集包括200株萝卜幼苗和200株杂草|图像分类、识别检测|该数据集针对玉米、生菜、萝卜。采用佳能PowerShot SX600 HS相机垂直朝向地面，获取可以减少阳光反射影响的图像|
|Haug 等 [64]|甜菜植物、双子叶植物草类和草地杂草数据集，Boni-Rob数据集使用492张尺寸为1296×966的图像，分为训练(400张)、验证(30张)和检测(62张)|识别检测|机器人采用传感器进行光谱成像和植物病毒制图|
3.3 基于深度学习的草类植物RGB图像识别检测方法
基于深度学习的目标检测算法通过卷积神经网络自动学习和提取图像中的层次特征。目标识别检测是计算机视觉领域的一项重要任务，旨在识别图像或视频中出现的感兴趣区域，确定其位置和大小，并进行分类以识别目标。目标检测算法主要包括特征提取、边界框回归和目标分类三个步骤。随着研究的不断深入，开发了一系列基于卷积神经网络的目标检测算法，这些算法的主要技术路线分为两类：
一类是两阶段目标检测算法，该算法是早期开发的，在训练过程中使用神经网络生成一系列候选区域，然后对每个候选区域的位置进行分类和调整。由于训练过程分为两个阶段，计算速度相对较慢，代表性算法包括R-CNN、Fast R-CNN和Faster R-CNN。
另一类是开发较晚的单阶段目标检测算法，通过直接在输入图像上生成对象边界框和类别信息，大大提高了计算速度和精度，代表算法是YOLO系列算法和SSD算法。这些网络可以从草类植物图像中学习区分不同植物的视觉特征，通过调整网络参数可以持续优化特征提取和分类的性能。
基于深度学习的草类植物图像识别检测方法利用深度学习技术对收集的草类植物图像数据进行训练和学习，以实现对草类植物的自动识别和检测。这种方法具有高度的灵活性和准确性，可以适应不同类型和品种的草类植物，并在实际应用中发挥重要作用。表5综述和总结了基于深度学习的草类植物RGB图像的检测与识别技术的研究进展和应用现状。
根据表5可知，在采集数据方面，大多采用DJI系列旋翼型无人机搭载RGB相机，用于识别检测杂草与作物;在深度学习模型中，常用的模型包括卷积神经网络(CNN)及其变种(如ResNet、VGG、Inception等)，也常出现流行的YOLO系列算法，其结构简单便于轻量化，而且精度等评估指标表现良好。在实际应用中，经过训练的模型可以嵌入到移动设备或无人机中，进行实时草类植物识别和检测，结合GPS定位和物联网技术，还可以实现草类植物分布的实时监控和管理。近年来在识别检测中，结合多尺度特征融合技术可以提高模型对不同大小目标的检测能力，通过金字塔结构或特征金字塔网络(FPN)，模型可以在不同尺度上进行目标检测，提升小目标和大目标的检测准确性;基于Transformer的模型在目标检测中表现出色，能够有效处理长距离依赖关系和复杂背景信息，提升目标检测的精度和鲁棒性，特别是ViT(Vision Transformer)和DETR(Detection Transformer)在处理高维特征时表现优异。
未来将研究更加高效的实时目标检测模型，如进一步优化YOLO和SSD的结构，提升小目标检测能力;研究动态调整网络结构和参数的目标检测模型，能够根据输入图像的复杂度和目标特点，自适应地选择最佳检测策略，提高检测效率和精度;在目标检测任务中，结合其他相关任务(如分割、分类)，通过多任务学习和联合优化，提高模型的整体性能和适应性。
表5 基于深度学习草类植物RGB图像检测识别 Table 5 RGB image detection and recognition of grass plants based on deep learning
|文献|草类物种|无人机类型|深度学习模型|任务|精度/%|F1/%|召回率/%|准确率/%|
|Reedha 等 [74]|甜菜/欧芹/菠菜/草类|Pilgrim UAV|Vision Transformers + 迁移学习|检测|98.50|97.10|95.70|-|
|Genze 等 [75]|高粱/野草|DJI Mavic 2 Pro|DeBlurWeedSeg + Deblurring|分割、检测|-|-|-|-|
|Li 等 [76]|大豆/杂草|DJI Mavic 3M|YOLOv7 FWeed + M-MHSA|检测|94.96|93.07|91.25|-|
|Xu 等 [77]|大豆/杂草|DJI Phantom 4 V2Pr|ResNet101_v/DSASPP|检测|-|-|-|90.50|
|Zhao 等 [78]|小麦穗/杂草|DJI TMMatrice TM210|OSWSDet + YOLOv5|检测|96.00|-|90.00|-|
|Sapkota 等 [79]|棉花/杂草|HylioAG-110|Mask R-CNN + GAN / Transfer Learning|检测|-|-|-|-|
|Cai 等 [80]|菠萝/杂草|DJI Mavic 2|PSPNet + ECAmodule|检测|-|87.79|-|-|
|Lam 等 [81]|阔叶dock|DJI Phantom 3 and 4|VGG16|识别|-|78.70|-|92.10|
|Camargo 等 [82]|冬小麦/杂草|Hexa-copter system|DCNN + ResNet18|制图|93.50|-|92.67|94.00|
|Zou 等 [83]|杂草|DJI Mavic 2|U-Net + Dilationconvolution|分割、检测|84.29|98.84|80.85|-|
|Khan 等 [84]|蟋蟀草属|DJI Spark|半监督生成对抗性网络|检测|-|-|-|93.40|
|Gallo 等 [85]|甜菜/菊苣/杂草|DJI Phantom4 Pro|YOLOv7|检测|61.30|-|54.80|-|
|Khan 等 [86]|香菜农田|Quadcopter Coupled with a Raspberry Pi 4|5个自定义CNN模型|检测|-|-|-|95.50|
|Ukaegbu 等 [87]|草类|DJI Phantom 3|ResNet50|检测|-|-|-|98.40|
|Khan 等 [88]|未提及具体名称|DJI Spark|YOLOv3|检测|-|-|-|90.00|
|Huang 等 [89]|谷仓草|UAV|AlexNet, VGGNet, GoogLeNet, ResNet|检测|70.20|-|-|-|
|Etienne 等 [90]|红根猪草、巨型豚草等|DJI Matrice 600 Pro|YOLOv3|检测|91.40、86.10|-|-|-|
3.4 基于深度学习的草类植物RGB图像分类分割方法
随着深度学习的高速发展，目前已提出不少语义分割网络应用在遥感地物的分割上。图像分割算法是计算机视觉领域的另一个基本问题，其核心思想是将图像分割任务转换为一个基于像素的分类问题，利用卷积神经网络对图像进行提取和分类，可以自动学习图像中的复杂特征，处理各种对象，该算法采用全卷积网络作为基础设施。
针对高分辨率遥感影像的语义分割模型以及一系列改进算法已相继提出，基于深度学习的草类植物图像分割方法通过训练模型，能够理解草类植物图像中的细微特征和结构，这种方法可以将草类植物与周围环境进行精准分离，从而实现对草地的像素级别分析和识别。例如，姜红花等采用基于Mask R-CNN的杂草检测方法，提高了田间复杂环境下杂草分割精度，并利用该方法设计农药变量喷洒装置，实现了农药的精准喷洒;Asad等手动标记杂草像素，将标记数据用于训练语义分割模型，在油菜籽田的高分辨率彩色图像上评估了所提出的方法，并对SegNet和U-Net等深度学习架构与VGG16和ResNet50等进行了性能比较，基于ResNet50的SegNet模型显示出最佳结果，Mean IoU为0.8288，FWIoU为0.9869。
基于卷积神经网络的图像分割算法是一种先进的图像分割技术。表6综述和总结了基于深度学习的草类植物RGB图像的分类分割技术的研究进展和应用现状。研究人员还开发了多种高性能的图像分割算法，如U-Net、DeepLab、Mask R-CNN等。表6中不同分割模型在精度和计算复杂度上存在差异，U-Net和DeepLabv3适合高精度需求的任务，而SegNet适合资源受限环境;DeepLabv3在边界处理和细节保留上具有优势，适用于需要精细分割的应用场景。虽然传统的卷积神经网络及其变种(如U-Net、DeepLab)在特征提取和图像分割上表现出色，但模型可能对光照、背景、遮挡等环境变化敏感，影响分类和分割的稳定性，在不同的应用场景或地域，模型的性能可能会有所下降，需要重新训练或微调。
未来研究方向中，随着农业应用场景的多样化，领域自适应分割技术可以使模型在不同的环境、光照条件和植被类型下保持稳定的分割性能;研究能够根据输入图像的复杂度和内容动态调整网络结构和参数的分割模型，自适应地选择最佳的分割策略，在保证精度的前提下提高计算效率;研究轻量化的分割模型，适用于资源受限的实际应用场景;开发新的边界精细化技术，提高模型在复杂背景和细小目标上的分割能力;研究多尺度特征融合技术，通过结合不同尺度的特征，提高模型在处理复杂背景和细小目标时的分割精度。
表6 基于深度学习草类植物RGB图像分类分割 Table 6 RGB image classification and segmentation of grass plants based on deep learning
|文献|杂草物种|数据集|深度学习模型|任务|精度/%|
|Hashemi-Beni 等 [93]|作物/杂草|数据集由不同的无人机(田间机器人和无人机)捕获并由专家标记|U-Net; SegNet; FCN; DeepLabv3+|分类、分割|78.20; 62.60; 68.40; 84.30|
|Jin 等 [94]|蔬菜/杂草|-|CenterNet|分割|95.60|
|You 等 [95]|杂草/作物|两个具有挑战性的公开数据集|深度神经网络(DNN)|分割|-|
|Nasiri 等 [96]|甜菜、杂草和土壤|像素语义分割数据|U-Net|分割|96.06|
|Jiang [97]|田间杂草|-|VGG16|分类|98.99|
|Genze 等 [98]|运动模糊图像中杂草和作物|数据集匹配了真实高粱和杂草植物的清晰和自然模糊的图像|DeBlurWeedSeg|分割|-|
|Fathipoor 等 [99]|胡萝卜/杂草|carrot-weed|U-Net++|分割|88.84|
|Benchallal 等 [100]|作物/杂草|DeepWeeds 4-Weeds [62]|ConvNeXt|分割|-|
|Abdulsalam 等 [101]|作物/杂草|由农场中拍摄的杂草图像组成。与玉米植株相关的四类杂草图像。类别是蓝草、藜、刚毛环和莎草|ResNet50 + YOLOv2|分类|81.00|
|Chavan 等 [102]|杂草种类|公开数据集|AgroAVNET|分类|98.23|
|Khan 等 [103]|作物/杂草|公共数据集|CED-Net|分割|90.97|
|Tao 等 [104]|冬油菜/杂草|采集设备为微视公司生产的MV-VDM120SC工业数码相机|VGG + SVM|分类|-|
|Champ 等 [66]|作物/杂草|在绘图上方沿着线性连续路径每45cm采集一次图像|Mask R-CNN|分割|-|
|Vypirailenko 等 [105]|杂草|Leafcounting|DenseNet169|分类|-|
|Haq [106]|土壤、大豆、草地、阔叶树|包含15336个片段的4400张无人机图片的真实数据集|CNN LVQ模型|分类|99.44|
|Arun 等 [107]|杂草、作物|-|U-NET架构|分割|95.00|
|Gašparović 等 [108]|杂草/裸土|输入无人机数据是使用低成本的RGB相机收集的|基于对象和基于像素的分类方法|分类|89.00 和 87.10|
|Fawakherji [109]|杂草/作物|-|使用两个卷积神经网络来简化和加快训练|分类|-|
3.5 基于深度学习的草类植物多光谱图像识别检测方法
无人机多光谱图像通常由几个离散波段的信息组成，这些波段反映了不同光谱范围内的植物特征。深度学习在多光谱植物图像识别中具有许多优势，因此成为一个强大的工具。卷积神经网络能够自动学习多光谱图像中的抽象特征，与传统的手动设计特征提取器相比，深度学习能够通过层次化的方式从原始数据中学到更高层次、更有代表性的特征，这对于多光谱图像中包含的复杂信息非常重要，因为不同波段可能涵盖植物的不同生理和结构特征。
植被指数已成功地用于监测农作物的生长和预测产量。例如，Guo等使用无人机对玉米产量进行了长期观测，开发了一种新的植被指数，称为改良红蓝VI(MRBVI)，在使用MRBVI进行叶绿素含量估计和产量预测时，决定系数(R²s)分别为0.462和0.570，结果相对优于其他七种常用VI方法;Rosle等利用无人机和多光谱图像探测稻田中的杂草，多光谱图像被用来识别作物的状况，根据图像中的光谱分辨率来确定杂草和水稻植物，无人机配有多光谱相机、Micasense相机和RGB相机;Yang等设计了一种高效的卷积神经网络结构来估计水稻的生产，CNN结合了空间金字塔池、迁移学习和具有外部数据的辅助分支，使用配备多光谱和RGB摄像机的固定翼无人机，可以直接从RGB图像中识别水稻的主要生长阶段;Xia等使用无人机获得了多光谱和RGB图像，借助图像融合技术并根据易感和抗性杂草生物型之间的差异，制定了杂草光谱抗性指数(WSRI=(RE-R)/(RE-B))，应用深度卷积神经网络来评估田间鉴定抗性杂草的潜力，融合多光谱和RGB图像提高了抗性识别的准确性;Guo等提出了一种基于视觉的甜菜田杂草识别和定位网络WeedNet-R，由于该网络在RetinaNet的颈部添加了许多上下文模块，从而扩展了整个网络的有效感受域，其对杂草和甜菜的平均识别精度分别为85.70%和98.89%。
深度学习模型能够进行端到端的学习，意味着模型可以从原始的多光谱输入数据中学习到最终的识别结果，有助于提高模型的整体性能;多光谱图像的数据集往往非常庞大，深度学习模型能够有效地利用这些数据来学习泛化到新样本的表示，这种数据驱动的方法使得深度学习在多光谱图像识别中更具优势;对于多光谱图像，不同波段的信息通常相互关联，深度学习还能够更好地捕捉不同波段之间复杂的非线性关系，从而更准确地表示植物的特征。
3.6 基于深度学习的草类植物多光谱图像分割方法
深度学习模型能够更好地利用图像中的上下文信息，提高对植物与背景之间复杂关系的理解能力。在多光谱图像分割中，需要充分考虑植物与周围环境、其他植物之间的交互关系，深度学习通过学习全局和局部上下文信息，能够更准确地定位和分割植物区域。例如，Safonova等使用最准确的深度学习实例分割方法之一Mask R-CNN和无人机图像进行橄榄树树冠和阴影分割，以进一步估计单个树木的生物体积，所有训练的基于Mask R-CNN的模型在树冠分割中都表现出很高的性能，特别是当使用GNDVI和NDVI中的所有数据集进行融合时(F1得分从95%到98%);Thomas等使用了多光谱和热像仪，通过飞行高度为10m的无人机收集了大麦田的数据集，将预处理后的数据与生成的标签相结合，用于训练U-Net模型，测试模型在测试数据集上的F1得分为82%~83%，这一发现表明数据融合对模型性能略有改进;Gupta等提出使用语义分割的多类杂草自动识别方法，利用迁移学习评估了四个先进的深度学习模型，以建立杂草识别的基准，在评估模型中，基于U-Net的Inception-ResNetV2的F1得分最高，为96.78%，而其他三个模型的F1得分均在91.0%以上。
深度学习模型能够自动学习图像中的特征，包括植物的形状、纹理和颜色等信息，无需依赖手动设计的特征提取器。在分割多光谱植物图像时，不同波段的信息往往对应植物的不同生理和结构特征。表7总结了基于深度学习的草类植物多光谱图像的分割技术的研究进展和应用现状。
由表7可以看出，多光谱图像提供了比RGB图像更丰富的信息，有助于提高分割模型的精度和鲁棒性;多光谱分割模型在计算复杂度和资源需求上的要求较高，需平衡模型性能与实际应用需求;在多光谱图像分割中，多模态对齐与联合学习能够充分利用不同波段的信息，提高分割精度，通过对不同模态的数据进行对齐和联合学习，可以捕捉更多的细节和差异，提高模型的表现;此外，结合光谱特征和空间特征进行联合优化，能够提升分割模型的准确性，通过同时考虑光谱和空间信息，可以更好地识别和分割复杂的植被类型和结构。
基于深度学习的草类植物多光谱图像分割方法通过利用多光谱图像的丰富光谱信息，显著提升了植物分割的精度和鲁棒性，不同波段的信息能够更准确地区分不同种类的草类植物，尤其在光谱差异明显的植物种类之间表现出色;多光谱图像对光照变化的敏感性较低，在不同光照条件下也能保持较高的分割性能。未来研究可利用多时序多光谱数据，分析植物生长的动态变化，提升分割模型的鲁棒性和泛化能力，通过时间序列分析，更好地捕捉植物的生长模式和变化规律，提高分割的准确性;研究跨模态迁移学习技术，将在RGB图像上训练的分割模型迁移到多光谱图像上，减少对多光谱标注数据的依赖，通过共享特征提取网络和适应层，在不同模态间进行知识迁移，提高模型的泛化能力;通过超分辨率重建技术，提高多光谱图像的空间分辨率，有助于提升分割模型在细节处理上的能力。
表7 基于深度学习的植物多光谱图像分割方法 Table 7 Plant multispectral image segmentation methods based on deep learning
|文献|杂草物种|数据类型|无人机类型|深度学习模型|任务|精度/%|F1/%|召回率/%|准确率/%|
|Wang 等 [119]|生态的灌溉面积|RGB/多光谱|DJI M100、DJI Phantom 3 Pro|self-constructed CNN、MAML/Transfer Learning|分类|-|-|-|96.02|
|Khoshboresh-Masouleh 等 [120]|糖甜菜/杂草|多光谱|Inspire-2|DeepMultiFuse|分割|-|97.30|-|-|
|Osorio 等 [121]|生菜/杂草|多光谱|DJI Mavic Pro|YOLOv3 and Mask R-CNN|分类|-|94.00|-|-|
|Sa 等 [63]|反曲苋、牛膝菊属、蓼属植物|多光谱|DJI Inspire 2 and Mavic|Customized SegNet|分割|-|-|-|78.20|
|Sa 等 [122]|未提及具体名称|多光谱|DJI Mavic|SegNet|分割|-|81.00|-|-|
|Naveed 等 [123]|草类|多光谱|Micro Aerial Vehicle|SegNet + GAN|分割|94.38|-|-|-|
|Fawakherji 等 [124]|作物/杂草|RGB/多光谱|公共数据集|VGG-UNet|分割|-|-|-|99.00|
|Moazzam 等 [67]|作物/杂草|多光谱|公共数据集|VGG-Beet|分割|-|-|-|-|
|Yin 等 [125]|草类|多光谱|3个公开数据集|三维卷积神经网络(3-D CNN)+(Bi-LSTM)网络|分类|-|-|-|-|
3.7 基于深度学习的草类植物多光谱图像分类方法
图像分类算法通过计算机程序自动将输入的图像分类为预定义的类别，是机器学习算法中的重要算法之一，也是农业中广泛应用的图像处理领域的研究热点之一。传统的图像分类算法，如支持向量机、决策树、随机森林、K-最近邻等，依赖早期的数据处理和图像降维来提高模型的精度和效率。随着卷积神经网络的快速发展，基于卷积神经网络的图像分类模型不断更新和升级。
由于环境中植物种类繁多，在实际应用中需要对不同种类采取不同的措施，图像分类算法在杂草管理中的应用越来越重要。例如，Bouguettaya等回顾了最近应用于基于无人机的作物/植物分类遥感图像分析的基于卷积神经网络的方法，认为融合不同的基于无人机的数据和深度学习方法已成为准确分类不同作物类型的强大工具;Ning等提出了一种称为LfOSA(latent feature-based optimal sampling approach)的主动学习框架，该框架通过有效的采样策略来提高分类性能，以精确检测已知类中的示例进行注释;Rajakani等提出了一种基于胶囊网络的多光谱图像分类入侵杂草优化技术，Capsule Networks中的复杂计算需要超参数才能实现高分类输出，该方法自动搜索并选择CapsNet超参数的适当值，采用深度去噪自动编码器模型对多光谱图像进行检测和分类;Yu等探索了使用AlexNet、GoogLeNet和VGGNet进行图像分类的可行性，以检测狗牙根中的蟹爪草物种、多威犬、花雀稗和热带信号草，结果表明VGGNet在检测选定的杂草方面通常优于AlexNet和GoogLeNet;Zou等提出了一种改进的U-Net图像分割小麦和杂草的方法，使用图像分类任务来选择用于编码部分的骨干网络，使用相似数据集上的图像分割任务来选择和预训练解码网络，实验结果表明，分割的IoU达到88.98%，在嵌入式设备上的平均速度为52 FPS;Makanapura等提出了一种使用基准植物幼苗数据集的植物幼苗分类，该数据集包含12个不同物种的图像，其中3个属于植物物种，另外9个属于杂草物种，使用3种不同的深度卷积神经网络架构来实现分类框架，即ResNet50-v2、MobileNet-v2和EfficientNetB0，使用迁移学习来训练模型，并在833幅图像的测试数据集上比较每个模型的性能，结果证明EfficientNetB0表现更好，F1平均得分为96.26%，准确率为96.52%。
基于深度学习的草类植物多光谱图像分类方法中，先进的深度学习分类模型有EfficientNet、Swin Transformer、ConvNeXt和RegNet等。EfficientNet可以通过复合缩放方法适应不同光谱波段的特征，并在保持高效性的同时提高分类准确性，在多个图像分类基准测试中表现出色，具有很好的精度和效率平衡;Swin Transformer适合处理高分辨率图像，利用其局部和全局注意力机制，有效处理不同波段的草类植物光谱信息;ConvNeXt结合了CNN和Transformer的优点，适用于处理具有复杂空间结构的图像数据，并且能够很好地利用光谱信息进行分类，可以有效地整合不同波段的信息，提高分类准确性;对于多光谱图像，RegNet可以通过设计空间探索自动化优化模型结构，提高分类性能。未来研究可以进一步优化这些模型的设计和实现，推动其在实际应用中的广泛普及。
4 挑战与展望
本文系统地阐述了近年来草类植物无人机遥感图像的深度学习技术应用，总结了草类植物无人机遥感图像应用深度学习技术的难点，归纳了常用的草类植物数据集，使得草类植物的深度学习应用能根据不同的领域进行特征分析;重点总结了深度学习与无人机搭载传感器拍摄的RGB遥感图像、多光谱遥感图像结合进行草类植物的分类分割、识别检测技术。针对基于深度学习的草类遥感数据处理方法，后续可以在如下几个方向展开深入研究：
(1)数据集相关挑战。一些研究人员使用无人机和视觉传感器来收集数据并建立数据集，但高质量的标注数据集仍然相对缺乏，导致模型训练和测试不充分。未来应通过多光谱相机或者高光谱相机采集更细致的光谱信息，涵盖更多的波长，更精确地分辨不同种类的杂草和作物;将可见光、红外、激光雷达(LiDAR)、热成像等传感器的数据融合，利用多源信息提高识别的准确性，探索不同传感器组合对杂草识别的贡献，优化传感器配置;开发高效的数据处理和标注工具，自动化或半自动化地完成数据标注，减轻人工标注的负担。
(2)识别检测挑战。在识别和检测草类植物过程中，草类植物通常生长在多样化的环境中(如田野、草原等)，可能被其他植物、土壤或物体遮挡，种类多样性导致同一类别内具有巨大的形态和颜色差异，模型对不同种类和生长阶段的区分能力不足;此外，草类植物检测还面临光照变化和图像模糊等挑战，导致传统目标检测方法的稳健性和准确性受到限制。未来研究中，可采用多尺度特征提取技术，使用金字塔网络(如FPN、PANet)等结构，融合来自不同尺度的特征图，增强模型对多尺度信息的感知能力，提高对不同大小和细节的草类植物的识别能力;根据环境光照条件调整图像的亮度和对比度，减少光照变化对识别的影响，引入去模糊算法(如GAN-based去模糊方法)处理图像模糊问题，提高图像质量;在多尺度特征融合和多模态信息融合过程中应用注意力机制，通过引入通道注意力机制(如SE模块、CBAM、ECA等)，增强模型对重要特征的关注，抑制无关或干扰信息。
(3)分割任务挑战。对于利用深度学习分割草类植物图像的任务，一些草类植物可能具有细小的叶片或者生长比较稀疏，这增加了分割算法的难度;草类植物图像分割方法在处理遮挡、边界模糊和不均匀光照等情况下的鲁棒性和精度仍然有待提高。未来研究中，可研究如何在分割过程中结合形态学处理技术，增强对细小和稀疏目标的边界信息，提高分割效果;利用上下文信息(如空间、邻近像素和时间序列数据)提高分割的鲁棒性和精度，增强分割模型对复杂场景的适应能力;构建多尺度深度监督模型，在不同尺度的特征图上同时进行监督，提取多尺度特征，增强对不同大小目标的分割能力，确保模型在各个尺度上都能有效学习。
(4)分类任务挑战。一些草类植物在外观上可能相似，且数据量较少，导致分类模型难以准确区分;传统的草类植物分类方法往往依赖于手工设计的特征或简单的特征提取器，难以充分挖掘图像中的潜在信息，分类精度有限。未来研究中，可采用基于迁移学习的少样本学习方法，减少对大规模标注数据的依赖，从而在小数据集上也能取得良好的分类效果;利用多波段信息提高分类模型的区分能力，开发多模态深度学习模型，提高分类模型的精度和鲁棒性;探索适用于边缘设备的轻量级神经网络架构，研究模型剪枝、量化、蒸馏等技术，在保证分类精度的同时，降低模型复杂度，提高推理速度;结合边缘计算技术，减少数据传输延迟，提高系统响应速度和分类效率。
深度学习结合无人机遥感技术在草类植物识别、检测、分割和分类中展现了巨大潜力，但也面临诸多挑战。通过不断优化模型、融合多波段数据，可以提升环境适应性，未来这些技术将为农业生产、生态保护等领域提供更加精准和高效的解决方案。研究者需要在数据获取、模型设计和应用场景等方面持续探索，以推动深度学习技术在草类植物遥感图像中的进一步发展。本文的研究成果将为无人机遥感技术在植物监测领域的推广和应用提供参考，为实现智能农业和精准农业奠定基础。未来将进一步探索深度学习在无人机遥感植物图像分类中的潜力，推动该领域的发展。
参考文献
[1] WU Z N, CHEN Y J, ZHAO B, et al. Review of weed detection methods based on computer vision[J]. Sensors, 2021, 21(11): 3647.
[2] WANG C Y, BOCHKOVSKIY A, LIAO H M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2023: 7464-7475.
[3] MANORUTHRA S, KALAIVANI D V, JOSEPH D F, et al. Automated weed removal system using convolutional neural network[J]. International Journal of Scientific & Technology Research, 2020, 9: 1212-1214.
[4] MACLAREN C, STORKEY J, MENEGAT A, et al. An ecological future for weed science to sustain crop production and the environment: a review[J]. Agronomy for Sustainable Development, 2020, 40(4): 24.
[5] BASIRI A, MARIANI V, SILANO G, et al. A survey on the application of path-planning algorithms for multi-rotor UAVs in precision agriculture[J]. Journal of Navigation, 2022, 75(2): 364-383.
[6] HOSSAIN S, LEE D J. Deep learning-based real-time multiple object detection and tracking from aerial imagery via a flying robot with GPU-based embedded devices[J]. Sensors, 2019, 19(15): 3371.
[7] RASMUSSEN J, AZIM S, NIELSEN J. Pre-harvest weed mapping of Cirsium arvense L. based on free satellite imagery - The importance of weed aggregation and image resolution[J]. European Journal of Agronomy, 2021, 130: 126373.
[8] VASILEIOU M, KYRGIAKOS L S, KLEISIARI C, et al. Transforming weed management in sustainable agriculture with artificial intelligence: a systematic literature review towards weed identification and deep learning[J]. Crop Protection, 2024, 176: 106522.
[9] ESPEJO-GARCIA B, MYLONAS N, ATHANASAKOS L, et al. Towards weeds identification assistance through transfer learning[J]. Computers and Electronics in Agriculture, 2020, 171: 105306.
[10] GE H X, MA F, LI Z W, et al. Grain yield estimation in rice breeding using phenological data and vegetation indices derived from UAV images[J]. Agronomy, 2021, 11(12): 2439.
[11] WALSH J, MAHONY N O, CAMPBELL S, et al. Deep learning vs. traditional computer vision[C]//Proceedings of the 2019 Computer Vision Conference. Cham: Springer, 2019: 128-144.
[12] AHMAD A, SARASWAT D, AGGARWAL V, et al. Performance of deep learning models for classifying and detecting common weeds in corn and soybean production systems [J]. Computers and Electronics in Agriculture, 2021, 184: 106081.
[13] FRACCARO P, BUTT J, EDWARDS B, et al. A deep learning application to map weed spatial extent from unmanned aerial vehicles imagery[J]. Remote Sensing, 2022, 14(17): 4197.
[14] CHEW R, RINEER J, BEACH R, et al. Deep neural networks and transfer learning for food crop identification in UAV images[J]. Drones, 2020, 4(1): 7.
[15] QIAO X, LI Y Z, SU G Y, et al. MmNet: identifying Mikania micrantha Kunth in the wild via a deep convolutional neural network[J]. Journal of Integrative Agriculture, 2020, 19(5): 1292-1300.
[16] TEIMOURI N, DYRMANN M, NIELSEN P R, et al. Weed growth stage estimator using deep convolutional neural networks[J]. Sensors, 2018, 18(5): 1580.
[17] ADHIKARI S P, YANG H, KIM H. Learning semantic graphics using convolutional encoder-decoder network for autonomous weeding in paddy[J]. Frontiers in Plant Science, 2019, 10: 1404.
[18] GAO J F, FRENCH A P, POUND M P, et al. Deep convolutional neural networks for image-based Convolvulus sepium detection in sugar beet fields[J]. Plant Methods, 2020, 16(1): 29.
[19] HUSSAIN N, FAROOQUE A A, SCHUMANN A W, et al. Application of deep learning to detect Lamb’s quarters (Chenopodium album L.) in potato fields of Atlantic Canada [J]. Computers and Electronics in Agriculture, 2021, 182: 106040.
[20] JUNIOR L C M, ULSON J A C. Real time weed detection using computer vision and deep learning[C]//Proceedings of the 2021 14th IEEE International Conference on Industry Applications. Piscataway: IEEE, 2021: 1131-1137.
[21] PENG H X, LI Z H, ZHOU Z Y, et al. Weed detection in paddy field using an improved RetinaNet network[J]. Computers and Electronics in Agriculture, 2022, 199: 107179.
[22] RAZFAR N, TRUE J, BASSIOUNY R, et al. Weed detection in soybean crops using custom lightweight deep learning models[J]. Journal of Agriculture and Food Research, 2022, 8: 100308.
[23] BEEHARRY Y, BASSOO V. Performance of ANN and AlexNet for weed detection using UAV-based images[C]// Proceedings of the 2020 3rd International Conference on Emerging Trends in Electrical, Electronic and Communications Engineering. Piscataway: IEEE, 2020: 163-167.
[24] SIVAKUMAR A N V, LI J, SCOTT S, et al. Comparison of object detection and patch-based classification deep learning models on mid- to late-season weed detection in UAV imagery[J]. Remote Sensing, 2020, 12: 2136.
[25] WANG Q F, CHENG M, HUANG S, et al. A deep learning approach incorporating YOLO v5 and attention mechanisms for field real-time detection of the invasive weed Solanum rostratum Dunal seedlings[J]. Computers and Electronics in Agriculture, 2022, 199: 107194.
[26] TORRES-SÁNCHEZ J, MESAS-CARRASCOSA F J, JIMÉNEZ-BRENES F M, et al. Early detection of broadleaved and grass weeds in wide row crops using artificial neural networks and UAV imagery[J]. Agronomy, 2021, 11(4): 749.
[27] HAQ S I U, TAHIR M N, LAN Y B. Weed detection in wheat crops using image analysis and artificial intelligence (AI)[J]. Applied Sciences, 2023, 13(15): 8840.
[28] PUNITHAVATHI R, RANI A D C, SUGHASHINI K R, et al. Computer vision and deep learning-enabled weed detection model for precision agriculture[J]. Computer Systems Science and Engineering, 2023, 44(3): 2759-2774.
[29] SUDARS K, JASKO J, NAMATEVS I, et al. Dataset of annotated food crops and weed images for robotic computer vision control[J]. Data in Brief, 2020, 31: 105833.
[30] XU Y L, ZHAI Y T, ZHAO B, et al. Weed recognition for depthwise separable network based on transfer learning[J]. Intelligent Automation & Soft Computing, 2021, 27(3): 669-682.
[31] JELÍNEK Z, BALAZOVA K, STARÝ K, et al. Comparing RGB-based vegetation indices from UAV imageries to estimate hops canopy area[J]. Agronomy Research, 2020, 18(4): 2592-2601.
[32] STEMPLIUK S, MENOTTI D. Agriculture multispectral UAV image registration using salient features and mutual information[C]//Proceedings of the 2020 IEEE International Geoscience and Remote Sensing Symposium. Piscataway: IEEE, 2020: 4108-4111.
[33] 杨蜀秦, 宋志双, 尹瀚平, 等. 基于深度语义分割的无人机多光谱遥感作物分类方法[J]. 农业机械学报, 2021, 52(3): 185-192. YANG S Q, SONG Z S, YIN H P, et al. Crop classification method of UVA multispectral remote sensing based on deep semantic segmentation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(3): 185-192.
[34] 张妮娜, 张珂, 李运平, 等. 中国南方典型湿润山区植被类型的无人机多光谱遥感机器学习分类研究[J]. 遥感技术与应用, 2023, 38(1): 163-172. ZHANG N N, ZHANG K, LI Y P, et al. Study on machine learning methods for vegetation classification in typical humid mountainous areas of South China based on the UAV multispectral remote sensing[J]. Remote Sensing Technology and Application, 2023, 38(1): 163-172.
[35] 陈虹, 谢玲, 陈林琳. 基于低空无人机遥感的高粱生长状况监测[J]. 中国农机化学报, 2021, 42(4): 170-175. CHEN H, XIE L, CHEN L L. Monitoring of sorghum growth based on UAV remote sensing[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 170-175.
[36] 陈建福, 赵亮, 岳云开, 等. 无人机多光谱遥感在作物生长监测中的应用研究进展[J]. 作物研究, 2022, 36(4): 391-395. CHEN J F, ZHAO L, YUE Y K, et al. Research progress of UAV multispectral remote sensing application in crop growth monitoring[J]. Crop Research, 2022, 36(4): 391-395.
[37] 周宇飞, 王振师, 钟映霞, 等. 无人机多光谱遥感中植被指数与森林地表可燃物载量关系研究[J]. 林业与环境科学, 2022, 38(2): 134-140. ZHOU Y F, WANG Z S, ZHONG Y X, et al. Research on the relationship between vegetation index and forest surface fuel load in UAV multi-spectral remote sensing[J]. Forestry and Environmental Science, 2022, 38(2): 134-140.
[38] 王帅, 郭治兴, 梁雪映, 等. 基于无人机多光谱遥感数据的烟草植被指数估产模型研究[J]. 山西农业科学, 2021, 49(2): 195-203. WANG S, GUO Z X, LIANG X Y, et al. Study on yield estimation model of tobacco vegetation index based on UAV multi-spectral remote sensing data[J]. Journal of Shanxi Agricultural Sciences, 2021, 49(2): 195-203.
[39] 地力夏提·依马木. 基于无人机多光谱遥感影像的棉花虫害监测研究[D]. 乌鲁木齐: 新疆大学, 2021. DILIXIATI YIMAMU. Research on cotton insect pest monitoring based on UAV[D]. Urumqi: Xinjiang University, 2021.
[40] 贺园园. 基于无人机遥感的大面积农作物叶片病虫害识别研究[J]. 自动化与仪器仪表, 2023(1): 216-220. HE Y Y. Identification of crop leaf diseases and insect pests based on UAV remote sensing[J]. Automation & Instrumentation, 2023(1): 216-220.
[41] 张智韬, 台翔, 杨宁, 等. 不同植被覆盖度下无人机多光谱遥感土壤含盐量反演[J]. 农业机械学报, 2022, 53(8): 220-230. ZHANG Z T, TAI X, YANG N, et al. UAV multispectral remote sensing soil salinity inversion based on different fractional vegetation coverages[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(8): 220-230.
[42] 李鑫星, 朱晨光, 傅泽田, 等. 基于无人机多光谱图像的土壤水分检测方法研究[J]. 光谱学与光谱分析, 2020, 40(4): 1238-1242. LI X X, ZHU C G, FU Z T, et al. Rapid detection of soil moisture content based on UAV multispectral image[J]. Spectroscopy and Spectral Analysis, 2020, 40(4): 1238-1242.
[43] 高鲁红. 基于无人机遥感影像的土壤重金属污染环境监测方法研究[J]. 环境科学与管理, 2023, 48(6): 138-142. GAO L H. Monitoring of heavy metal pollution in soil based on UAV remote sensing image[J]. Environmental Science and Management, 2023, 48(6): 138-142.
[44] ASLAN M F, DURDU A, SABANCI K, et al. A comprehensive survey of the recent studies with UAV for precision agriculture in open fields and greenhouses[J]. Applied Sciences, 2022, 12(3): 1047.
[45] ZHANG J J, ZHOU Y X, SAAB R. Post-training quantization for neural networks with provable guarantees[J]. SIAM Journal on Mathematics of Data Science, 2023, 5(2): 373-399.
[46] LIU Y, PU H B, SUN D W. Efficient extraction of deep image features using convolutional neural network (CNN) for applications in detecting and analysing complex food matrices[J]. Trends in Food Science & Technology, 2021, 113: 193-204.
[47] KAMILARIS A, PRENAFETA-BOLDÚ F X. A review of the use of convolutional neural networks in agriculture[J]. The Journal of Agricultural Science, 2018, 156(3): 312-322.
[48] SUBEESH A, BHOLE S, SINGH K, et al. Deep convolutional neural network models for weed detection in polyhouse grown bell peppers[J]. Artificial Intelligence in Agriculture, 2022, 6: 47-54.
[49] YAN X, DENG X W, JIN J. Classification of weed species in the paddy field with DCNN-learned features[C]//Proceedings of the 2020 IEEE 5th Information Technology and Mechatronics Engineering Conference. Piscataway: IEEE, 2020: 336-340.
[50] JIN X J, BAGAVATHIANNAN M, MAITY A, et al. Deep learning for detecting herbicide weed control spectrum in turfgrass[J]. Plant Methods, 2022, 18(1): 94.
[51] KULKARNI S, ANGADI S A. IoT based weed detection using image processing and CNN[J]. International Journal of Engineering Applied Sciences and Technology, 2019, 4(3): 606-609.
[52] BOUGUETTAYA A, ZARZOUR H, KECHIDA A, et al. A survey on deep learning-based identification of plant and crop diseases from UAV-based aerial images[J]. Cluster Computing, 2023, 26(2): 1297-1317.
[53] SOEB M J A, JUBAYER M F, TARIN T A, et al. Tea leaf disease detection and identification based on YOLOv7 (YOLO-T) [J]. Scientific Reports, 2023, 13(1): 6078.
[54] 张建华, 陈申宽, 张晓振, 等. 人工智能技术在植物叶片病虫害识别中的研究进展[J]. 种子科技, 2023, 41(16): 124-126. ZHANG J H, CHEN S K, ZHANG X Z, et al. Research progress of artificial intelligence technology in plant leaf diseases and insect pests identification[J]. Seed Science & Technology, 2023, 41(16): 124-126.
[55] DEV K, ASHRAF Z, MUHURI P K, et al. Deep autoencoder based domain adaptation for transfer learning[J]. Multimedia Tools and Applications, 2022, 81(16): 22379-22405.
[56] BOSILJ P, APTOULA E, DUCKETT T, et al. Transfer learning between crop types for semantic segmentation of crops versus weeds in precision agriculture[J]. Journal of Field Robotics, 2020, 37(1): 7-19.
[57] FAROOQ A, JIA X P, HU J K, et al. Knowledge transfer via convolution neural networks for multi-resolution lawn weed classification[C]//Proceedings of the 2019 10th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing, 2019.
[58] ZHUANG F Z, QI Z Y, DUAN K Y, et al. A comprehensive survey on transfer learning[J]. Proceedings of the IEEE, 2020, 109(1): 43-76.
[59] CHEN D, LU Y Z, LI Z J, et al. Performance evaluation of deep transfer learning on multi-class identification of common weed species in cotton production systems[J]. Computers and Electronics in Agriculture, 2022, 198: 107091.
[60] ESPEJO-GARCIA B, MYLONAS N, ATHANASAKOS L, et al. Combining generative adversarial networks and agricultural transfer learning for weeds identification[J]. Biosystems Engineering, 2021, 204: 79-89.
[61] SHARMA P. Crops and weeds classification using convolutional neural networks via optimization of transfer learning parameters[J]. International Journal of Engineering and Advanced Technology, 2019, 8(5): 2284-2294.
[62] AGGARWAL V, AHMAD A, ETIENNE A, et al. 4Weed dataset: annotated imagery weeds dataset[EB/OL]. [2024-04-08]. https://arxiv.org/abs/2204.00080.
[63] SA I, POPOVIĆ M, KHANNA R, et al. WeedMap: a large-scale semantic weed mapping framework using aerial multispectral imaging and deep neural network for precision farming[J]. Remote Sensing, 2018, 10(9): 1423.
[64] HAUG S, OSTERMANN J. A crop/weed field image dataset for the evaluation of computer vision based precision agriculture tasks[C]//Proceedings of the 13th European Conference on Computer Vision Workshops. Cham: Springer, 2014: 105-116.
[65] ILYAS T, ARSA D M S, AHMAD K, et al. CWD30: a comprehensive and holistic dataset for crop weed recognition in precision agriculture[EB/OL]. [2024-04-08]. https://arxiv.org/abs/2305.10084.
[66] CHAMP J, MORA-FALLAS A, GOËAU H, et al. Instance segmentation for the fine detection of crop and weed plants by precision agricultural robots[J]. Applications in Plant Sciences, 2020, 8(7): e11373.
[67] MOAZZAM S I, KHAN U S, QURESHI W S, et al. A patch-image based classification approach for detection of weeds in sugar beet crop[J]. IEEE Access, 2021, 9: 121698-121715.
[68] WANG P, TANG Y, LUO F, et al. Weed25: a deep learning dataset for weed identification[J]. Frontiers in Plant Science, 2022, 13: 1053329.
[69] OLSEN A, KONOVALOV D A, PHILIPPA B, et al. DeepWeeds: a multiclass weed species image dataset for deep learning[J]. Scientific Reports, 2019, 9(1): 2058.
[70] KRESTENITIS M, RAPTIS E K, KAPOUTSIS A C, et al. CoFly-WeedDB: a UAV image dataset for weed detection and species identification[J]. Data in Brief, 2022, 45: 108575.
[71] JIANG H H, ZHANG C Y, QIAO Y L, et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming[J]. Computers and Electronics in Agriculture, 2020, 174: 105450.
[72] HU K, WANG Z Y, COLEMAN G, et al. Deep learning techniques for in-crop weed recognition in large-scale grain production systems: a review[J]. Precision Agriculture, 2024, 25(1): 1-29.
[73] RUIGROK T, VAN HENTEN E, BOOIJ J, et al. Application-specific evaluation of a weed-detection algorithm for plant-specific spraying[J]. Sensors, 2020, 20(24): 7262.
[74] REEDHA R, DERICQUEBOURG E, CANALS R, et al. Vision transformers for weeds and crops classification of high resolution UAV images[EB/OL]. [2024-04-15]. https://arxiv.org/abs/2109.02716.
[75] GENZE N, AJEKWE R, GÜRELI Z, et al. Deep learning-based early weed segmentation using motion blurred UAV images of sorghum fields[J]. Computers and Electronics in Agriculture, 2022, 202: 107388.
[76] LI J Y, ZHANG W, ZHOU H, et al. Weed detection in soybean fields using improved YOLOv7 and evaluating herbicide reduction efficacy[J]. Frontiers in Plant Science, 2024, 14: 1284338.
[77] XU B B, FAN J H, CHAO J, et al. Instance segmentation method for weed detection using UAV imagery in soybean fields[J]. Computers and Electronics in Agriculture, 2023, 211: 107994.
[78] ZHAO J Q, YAN J W, XUE T J, et al. A deep learning method for oriented and small wheat spike detection (OSWSDet) in UAV images[J]. Computers and Electronics in Agriculture, 2022, 198: 107087.
[79] SAPKOTA B B, POPESCU S, RAJAN N, et al. Use of synthetic images for training a deep learning model for weed detection and biomass estimation in cotton[J]. Scientific Reports, 2022, 12(1): 19580.
[80] CAI Y L, ZENG F G, XIAO J Y, et al. Attention-aided semantic segmentation network for weed identification in pineapple field[J]. Computers and Electronics in Agriculture, 2023, 210: 107881.
[81] LAM O H Y, DOGOTARI M, PRÜM M, et al. An open source workflow for weed mapping in native grassland using unmanned aerial vehicle: using Rumex obtusifolius as a case study[J]. European Journal of Remote Sensing, 2021, 54(S1): 71-88.
[82] DE CAMARGO T, SCHIRRMANN M, LANDWEHR N, et al. Optimized deep learning model as a basis for fast UAV mapping of weed species in winter wheat crops[J]. Remote Sensing, 2021, 13(9): 1704.
[83] ZOU K L, CHEN X, ZHANG F, et al. A field weed density evaluation method based on UAV imaging and modified Unet[J]. Remote Sensing, 2021, 13(2): 310.
[84] KHAN S, TUFAIL M, KHAN M T, et al. A novel semi-supervised framework for UAV based crop/weed classification[J]. PLoS One, 2021, 16(5): e0251008.
[85] GALLO I, REHMAN A U, DEHKORDI R H, et al. Deep object detection of crop weeds: performance of YOLOv7 on a real case dataset from UAV images[J]. Remote Sensing, 2023, 15(2): 539.
[86] KHAN S, TUFAIL M, KHAN M T, et al. Real-time recognition of spraying area for UAV sprayers using a deep learning approach[J]. PLoS One, 2021, 16(4): e0249436.
[87] UKAEGBU U F, TARTIBU L K, OKWU M O, et al. Development of a light-weight unmanned aerial vehicle for precision agriculture[J]. Sensors, 2021, 21(13): 4417.
[88] KHAN S, TUFAIL M, KHAN M T, et al. Deep learning-based identification system of weeds and crops in strawberry and pea fields for a precision agriculture sprayer[J]. Precision Agriculture, 2021, 22(6): 1711-1727.
[89] HUANG H S, LAN Y B, YANG A Q, et al. Deep learning versus object-based image analysis (OBIA) in weed mapping of UAV imagery[J]. International Journal of Remote Sensing, 2020, 41(9): 3446-3479.
[90] ETIENNE A, AHMAD A, AGGARWAL V, et al. Deep learning-based object detection system for identifying weeds using UAS imagery[J]. Remote Sensing, 2021, 13(24): 5182.
[91] 姜红花, 张传银, 张昭, 等. 基于Mask R-CNN的玉米田间杂草检测方法[J]. 农业机械学报, 2020, 51(6): 220-228. JIANG H H, ZHANG C Y, ZHANG Z, et al. Detection method of corn weed based on mask R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(6): 220-228.
[92] ASAD M H, BAIS A. Weed detection in canola fields using maximum likelihood classification and deep convolutional neural network[J]. Information Processing in Agriculture, 2020, 7(4): 535-545.
[93] HASHEMI-BENI L, GEBREHIWOT A, KARIMODDINI A, et al. Deep convolutional neural networks for weeds and crops discrimination from UAS imagery[J]. Frontiers in Remote Sensing, 2022, 3: 755939.
[94] JIN X J, CHE J, CHEN Y. Weed identification using deep learning and image processing in vegetable plantation[J]. IEEE Access, 2021, 9: 10940-10950.
[95] YOU J, LIU W, LEE J. A DNN-based semantic segmentation for detecting weed and crop[J]. Computers and Electronics in Agriculture, 2020, 178: 105750.
[96] NASIRI A, OMID M, TAHERI-GARAVAND A, et al. Deep learning-based precision agriculture through weed recognition in sugar beet fields[J]. Sustainable Computing: Informatics and Systems, 2022, 35: 100759.
[97] JIANG Z C. A novel crop weed recognition method based on transfer learning from VGG16 implemented by keras[J]. IOP Conference Series: Materials Science and Engineering, 2019, 677(3): 032073.
[98] GENZE N, WIRTH M, SCHREINER C, et al. Improved weed segmentation in UAV imagery of sorghum fields with a combined deblurring segmentation model[J]. Plant Methods, 2023, 19(1): 87.
[99] FATHIPOOR H, SHAH-HOSSEINI R, AREFI H. Crop and weed segmentation on ground-based images using deep convolutional neural network[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2023, X-4/W1-2022: 195-200.
[100] BENCHALLAL F, HAFIANE A, RAGOT N, et al. ConvNeXt based semi-supervised approach with consistency regularization for weeds classification[J]. Expert Systems with Applications, 2024, 239: 122222.
[101] ABDULSALAM M, AOUF N. Deep weed detector/classifier network for precision agriculture[C]//Proceedings of the 2020 28th Mediterranean Conference on Control and Automation, 2020: 1087-1092.
[102] CHAVAN T R, NANDEDKAR A V. AgroAVNET for crops and weeds classification: a step forward in automatic farming[J]. Computers and Electronics in Agriculture, 2018, 154: 361-372.
[103] KHAN A, ILYAS T, UMRAIZ M, et al. CED-net: crops and weeds segmentation for smart farming using a small cascaded encoder-decoder architecture[J]. Electronics, 2020, 9(10): 1602.
[104] TAO T, WEI X H. A hybrid CNN-SVM classifier for weed recognition in winter rape field[J]. Plant Methods, 2022, 18(1): 29.
[105] VYPIRAILENKO D, KISELEVA E, SHADRIN D, et al. Deep learning techniques for enhancement of weeds growth classification[C]//Proceedings of the 2021 IEEE International Instrumentation and Measurement Technology Conference. Piscataway: IEEE, 2021: 1-6.
[106] ANUL HAQ M. CNN based automated weed detection system using UAV imagery[J]. Computer Systems Science and Engineering, 2022, 42(2): 837-849.
[107] ARUN R A, UMAMAHESWARI S, JAIN A V. Reduced U-Net architecture for classifying crop and weed using pixel-wise segmentation[C]//Proceedings of the 2020 IEEE International Conference for Innovation in Technology. Piscataway: IEEE, 2020: 1-6.
[108] GAŠPAROVIĆ M, ZRINJSKI M, BARKOVIĆ Đ, et al. An automatic method for weed mapping in oat fields based on UAV imagery[J]. Computers and Electronics in Agriculture, 2020, 173: 105385.
[109] FAWAKHERJI M. Crop and weed classification using pixel-wise segmentation on ground and aerial images[J]. International Journal of Robotic Computing, 2020, 2(1): 39-57.
[110] RAEVA P L, ŠEDINA J, DLESK A. Monitoring of crop fields using multispectral and thermal imagery from UAV [J]. European Journal of Remote Sensing, 2019, 52(S1): 192-201.
[111] GUO Y H, WANG H X, WU Z F, et al. Modified red blue vegetation index for chlorophyll estimation and yield prediction of maize from visible images captured by UAV[J]. Sensors, 2020, 20(18): 5055.
[112] ROSLE R, SULAIMAN N, CHEYA N N, et al. Weed detection in rice fields using UAV and multispectral aerial imagery[C]//Proceedings of the 1st International Online Conference on Agriculture: Advances in Agricultural Science and Technology, 2022.
[113] YANG Q, SHI L S, HAN J Y, et al. A near real-time deep learning approach for detecting rice phenology based on UAV images[J]. Agricultural and Forest Meteorology, 2020, 287: 107938.
[114] XIA F L, QUAN L Z, LOU Z X, et al. Identification and comprehensive evaluation of resistant weeds using unmanned aerial vehicle-based multispectral imagery[J]. Frontiers in Plant Science, 2022, 13: 938604.
[115] GUO Z Q, GOH H H, LI X H, et al. WeedNet-R: a sugar beet field weed detection algorithm based on enhanced RetinaNet and context semantic fusion[J]. Frontiers in Plant Science, 2023, 14: 1226329.
[116] SAFONOVA A, GUIRADO E, MAGLINETS Y, et al. Olive tree biovolume from UAV multi-resolution image segmentation with mask R-CNN[J]. Sensors, 2021, 21(5): 1617.
[117] THOMAS L F, ÄNÄKKÄLÄ M, LAJUNEN A. Weakly supervised perennial weed detection in a barley field[J]. Remote Sensing, 2023, 15(11): 2877.
[118] GUPTA S K, YADAV S K, SONI S K, et al. Multiclass weed identification using semantic segmentation: an automated approach for precision agriculture[J]. Ecological Informatics, 2023, 78: 102366.
[119] WANG S B, HAN Y, CHEN J, et al. Weed density extraction based on few-shot learning through UAV remote sensing RGB and multispectral images in ecological irrigation area[J]. Frontiers in Plant Science, 2022, 12: 735230.
[120] KHOSHBORESH-MASOULEH M, AKHOONDZADEH M. Improving weed segmentation in sugar beet fields using potentials of multispectral unmanned aerial vehicle images and lightweight deep learning[J]. Journal of Applied Remote Sensing, 2021, 15: 034510.
[121] OSORIO K, PUERTO A, PEDRAZA C, et al. A deep learning approach for weed detection in lettuce crops using multispectral images[J]. AgriEngineering, 2020, 2(3): 471-488.
[122] SA I, CHEN Z T, POPOVIĆ M, et al. WeedNet: dense semantic weed classification using multispectral images and MAV for smart farming[J]. IEEE Robotics and Automation Letters, 2017, 3(1): 588-595.
[123] NAVEED A, MUHAMMAD W, IRSHAD M J, et al. Saliency-based semantic weeds detection and classification using UAV multispectral imaging[J]. IEEE Access, 2023, 11: 11991-12003.
[124] FAWAKHERJI M, POTENA C, PRETTO A, et al. Multispectral image synthesis for crop/weed segmentation in precision farming[J]. Robotics and Autonomous Systems, 2021, 146: 103861.
[125] YIN J R, QI C S, CHEN Q Q, et al. Spatial-spectral network for hyperspectral image classification: a 3-D CNN and Bi-LSTM framework[J]. Remote Sensing, 2021, 13(12): 2353.
[126] BOUGUETTAYA A, ZARZOUR H, KECHIDA A, et al. Deep learning techniques to classify agricultural crops through UAV imagery: a review[J]. Neural Computing & Applications, 2022, 34(12): 9511-9536.
[127] NING K P, ZHAO X, LI Y, et al. Active learning for open-set annotation[C]//Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2022: 41-49.
[128] RAJAKANI M, KAVITHA R J. Invasive weed optimization with deep transfer learning for multispectral image classification model[J]. Multimedia Tools and Applications, 2024, 83(15): 45519-45534.
[129] YU J L, SCHUMANN A W, SHARPE S M, et al. Detection of grassy weeds in bermudagrass with deep convolutional neural networks[J]. Weed Science, 2020, 68(5): 545-552.
[130] ZOU K L, LIAO Q F, ZHANG F, et al. A segmentation network for smart weed management in wheat fields[J]. Computers and Electronics in Agriculture, 2022, 202: 107303.
[131] MAKANAPURA N, SUJATHA C, PATIL P R, et al. Classification of plant seedlings using deep convolutional neural network architectures[J]. Journal of Physics: Conference Series, 2022, 2161(1): 012006.
