| 采用双模态联合表征学习方法识别作物病害 |
| |
| 引用本文： | 王春山,赵春江,吴华瑞,周冀,李久熙,朱华吉.采用双模态联合表征学习方法识别作物病害[J].农业工程学报,2021,37(11):180-188. |
| |
| 作者姓名： | 王春山 赵春江 吴华瑞 周冀 李久熙 朱华吉 |
| |
| 作者单位： | 1. 北京农业信息技术研究中心，北京 100097; 2. 河北农业大学信息科学与技术学院，保定 071001; 3. 国家农业信息化工程技术研究中心，北京 100097; 4. 河北省农业大数据重点实验室，保定 071001;;1. 北京农业信息技术研究中心，北京 100097; 4. 河北省农业大数据重点实验室，保定 071001;;5. 河北农业大学机电工程学院，保定 071001; |
| |
| 基金项目： | 北京市科技计划项目资助（Z191100004019007）；国家重点研发计划（2020YFD1100602，2019YFD1101105）；河北省重点研发计划项目（20327402D）；河北省省属高等学校基本科研业务费研究项目（KY202004）；河北省引进留学人员资助项目（C20190340） |
| |
| 摘 要： | 基于深度卷积神经网络的视觉识别方法在病害诊断中表现出色,逐渐成为了研究热点。但是,基于深度卷积神经网络建立的视觉识别模型通常只利用了图像模态的数据,导致模型的识别准确率和鲁棒性,都依赖训练数据集的规模和标注的质量。构建开放环境下大规模的病害数据集并完成高质量的标注,通常需要付出巨大的经济和技术代价,限制了基于深度卷积神经网络的视觉识别方法在实际应用中的推广。该研究提出了一种基于图像与文本双模态联合表征学习的开放环境下作物病害识别模型(bimodalNet)。该模型在病害图像模态的基础上,进行了病害文本模态信息的嵌入,利用两种模态病害信息间的相关性和互补性,实现了病害特征的联合表征学习。最终bimodalNet在较小的数据集上取得了优于单纯的图像模态模型和文本模态模型的效果,最优模型组合在测试集的准确率、精确率、灵敏度、特异性和F1值分别为99.47%、98.51%、98.61%、99.68%和98.51%。该研究证明了利用病害图像和病害文本的双模态表征学习是解决开放环境下作物病害识别的有效方法。
|
| 关 键 词： | 模型 病害 双模态 联合表征学习 少样本 开放环境 病害识别 |
| 收稿时间： | 2021/2/15 0:00:00 |
| 修稿时间： | 2021/4/30 0:00:00 |
Recognizing crop diseases using bimodal joint representation learning |
| |
| Wang Chunshan,Zhao Chunjiang,Wu Huarui,Zhou Ji,Li Jiuxi,Zhu Huaji.Recognizing crop diseases using bimodal joint representation learning[J].Transactions of the Chinese Society of Agricultural Engineering,2021,37(11):180-188. |
| |
| Authors: | Wang Chunshan Zhao Chunjiang Wu Huarui Zhou Ji Li Jiuxi Zhu Huaji |
| |
| Institution: | 1. Beijing Research Center for Information Technology in Agriculture, Beijing 100097, China; 2. College of Information Science and Technology, Hebei Agricultural University, Baoding 071001, China; 3. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China; 4. Hebei Key Laboratory of Agricultural Big Data, Baoding 071001, China;;1. Beijing Research Center for Information Technology in Agriculture, Beijing 100097, China; 4. Hebei Key Laboratory of Agricultural Big Data, Baoding 071001, China;;5. College of Mechanical and Electrical Engineering, Hebei Agricultural University, Baoding 071001, China; |
| |
| Abstract: | |
| |
| Keywords: | models diseases bi-modal joint representation learning few-shot open environment recognition |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《农业工程学报》浏览原始摘要信息 |
| 点击此处可从《农业工程学报》下载免费的PDF全文 |
|
