共查询到13条相似文献，搜索用时 0 毫秒
1.
基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位 总被引：2，自引：2，他引：0
无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。 相似文献
2.
为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。 相似文献
3.
大视场下荔枝采摘机器人的视觉预定位方法 总被引：8，自引：7，他引：1
机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。 相似文献
4.
番茄果实串采摘点位置信息获取与试验 总被引：6，自引：6，他引：0
针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。 相似文献
5.
自然环境下葡萄采摘机器人采摘点的自动定位 总被引：1，自引：15，他引：1
针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。 相似文献
6.
基于探索性分析的的荔枝果及结果母枝颜色特征分析与识别 总被引：4，自引：3，他引：1
从复杂背景中识别成熟荔枝串中的荔枝果及结果母枝,获取结果母枝上的采摘点是机器人视觉定位与识别的难点,荔枝果、结果母枝与叶子各部位图像颜色特征分析与识别成为研究重点。首先针对荔枝果与结果母枝的特点、光照与环境的特殊性及不确定性,提出了探索性分析与荔枝图像识别的融合方法,对荔枝果与结果母枝进行了图像分类与统计的探索性分析,并给出了荔枝图像数据的探索性分析流程图;其次,根据荔枝不同部位颜色均值分布的特点,设计了荔枝果、结果母枝及叶子在6种色彩模型下的颜色均值分布箱线图,通过图形启示的数据分析与探索,给出了基于YCbCr色彩空间的Cr单通道图的荔枝各部位分类识别的视觉模型,分析表明Cr分量值在0.5～0.54能去除叶子和侧枝等复杂背景,实现荔枝串中的荔枝果与结果母枝的分割。最后,以60组不同光照条件的180幅自然环境下采集的荔枝图像为试验测试对象,用颜色特征的视觉模型结合阈值分割方法有效地识别了成熟荔枝串与荔枝果,荔枝串与荔枝果的平均识别率分别为91.67%和95.00%。用探索性分析与图像运算相结合的方法成功地提取了结果母枝(识别率为86.67%),并用计算出的采摘点进行视觉定位的仿真。试验和仿真结果表明视觉模型及其方法能对荔枝不同部位进行有效识别。 相似文献
7.
采摘机械手对扰动荔枝的视觉定位 总被引：8，自引：8，他引：0
为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。 相似文献
8.
苹果采摘机器人视觉系统研究进展 总被引：14，自引：10，他引：4
视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。 相似文献
9.
自然环境下贴叠葡萄串的识别与图像分割算法 总被引：3，自引：3，他引：0
针对自然环境下贴叠葡萄串难以识别与分割的问题,该文首先提取HSV颜色空间中的H分量,获取贴叠葡萄串区域,分析该区域长宽比从而判定葡萄串的贴叠性质;提取葡萄串图像轮廓信息,获取轮廓拐点与类圆心点信息;利用拐点与中心点之间的斜率判定目标葡萄串所在位置。然后,利用Chan-Vese模型进行葡萄串的迭代识别,并结合拐点信息获得重叠边界的轮廓信息。最后,将重叠边界轮廓与图像轮廓进行融合,实现目标葡萄串识别。试验结果表明,该文方法的平均精准度为89.71%,平均假阳率为4.24%,识别成功率为90.91%,与现有方法相比,该文方法可实现完整目标葡萄串的识别与分割,并提高了识别与分割的精准度,为葡萄采摘机器人成功采收贴叠葡萄串提供切实可行的算法。 相似文献
10.
基于深度学习的葡萄果梗识别与最优采摘定位 总被引：6，自引：6，他引：0
针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。 相似文献
11.
农业机器人视觉传感系统的实现与应用研究进展 总被引：6，自引：3，他引：6
论述了农业机器人视觉传感系统的主要实现技术和当前的应用现状，包括基于视觉传感原理的距离检测技术，基于视觉传感原理的工作对象特征识别技术和基于视觉传感原理的运动导航技术。基于双目立体视觉的测距方法可应用于葡萄和番茄采摘机器人，配备激光光源和红外光源的测距系统可在室外有效抵抗日光变化对检测结果的影响。几何形状、灰度级、颜色，尤其是农产品表面的反射光谱特性，可以用于农业机器人识别操作对象。人工路标方法是实现农业机器人视觉导航的简单方法，另外，直接基于田间作物在空间排列的特征也可实现农业机器人的视觉导航。最后讨论了农业机器人视觉传感系统的未来发展趋势。 相似文献
12.
基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法 总被引：5，自引：5，他引：0
采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。 相似文献
13.
番茄串收机械臂运动规划方法与试验 总被引：1，自引：1，他引：0
番茄串的采收环境复杂,果实体积相对较大,机械臂采收运动路径规划不仅要考虑如何采摘,还需要考虑采摘后如何避开障碍,并从复杂环境中提取出番茄串。为此,该研究以温室栽培的番茄串采摘为对象,提出了基于空间分割的实时运动路径规划算法。首先通过聚类拟合环境中的枝条,简化空间障碍物;然后分割采摘空间,筛选可行采摘空间,并引入评价函数选取最优采摘空间,指导机械臂以合理有效的姿态完成采摘;最后在采摘任务的基础上加入实时避障子任务,引导机械臂躲避障碍完成任务,保证采摘番茄串任务安全无损。在以上研究的基础上,通过大量采收试验验证算法的有效性。试验结果表明:通过基于空间分割的实时运动路径规划算法,采收机器人的单串番茄采摘时间为12.51 s,且采摘成功率接近100%。与目前主流的采样算法RRT*-connect相比,单串番茄的采摘时间降低了31.23%,大幅提高了采摘效率。 相似文献