首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 828 毫秒
1.
该文从各大网页中采集到农作物生长信息的数据,特征数据主要包括农作物生长信息、种植环境、生长周期等。为了更好地完成网络爬取的任务,收集到更多符合条件的网页信息,该文主要运用架构方式实现农作物生长数据的爬取,采用Nutch框架实现分布式网络爬虫,并运用二级哈希算法完成两次URL映射计算。实验结果表明,随着时间的推移,相对于单机,分布式网络爬取能够获取更大的数据信息量,工作效率更高。  相似文献   

2.
随着互联网的高速发展,在互联网搜索服务中,搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分,它负责从互联网中搜集网页,这些页面用于建立索引,从而为搜索引擎提供支持。面对当前极具膨胀的网络信息,集中式的单机爬虫早已无法适应目前的互联网信息规模,因此高性能的分布式网络爬虫系统成为目前信息采集领域研究的重点。本文对网络爬虫原理、分布式架构设计以及网络爬虫中的关键模块、瓶颈问题及解决办法进行了相关研究。  相似文献   

3.
大多分布式资源调度策略的目标或为提高分布式系统的运行效率,或为提高用户的满意度.文中提出了一种综合考虑资源可信度与用户满意度的调度策略,以用户的满意度为目标函数,且将资源可信度作为用户满意度组成的一部分,通过遗传算法实现优化调度.继而将此调度策略封装进 Agent之中,并提出了一种基于 Multi-agent分布式系统架构,该架构由用户、作业和资源3类 Agent组成,并且具有良好的分布式群集智能效应和自适应能力.算例结果显示,此调度策略不仅提高了系统运行效率,同时增加了用户满意度.  相似文献   

4.
基于农业技术与信息化技术的不断发展与融合,针对当前河北省农作物害虫识别准确率和效率低等问题,提出了一种基于Asp.NET Core MVC架构的残差神经网络害虫图像识别系统。该系统首先通过移动采集终端和网络图片爬虫收集目标分类图片信息,再使用数据增强技术扩充样本库,得到神经网络训练模型的数据集;然后通过搭建机器学习框架,分别引入ResNet-50、ResNet-101、ResNet-152残差网络模型,对数据集执行训练并验证其准确度;最后将准确度最高的训练结果模型运用至农作物害虫分类服务系统。经验证,该识别模型具有良好的适用性和鲁棒性,可为河北省主要农作物虫害提供识别及诊断功能。  相似文献   

5.
周光发 《安徽农业科学》2011,39(18):11137-11138,11256
主要研究如何设计农业专家系统体系结构,重点分析了在设计基于B/S架构的农业专家系统时,如何采用对象池技术,减少系统开销。提高系统的健壮性与扩展性,从而提高农业专家系统的运行效率。  相似文献   

6.
针对网络计算需要处理分布式异构数据调用和分布式计算的问题,将网络计算中单个节点的计算环境处理成浏览器/服务器架构,采用Java数据库接口中间件、Applet与Servlet通讯以及Java类包数据签名等技术,设计了能调用和访问分布式异构数据并进行分布式计算的计算环境,在集成了常用农业生产优化模型分析和专家系统等的农业远程分析系统中,对B/S结构中的网络计算环境设计进行了实现。用于计算和推理分析的Java类包通过浏览器下载到本地运行;系统分别在Applet上给出数据库接口,供客户端连接本地或远程的不同类型数据库,实现了对分布式数据的在线分析决策。  相似文献   

7.
为了解决养殖投入品的质量信息匮乏、监管效率低下等问题,结合网络舆情信息发布与获取的特点,引入了信息抽取和行政监管并存的理念,构建了基于B/S架构的养殖投入品质量的信息发布与舆情监管系统。采用主题爬虫算法作为抓取网络舆情的信息关键步骤,避免下载大量与主题不相关的网页,提高了信息抓取的效率和准确率。并利用向量空间模型对主题爬虫算法中的内容相似度进行计算与评价,提高了该算法爬行的准确性,并在实际系统中得到了验证。同时该系统还提供了用户信息管理、质量安全信息管理、养殖投入品供求信息管理等功能。系统测试和应用结果表明,该系统具有功能丰富、运行稳定、信息抓取准确、可扩展性强等优点,能较好地满足不同角色对养殖投入品质量信息的需求。  相似文献   

8.
MPLS 网络结构具有很好的通信和分布式特征,是分布式网络入侵检测的理想架构。针对分布式网络入侵检测系统体系结构中的通信部件,将 MPLS 技术和分布式网络入侵检测结合在一起,探讨了基于 MPLS 的分布式网络入侵检测的工作过程。采用 MPLS 技术实现分布式入侵检测是有效的,解决了传统的分布式网络入侵检测的通信及部件的分布问题,与此同时还保留了传统的分布式网络入侵检测的独立性、集中性和分布性这些优势。  相似文献   

9.
分析了现有IP/SDN混合互联架构方案的优缺点,提出一个基于RIPv2路由协议的轻量级IP/SDN互联架构.其主要原理是将SDN网络抽象成RIPv2协议中的单个虚拟路由节点,在控制器内部实现RIPv2路由表和Openflow流表信息的转换.从RIPv2的协议角度来看,无论SDN网络内部包含多少个交换机和子网,网络报文穿过该SDN,其跳数只经过1跳.在开源控制器Floodlight上实现了该架构并进行了试验验证和性能评估.与现有架构相比,该架构不需要增加额外的协议转换设备,能够实现与传统IP网络的多出口节点互联,且具有较低的性能开销,适用于中小型园区网的IP/SDN互联场景.  相似文献   

10.
基于分布式系统下的快速关联规则挖掘算法   总被引:1,自引:0,他引:1  
随着分布式技术的发展,基于分布式系统下关联规则挖掘算法的研究显得非常重要.分布式系统下关联规则挖掘算法的时间开销主要体现在两方面:一是频繁项目集的确定;二是网络的通讯量.为解决第一个问题,文章提出了一种基于二进制形式的候选频繁项目集生成算法,该算法只需对挖掘对象进行逻辑与操作,提高了频繁项目集的生成效率,将该算法结合FDM算法应用于实验挖掘,实验结果表明,算法提高了挖掘效率,是可行的.  相似文献   

11.
P2P在教育资源建设中的应用研究   总被引:1,自引:0,他引:1  
P2P技术是目前新一代网络研究的活跃领域,它引导网络计算机从集中式向分布式偏移,网络应用的核心从中央服务器向网络边缘的终端设备扩散,将P2P引入到网络教育资源建设领域,尝试解决资源共享、资源建设、信息服务的智能化等其发展中遇到的问题。  相似文献   

12.
互联网有着浩瀚的信息.如何高效、准确获取想要的信息是一个重要的问题,本文将信息获取技术分两个部分来进行,即资源发现模块和信息抽取模块,并基于此构建了一个信息自动获取平台.对于资源发现模块,主要在如何能够从广度和深度两个方面去发现资源提出了一种新的搜索算法,同时利用了多Agent技术实现了分布式的资源发现.对于信息抽取模块,提出了一种新的抽取规则表示方法,提高了在信息抽取过程中规则的适应性.  相似文献   

13.
 设备是企业组织生产的物质基础,在制造业中起着非常重要的作用。现代设备呈现出结构复杂、功能完善、自动化程度高等特点,只有利用先进的信息技术来对其进行管理,才能有效提高设备管理的工作效率。因此,实现设备管理信息化成为了企业信息化的重要组成部分。然而,随着面向设备管理领域软件体系结构和Web应用复杂性越来越高,原有的CGI、ISAPI等技术,已很难满足对分布式对象访问和操作的需求。所以,本文以实现系统的复用为目标,将组件技术与Web技术相结合,在某烟厂的实际项目 Web-based Equipment Management System(WEMS)开发过程中,采用统一建模语言(UML)对特定领域设备管理软件进行了从需求模型、静态模型、动态模型到物理模型的软件全生命周期可视化建模,提出了分布式系统建模的解决方案。最终,在MicrosoftNET框架下,采用C#语言和SQL2000数据库开发了WEMS系统,同时也验证了该分布式系统建模方案的有效性。  相似文献   

14.
基于Web的数据仓库是网络技术和数据仓库技术发展和相互融合的必然产物,对基于Web的数据仓库的特征及其体系结构进行了分析,并将其具体应用到高等学校的应用系统中去,构建了一套高校综合业务管理、分析及监控系统.  相似文献   

15.
鉴于国内外图书馆大数据共享性不高,发展到如今仍缺乏跨系统一站式服务平台的现状。文章侧重于从技术方面提高数字资源的共享利用,提出了基于Hadoop的图书馆数字资源共享模式体系,解决资源共享度不高,缺乏系统性管理的问题,同时为读者提供多方位的服务。系统利用MapReduce分布式计算框架和资源管理系统并行处理数字资源数据,实现资源的快速关联性查找,提高了资源的处理效率,引入基于HDFS图书馆复合大数据存储系统,可保障资源共享系统的存储需求,有效提高读者访问效率,同时解决传统存储技术所面临的可扩展性等问题。  相似文献   

16.
BIBFRAME是语义网/关联数据应用中新一代书目数据编码格式,它将打破MARC格式对图书馆数据开放利用的制约,引领图书馆界作为一个齐心协力的整体创造书目描述和数据交换的环境,来认识和利用全球数据网络资源。文章从分析BIBFRAME兴起的原因着手,解读BIBFRAME的本体模型,并通过探索与RDA、MARC21之间的联系,阐述BIBFRAME对图书馆采编部工作流程的影响。  相似文献   

17.
在对当前主流WebGIS技术分析的基础之上,结合农村电力资源信息特点,提出了基于WebGIS建立农村电力资源网络查询系统的设计方案,运用WebGIS平台——SuperMap IS.NET建立农村电力资源WebGIS站点、发布空间数据的基本方法,及VS.NET环境下运用C#进行服务器端开发,实现基于Web和大型DBMS的空间数据操作。进而实现对配电网络资源与电力用户信息查询的关键技术与方法。  相似文献   

18.
RSS作为Web3.0时代最重要技术之一,近年来被广大门户网站及信息资源建设机构所重视并利用。网络原生数字资源重要建设机构之一的图书馆,不断革新着自己的数字资源开发与利用的技术。基于当前各大高校RSS技术应用情况,探讨利用RSS技术对网络原生数字资源进行推送的流程。  相似文献   

19.
分析了网络在虚拟现实中的作用,提出了设计虚拟室内环境,利用虚拟机架设网络,实现网络化漫游的方案,探讨了网络化设计中的几个问题,构建了一个以B/S为体系结构,基于Web和数据库的虚拟室内环境设计系统。  相似文献   

20.
汪斌  张云伟  刘健  陈晶 《安徽农业科学》2009,37(20):9699-9700
针对用户在进行农业信息主题或相关领域的网络查询时,通用搜索引擎返回的信息过多且主题相关性不强等不足,提出了一种面向农业信息的主题爬虫的设计方案,详细讨论了该主题爬虫的爬行策略、结构设计、原理及实现。初步试验结果表明,基于该设计方案的主题爬虫在抓取农业信息主题网页时的准确率、全面率及成功率明显优于普通爬虫。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号