军犬采集首页 |  军犬系统介绍 |  军犬采集解决方案 |  军犬采集系统试用 |  采集技术交流 |  军犬采集客户案例 |  军犬采集动态 |  联系我们 | 加入收藏
当前位置:首 页 > 解决方案 > 正文

"教育行业数学门户网"应用案例

发布日期:2009-03-13

 

第一部分:客户项目需求:

  要求对公司旗下网站12大频道实时添加整合需要的信息,对采集来的信息自动排版编辑部门可以任意的对数据进行添加修改。采集下来的信息不能带有任何与信息无关的链接、广告、图标...
  要求对目标网站的相关图片进行同步抓取,而且编辑人员可以对图片任意的处理,对新闻部分不需历史部分要能达到采集更新部分。
  要求抓取所有内容入库,有相应的详细界面进行查询,修改,整理重要的一点要实时的发布在自己公司网站上。

1.网站栏目分类:

教育新闻 数学论文 资源下载  同步学习 趣味数学  数学史记
数学星空 学会学习 新闻播报  课改研究 试题资源  数学巨星

方法
名校风采 课堂艺术 奥数资源    名家论教 快速

学习
聚焦高考 教材研读 课件资源    名师风采 思维

学习
备战中考 解题方法 习题答案    我爱我师 就教

论学
电脑应用 教案资源            就学论学
2.网站数据采集、发布
3.CMS系统

第二部分:项目解读
根据我们对项目需求进行分析,系统应至少包含以下三个重要的模块。
模块一:数据采集模块
模块二:数据发布
模块三:CMS


图一:处理流程
 
第三部分:数据采集
1、数据采集的的重要性:
将按标准数据库结构,完成对目标数据进行采集、提取、自动更新等重要工作。采集后的数据将存储到指

定的数据库,供网站的CMS系统的其它模板进行调用。数据的全面性、准确性、实时性、完整性、安全性

、交互性将对本系统产生决定性作用。


 
图二:互联网采集系统流程图
  第一步:确定采集任务。
  第二步:每个采集任务,我们有多个目标数据源可供采集。
  第三步:针对不同的目标数据源,进行不同的采集配置,以确保能采集到数据。
  第四步:调度采集任务,与目标站点同步更新,增量采集。
 第五步:采集到数据结果,完成数据异构到同构的过程。
2、运用成熟软件来确保采集任务:
我公司将采用我公司自主研发的《军犬互联网采集系统 V5.0》(以下简称采集软件),来完成数据采集的

的任务。关于此软件的说明详见《军犬互联网采集软件用户手册》

图三:确保采集任务
第四部分:重点问题解答
1、自动排版如何解决?
答:软件对采集的正文进行自动排版,也可根据原有网站的排版方式进行排版。同时,软件自带可视化编

辑与排版的功能,可直接对文章进行加工排版等,并且为所见即所得的方式。
2、自动过滤关键字、链接、广告、图标
答:军犬采集软件为一款智能性的采集系统,软件最大的特点就在于能智能分析并提取正文,去除其它网

页“嗓音”。并且软件采用智能抽取与结构化数据抽取相结合的方式。对于一般的文章采智能抽取的方式

就可以实现,对于智能不能实现的采用结构化数据抽取的方式,对作者、发布时间、内容进行结构化抽取


3、能抓取图片,并转成本地图片,图片采集后可以按照设置自动分发到多个远程服务器上。
答:这是客户重点关系的问题。我们的采集系统支持对附件的多种处理方式,包括将图片采集后保存到本

地,并与数据库的记录保持关联。发布服务器在发布数据时,也将同步将图片等附件自动进行分发到外网

服务器。为便于管理对图片还可以进行重命名。
 
   上图:采集系统中,对图片的采集处理
 
上图:采集到本地的图片资源可预览
4、抓取制定网站的内容,需要分不同的频道不同的栏目抓取不同的网站内容
5、一个频道能抓取多个网站的内容
答:第4点要求与第5点要求一并作答如下:
在军犬采集系统中,将软件界面的左下部分的树形目录称之为“频道”,大家可以理解为“分类”,也理

解为“栏目”,甚至理解为“文件夹”都是可以的,它与我们使用的资源管理器中的“文件夹”特别相似

,具有无限级分类的功能。
最重要的是方便对配置的采集规则的管理,以及对采集后的数据进行管理时,更符合您的阅读习惯等。
 
 


频道可以按数形目录无限细分,每个频道下面可以存放多个采集源

6、抓取网站的最新新闻
 答:军犬采集系统本身具备“自动更新、增量采集”的功能
 
频道自动更新
单个采集站点自动更新
7、抓取所有内容入库,有相应的详细界面进行查询,修改,整理。
 答:(1)、采集系统目前支持各种主流的结构化数据库,如sql server、mysql、Oracle等。
 (2)、采集系统目前支持通过ODBC与各种数据库相连接,这样,可以连接与采集系统在同一台机

器上的数据库,也可以连接在同一局域网内的其它机器上的数据库,甚至可以连接到公网上的数据库。
 (3)、采集系统支持对所采集的内容进行查询、监控和管理


Copyright©2008-2014 中科点击军犬软件版权所有 京ICP备11012241-3号 军犬网络采集系统专业提供:网络信息采集 网络数据采集 网站信息采集