八爪鱼采集器

八爪鱼采集器

11

下载次数

网页辅助 分类排行第 5
(3565)

软件介绍

八爪鱼采集器 八爪鱼数据采集系统以完全自主研发的分布式云计算平台为核心,可以在很短的时间内,轻松从各种不同的网站或者网页获取大量的规范化数据,帮助任何需要从网页获取信息的客户实现数据自动化采集,编辑,规范化,摆脱对人工搜索及收集数据的依赖,从而降低获取信息的成本,提高效率。

最新版本:官方版 v8.7.7
软件大小:81.72MB
软件类型:国产软件
软件分类:网页辅助
软件语言:简体
软件授权:免费软件
支持系统: | | | |

软件截图

软件特色

模板采集

模板采集模式内置上百种主流网站数据源,如京东、天猫、大众点评等热门采集网站,只需参照模板简单设置参数,就可以快速获取网站公开数据。

智能采集

八爪鱼采集可根据不同网站,提供多种网页采集策略与配套资源,可自定义配置,组合运用,自动化处理。从而帮助整个采集过程实现数据的完整性与稳定性。

云采集

由5000多台云服务器支撑的云采集,7*24小时不间断运行,可实现定时采集,无需人员值守,灵活契合业务场景,帮你提升采集效率,保障数据时效性。

API接口

通过八爪鱼API,可以轻松获取八爪鱼任务信息和采集到的数据,灵活调度任务,比如远程控制任务启动与停止,高效实现数据采集与归档。基于强大的API体系,还可以无缝对接公司内部各类管理平台,实现各类业务自动化。

自定义采集

针对不同用户的采集需求,八爪鱼可提供自动生成爬虫的自定义模式,可准确批量识别各种网页元素,还有翻页、下拉、ajax、页面滚动、条件判断等多种功能,支持不同网页结构的复杂网站采集,满足多种采集应用场景。

便捷定时功能

简单几步点击设置,即可实现采集任务的定时控制,不论是单次采集的定时设置,还是预设某一天或是每周每月的定时采集,都可以同时对多个任务自由进行设置,根据需要对选择时间进行多重组合,灵活调配自己的采集任务。

全自动数据格式化

八爪鱼内置了强大的数据格式化引擎,支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等多项功能,采集过程中全自动处理,无需人工干预,即可得到所需格式数据。

多层级采集

很多主流新闻、电商类的网站,里面包含一级商品列表页,也包含二级商品详情页,还有三级评论详情页面;不论网站有多少层级,八爪鱼都可以不限制层级的采集数据,满足各类业务采集需求。

八爪鱼采集器

安装步骤

      一、在本站下载最新版的八爪鱼采集器安装包,双击运行。

八爪鱼采集器

      二、可以点击【浏览】,选择软件的安装路径;或者直接点击【下一步】,软件会安装在默认的位置。

八爪鱼采集器截图
八爪鱼采集器截图

      三、耐心等待软件安装完毕,点击【关闭】就可以啦。

八爪鱼采集器截图

使用技巧

      先我们新建一个任务-->进入流程设计页面-->添加一个循环步骤到流程中-->选中循环步骤-->勾选上软件右方的URL 列表勾选框-->打开URL列表文本框-->将准备好的URL列表填写到文本框中

八爪鱼采集器

      接下来往循环中拖入一个打开网页的步骤-->选中打开网页步骤-->勾选上使用当前循环里的URL作为导航地址-->点击保存。系统会在界面下方的浏览器中打开循环中选中的URL对应的网页

八爪鱼采集器截图

      到这里,循环打开网页的流程就配置完成了,运行流程的时候,系统会逐个的打开循环中设置的URL。最后我们不需要配置一个采集数据的步骤,这里就不在多讲,下图就是最终和流程。

八爪鱼采集器截图

      下面是流程最终的运行结果

八爪鱼采集器截图

FAQ

      问:如何采集电话号码?(服务类网站)

      答:许多服务类的网站(58同城、赶集网、美团等)电话号码的采集

      采集步骤:

      1.确定采集的行业分类,将该分类的网页复制到八爪鱼采集器中打开

      2.打开采集器,建立采集任务

      3.输入采集网址,根据需要编辑采集规则

      4.选择采集方式,开始采集

      5.导出采集好的数据

      注意事项:

      采集不同的数据需要的规则略有不同,不懂怎么编辑规则的可以到规则市场寻找用户分享的完整采集规则

      问:八爪鱼可以采集QQ空间吗?如何采集?

      答:八爪鱼采集器可以采集QQ空间中所有的数据信息,但加了密码的空间是无法采集的,

      自己的QQ空间则需要登录后再进行采集。

      采集步骤:

      1.创建采集任务,在八爪鱼采集器的浏览器中打开需要采集的空间;

      2.编辑采集规则,采集需要的信息;

      3.将采集好的数据导出。

      smart模式下输入网址,提示登录失败?

      采集的网页需要进行登陆的,smart模式因为不带自动登录系统的能力,所以会提示登录失败。

      smart模式针对的是开放的网页,需要登录的网页,暂时无法进行采集,向导模式同样也是不支持采集需要登录的网页。

      这类网站必须使用八爪鱼采集器的高级模式才能进行采集。

下载地址

深圳视界信息技术有限公司

深圳视界信息技术有限公司

深圳视界信息技术有限公司(简称视界)成立于2012年,是一家以网络信息处理为主要经营方向的高新科技企业,在互联网海量信息处理方面拥有丰富 [详情]

本类软件推荐