分析往期客户反馈,与项目规划结合,经过研发人员的大量加班后,msray-plus的V3.0.9版本正式发布了!
【系统】
0:日志系统升级,效率更高,资源占用更小;
1:修复特定情况下,部分服务器长期运行可能会触发的异常奔溃问题;
2:新增防报错异常退出逻辑,并支持自动记录原因;
3:多引擎导出功能可选参数新增 "根网址",同时优化默认导出参数的选中状态;
【搜索任务引擎模块】
3:优化百度引擎, 无需代理。新增识别竞价广告、网站名称、排名;
4:优化谷歌引擎,支持自定义返回结果数量(比如每页100条)!新增识别竞价广告、网站名称、排名;
5:优化必应引擎,无需代理! 新增识别竞价广告、网站名称、排名;
6:优化StartPage引擎,可无需代理采集 ; 新增识别排名;
7:支持创建多个搜索任务,可同时运行,可独立管理配置、查看实时数据、独立导出等。同时,每个搜索任务仅可选择一种搜索引擎;
8:新增存储字段: 是否竞价广告、网站排名,网站名称等;
9:新增存储搜索引擎返回结果页面HTML源码功能,可自定义开启;
10:新增自动停止任务功能,当指定连续X秒持续无种子词任务,则自动停止任务。
11:自动重试功能升级,当请求失败或者出现异常情况,程序会自动延迟重试。支持自定义次数。并且支持从采集关键词失败的页码开始尝试,而不是重新开始;
12:新增采集与存储相关词功能,软件可以同时抓取搜索引擎结果页面上显示的相关词(支持关联来源词),并存储为文件(可在导出界面进行导出!)。同时,也可以在导出界面上预览前1000条相关关键词数据。
13:新增重复判断类型。目前支持6种类型!分别可基于全局、引擎模块、任务级来进行识别;
14:原左侧菜单中的引擎设置,已经移到搜索任务界面的顶部;同时显示模块级重复过滤数据库信息;
【外链爬虫引擎模块】
15:外链爬虫任务核心优化。在创建任务后,自动复制一个对应的种子文件(新种子文件名为原始种子文件名加lock以及任务ID)。
主要用于防止停止任务后,自动扩展出的数据丢失,而原始种子数据已经全部加载完成导致全部跳过,任务处于睡眠状态的情况;
任务运行后,新扩展出的种子数据,会自动更新到新种子文件中,即使停止任务,下次也还可以接着运行(自带进度恢复)
16:支持创建多个任务,支持同时运行,可独立管理配置、查看实时数据、独立导出等;
17:新增全新算法的域名数据泛解析检测与识别过滤功能,可自定义检测算法的严格级别!
18:进度记录与恢复算法更新;
19:新增支持自动把扩展种子数据追加到种子文件对应的任务副本中,避免软件退出或重启导致的扩展数据丢失情况;
20:自行重写网络请求库,不再使用第三方库,长期运行的性能大量提升,资源占用降低;
21:新增自动停止任务功能,当指定连续X秒持续无种子词任务,则自动停止任务。
22:新增重复判断类型。目前支持4种类型!分别可基于全局、引擎模块、任务级来进行识别;
23:新增支持自定义代理,防止部分网站需要海外线路才能访问;
24:外链爬虫任务统计数据计算方案优化;
25:修复任务修改(更换种子文件)引发的异常问题
27:修复删除任务后,软件界面显示获取任务失败的提示 ;
28:优化前端,防止任务统计数据较大(如结果数)后导致显示错位;
更多软件使用说明,请查阅在线文档:http://www.msray.cn/doc