CTspider(长腿蜘蛛)v2.3更新发布 查看更新日志 2018/09/27

长腿蜘蛛-CTspider采集 详细教程

2018-08-17 长腿蜘蛛-CTspider采集 详细教程

如何安装

首先去长腿蜘蛛-CTspider官网下载插件

  1. 然后到WordPress插件页面点击上传,安装启用即可。
  2. 如果使用FTP上传,请使用二进制上传协议。

如何授权

登录长腿蜘蛛-CTspider官网注册账号(PS:注册账号需要邮箱验证激活码,请认真填写邮箱账号)。

  1. 点击用户中心->添加授权域名(PS:目前每位用户可以授权3个域名)。
  2. 得到授权码后,点击CTspider插件->系统配置->授权码配置->填入授权码->保存配置->验证授权

最近有很多网友问:为什么点击采集后显示没有任何数据只有两种可能

  1. 采集规则没有设置好。
  2. 如果确定采集规则没问题,请查看当前采集的网址是否是Ajax动态渲染加载(PS:目前长腿蜘蛛-CTspider 不支持动态渲染加载采集

新建项目 / 基本配置

接下来我们详细说下如何采集一个项目

我们使用新浪科技为示例:

首先基本配置

  1. 任务名称:新浪科技(PS:自定义即可)
  2. 更新时间:默认60分钟(PS:当前任务60分钟自动执行一次)
  3. 字符集:默认选项就可以(PS:如果出现乱码情况,请针对当前web网页字符集选择即可)
  4. 随机IP:开启(PS:开启随机IP会在每次采集的时候自动更换IP,减少服务器IP被封的几率)
  5. 多线程采集:开启 (PS:开启后可提高采集速度)
  6. 多线程数量:默认10(PS:根据自己服务器配置酌情使用)

列表设置

  • 列表URL: http://roll.tech.sina.com.cn/internet_all/index.shtml (PS:如需多个,可换行添加)
  • 列表区域选择器:.contList>ul>li (PS:【完全和CSS选择器用法一样】【可填,可不填】如果采集当前页面有多个相同列表DOM节点就要填写,确保采集精准度)用谷歌浏览器右键审查元素,可以看出当前列表数据都在.contList>ul>li下面

  • 列表缩略图:如果有图可以直接填写当前缩略图CSS选择器
  • 文章网址匹配:a (PS:由于上面区域选择器已经定位,我们可以直接填入a标签即可,如果区域选择器没有定位则设置:.contList li a 或者.contList a 具体根据你采集页面dom结构自己分析)
  • 添加来源网址到自定义字段:source_url(PS:【自定义】可开启或不开启,设置后会在每天文章添加一个自定义字段source_url并且会把当前采集到网址链接赋值给该字段用于前台调用显示)如: get_post_meta('source_url') 可调用该字段的值。

点击列表测试可以查看当前项目列表配置情况

文章设置

标题匹配规则:h1

文章内容设置:#article_content

可以看到标题在h1标签下,也可使用.main-title来获取标题

正文内容看上去有好多 class和id 如果有id属性尽量采用id,毕竟id是唯一性,定位精准。

我们还可以增加规则来采集TAG标签

长腿蜘蛛-CTspider 提供了6总规则添加采集,并且可以自定义字段规则(PS:自定义字段规则可以添加多个)

点击采集测试

采集结果完美呈现(原文:标题:TAG)正确显示

但是我们发现结果中出现了a链接和一些多于的css属性id属性还有span标签

我们可以利用长腿蜘蛛-CTspider强大的内容过滤模块进行数据清洗工作

内容过滤

  1. 首先删除数据中所有a链接但不删除a标签内容
  2. 删除数据中span标签并且也不删除内容
  3. 删除数据中无用的class属性和id属性

具体设置如下图:

最后在进行采集测试(得到纯净的数据

 

 

 

发表评论 (23)

您必须 才能发表留言!


  1. zhizhu 19楼

    希望添加通配符规则

  2. 235576565 18楼

    用户中心在哪里

    • 2811885191

      @235576565 电脑访问才有,我也是。找了半天

  3. DavidSin 17楼

    可以改User agent 吗?

  4. 54893 16楼

    111

  5. baizimujun@gmail.com 15楼

    希望可以添加通配符规则

  6. baizimujun@gmail.com 14楼

    没有ID的文章class并不是这么的好用

  7. youzi 13楼

    没有检测是否已经采集过吗?如果没更新,还是会重复采集一遍?

  8. abcdyeah 12楼

    无法采集正文中的图片,被过滤了。。。

    • abcdyeah

      @abcdyeah HTML特例标签已经填写img,正文里还是没有。另外对于懒加载(延迟加载)的图片,列表页可以设置属性值获取,文章页不好设置,无法获取懒加载的图片

  9. Mrseawood 11楼

    请问下 文章分页规则 怎么写呢 试了 css 容器 不过不行 应该是我找的不对

  10. bxsns 10楼

    不支持改变文章类型的主题
    http://bxsns.com

  11. jiangxiao1q2w3 9楼

    http://www.yeziyl.com 更新到WordPress 5.0.2能用吗?

  12. zita 8楼

    更新版后都无法正常使用了,授权不断失败,启动没资料 ==”
    想念旧版

  13. ray 7楼

    域名没备案 用的https 授权失败

  14. zhengxu110sc 6楼
  15. zhengxu110sc 5楼

    http://www.0816wo.com ,绵阳窝也用的是这个插件,好用。

  16. sakura 4楼

    http://www.yinghua.ml 用的就是长腿蜘蛛哦

  17. lxf1027 3楼

    插件上传上去了,启动不了

  18. lbsomuch 2楼

    請問為何一直認證失敗

    • YKK

      @lbsomuch 需要先点击保存

  19. 1427285560 1楼

    现在没有伪原创功能了吗

    • 官方

      @1427285560 目前你可以使用关键字替换