如何安装
首先去长腿蜘蛛-CTspider官网下载插件
- 然后到WordPress插件页面点击上传,安装启用即可。
- 如果使用FTP上传,请使用二进制上传协议。
如何授权
登录长腿蜘蛛-CTspider官网注册账号(PS:注册账号需要邮箱验证激活码,请认真填写邮箱账号)。
- 点击用户中心->添加授权域名(PS:目前每位用户可以授权3个域名)。
- 得到授权码后,点击CTspider插件->系统配置->授权码配置->填入授权码->保存配置->验证授权
最近有很多网友问:为什么点击采集后显示没有任何数据只有两种可能
- 采集规则没有设置好。
- 如果确定采集规则没问题,请查看当前采集的网址是否是Ajax动态渲染加载(PS:目前长腿蜘蛛-CTspider
不支持动态渲染加载采集
)
新建项目 / 基本配置
接下来我们详细说下如何采集一个项目
我们使用新浪科技为示例:
首先基本配置
- 任务名称:新浪科技(PS:自定义即可)
- 更新时间:默认60分钟(PS:当前任务60分钟自动执行一次)
- 字符集:默认选项就可以(PS:如果出现乱码情况,请针对当前web网页字符集选择即可)
- 随机IP:开启(PS:开启随机IP会在每次采集的时候自动更换IP,减少服务器IP被封的几率)
- 多线程采集:开启 (PS:开启后可提高采集速度)
- 多线程数量:默认10(PS:根据自己服务器配置酌情使用)
列表设置
- 列表URL: http://roll.tech.sina.com.cn/internet_all/index.shtml (PS:如需多个,可换行添加)
- 列表区域选择器:
.contList>ul>li
(PS:【完全和CSS选择器用法一样
】【可填,可不填
】如果采集当前页面有多个相同列表DOM节点就要填写,确保采集精准度)用谷歌浏览器右键审查元素,可以看出当前列表数据都在.contList>ul>li
下面
- 列表缩略图:如果有图可以直接填写当前缩略图CSS选择器
- 文章网址匹配:
a
(PS:由于上面区域选择器已经定位,我们可以直接填入a标签
即可,如果区域选择器没有定位则设置:.contList li a
或者.contList a
具体根据你采集页面dom结构自己分析) - 添加来源网址到自定义字段:
source_url
(PS:【自定义】可开启或不开启,设置后会在每天文章添加一个自定义字段source_url
并且会把当前采集到网址链接赋值给该字段用于前台调用显示)如:get_post_meta('source_url')
可调用该字段的值。
点击列表测试可以查看当前项目列表配置情况
文章设置
标题匹配规则:h1
文章内容设置:#article_content
可以看到标题在h1
标签下,也可使用.main-title
来获取标题
正文内容看上去有好多 class和id
如果有id属性尽量采用id,毕竟id是唯一性,定位精准。
我们还可以增加规则来采集TAG标签
长腿蜘蛛-CTspider 提供了6总规则添加采集,并且可以自定义字段规则(PS:自定义字段规则可以添加多个)
点击采集测试
采集结果完美呈现(原文:标题:TAG)正确显示
但是我们发现结果中出现了a链接
和一些多于的css属性
和id属性
还有span标签
我们可以利用长腿蜘蛛-CTspider
强大的内容过滤
模块进行数据清洗工作
内容过滤
- 首先删除数据中所有
a链接
但不删除a标签内容 - 删除数据中
span标签
并且也不删除内容 - 删除数据中无用的
class
属性和id
属性
具体设置如下图:
最后在进行采集测试(得到纯净的数据)
我现在这个挺好用 可以自动更新: https://www.96flw.com/665.html
为什么安装插件 就装不上 jxctdz.com
我在列表测试这里就走不动了,一直显示错误“出现错误”,我是按照案例配置的,肯定没错,但是不知道为什么点击列表测试就是显示错误
@zuoxupeng 我照抄官网例子,全提示:“出现错误”,又不说哪出现错误。。。。
@zuoxupeng 失败
@zuoxupeng 一样
我也是半天没搞明白,有没有视频教程https://www.wanliancheng.cn
@haoyu 我也没看明白,没有自动识别采集的吗,还要自己配置太麻烦了http://www.chongwutan.com/
我也是没搞懂 配置好难搞 看不懂http://www.aliyunmb.cn/
可惜没有计划定时发布功能
作者不知道怎么回事?好可惜,没有更新了
搞了半天 没弄明白 有视频教程吗 http://www.jyg789.com/
不会配置!
对于图片站不够友好,http://www.ttmtb.com
现在这个采集插件还能用吗?http://www.xypg999.com/
好像不能自动更新,只能手动,而且不能只能采集一页的资源,怎么回事呢?
楼主好,这个插件不能过滤没有特色图片的文章么
下载看看能不能用 https://www.hd5.cn
有没有人啊,www.zansheji.cn,可以用吗
很多网站都有反采集,或者反爬虫,能不能加入cookies啊,这样子能增加采集成功概率
请问采集到的图片是直接保存到服务器还是引用原文的图片外链连接?https://www.lanren.pub
wordpress 5.4博客可以用吗?http://www.zxycall.com
一篇文章重复采集了两次,这个怎么解决呢?
@1987109876 遇到同样的问题 你怎么解决的?
有没有大佬分享一下采集规则呀
为什么我网站采集不出来列表
https://www.loowp.com/tutorial/seo 这种规则不知道怎么写,有没有大佬教我写的,可以有偿
@saving1986 QQ:3084268864
列表测试的时候,一样的网址,完全按教程还提示“没有获取 [标题] 请查看采集规则”
我的网站https://www.nceol.cn采集一些网站失效
授权码填进去验证失败
授权码验证失败吖….
我的网站是最新的5.3.2 http://www.taozifuli.com 也可以用的么?
请问为什么列表测试“出现错误”,已经授权成功,如何查看列表测试错误原因?
我的网站也可以用吗?http://www.tbxue8.com/
上传的文件尺寸超过php.ini中定义的upload_max_filesize值。这是几个意思啊 上传不了 体验的资格都木有
能代写规则的联系我,可以付费 QQ775417014
采集地址https://www.justeasy.cn/works/search-0-0-775-1.html
希望添加通配符规则
用户中心在哪里
@235576565 电脑访问才有,我也是。找了半天
可以改User agent 吗?
111
希望可以添加通配符规则
没有ID的文章class并不是这么的好用
@baizimujun@gmail.com 想请教下采集规则
没有检测是否已经采集过吗?如果没更新,还是会重复采集一遍?
无法采集正文中的图片,被过滤了。。。
@abcdyeah HTML特例标签已经填写img,正文里还是没有。另外对于懒加载(延迟加载)的图片,列表页可以设置属性值获取,文章页不好设置,无法获取懒加载的图片
请问下 文章分页规则 怎么写呢 试了 css 容器 不过不行 应该是我找的不对
@Mrseawood 已经解决了吗?
不支持改变文章类型的主题
http://bxsns.com
http://www.yeziyl.com 更新到WordPress 5.0.2能用吗?
更新版后都无法正常使用了,授权不断失败,启动没资料 ==”
想念旧版
域名没备案 用的https 授权失败
绵阳窝参上
http://www.0816wo.com ,绵阳窝也用的是这个插件,好用。
http://www.yinghua.ml 用的就是长腿蜘蛛哦
插件上传上去了,启动不了
請問為何一直認證失敗
@lbsomuch 需要先点击保存
现在没有伪原创功能了吗
@1427285560 目前你可以使用关键字替换