这是一个创建于 2538 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前的主题都是文字性描述，可能不够直观。之前:https://www.v2ex.com/t/411413
估计很多人没看明白，或者看不下去（体验不好。。。
刚做了几个动态图，用来演示爬山虎采集器的自动识别算法。
1.东方财富网的采集效果
2.新浪新闻的采集效果
3.v2 的效果
测试的都是列表页，爬山虎也能够深入到内容页去抓取（通过抓取链接的深入），也是非常简单。
目前来说，列表数据和分页的识别率都还可以。
相对于其他采集软件来说，优势就是稍微简单、方便点。
爬山虎采集器网站： http://www.51pashanhu.com/
（网站目前来说，做的很烂，准备优化一下 ）
估计很多人没看明白，或者看不下去（体验不好。。。
刚做了几个动态图，用来演示爬山虎采集器的自动识别算法。
1.东方财富网的采集效果
2.新浪新闻的采集效果
3.v2 的效果
测试的都是列表页，爬山虎也能够深入到内容页去抓取（通过抓取链接的深入），也是非常简单。
目前来说，列表数据和分页的识别率都还可以。
相对于其他采集软件来说，优势就是稍微简单、方便点。
爬山虎采集器网站： http://www.51pashanhu.com/
（网站目前来说，做的很烂，准备优化一下 ）
 |
1
slgz 2017-12-30 17:09:17 +08:00
马克
|
 |
2
fange01 2017-12-30 18:36:27 +08:00
体验了淘宝和京东，不错。
|
 |
3
faketemp 2018-01-02 14:28:24 +08:00 via iPhone
局域网中无法使用吗 打开软件一直提示请确认系统日期正确，软件即将关闭 然后就自动退出？@oness
|
 |
4
NirvanaCN 2018-01-03 10:25:52 +08:00
简单使用了下，确实比较简单好上手，但是发现两个问题：1.官网显示免费版可导出 CSV，实际只能 1000 条 /天 TXT ； 2.脚本命令必须付费才能使用，这点比较蛋疼
|
 |
6
jyf 2018-01-03 12:30:41 +08:00  1
@oness 你这样搞还是以前共享软件的思路 建议你改变思路 让每个运行者通过自己的独特 ip 来对他人提供收费服务 赚取到的费用来用支撑他使用你这个软件的权限 把平台做起来多好
|
|
7
faketemp 2018-01-03 12:42:26 +08:00 via iPhone
@oness 既然已经限制了免费版的核心功能 就没必要必须联网使用了吧？比如想在局域网中统计内网网站少量数据啥的 很不方便建议考虑。还有字段设置正则表达式替换时“.”好像不支持匹配换行？建议增加多行模式
|
|
11
faketemp 2018-01-03 15:04:40 +08:00
|
|
15
faketemp 2018-01-04 08:49:54 +08:00
@oness 这样设置无法正确解析列表元素，具体如图
 想要的结果图类似下图（问题是图中仅采集了各段首条信息，段中其他条目数据如何设置才能同时采集到？）  |
 |
16
yanza 2018-01-04 10:58:39 +08:00
挺不错的，不过代理只能添加一个，如果可以设置成批量添加代理就更好了，使用一个代理很容易被封
|
 |
17
oness OP @faketemp 用 //div[@class='arcList']/ul/li xpath，然后点击字段列的下拉菜单，“选择元素”，然后点击要列表其中一项就可以。
|
 |
19
chroming 2018-01-04 18:35:36 +08:00
只有 Win 端啊
|
 |
21
muyan 2018-01-05 09:39:52 +08:00
老铁，软件免费不
|
 |
23
buyaoshuohua 2018-01-05 17:20:16 +08:00
有类似的软件了 八爪鱼 火车头都可以吧
|
|
24
oness OP @buyaoshuohua 嗯，相比其他采集器软件，爬山虎更加简单、易用些。上手感受下就知道差异了
|
|
25
fange01 2018-01-05 23:22:44 +08:00
能发布到哪些网站？
|
Select Language