这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 627 天前的主题，其中的信息可能已经有所发展或是发生改变。
- 都说现在环境差，找不到工作，有人做过爬下工商部每天有多少公司成立，有多少公司倒闭，然后做做筛选啥的吗
- 或者把 BOSS ，拉钩的所有招聘信息爬下来，看看哪些公司正在招人，哪些公司哪天发布了新职位，哪些公司哪天关闭了哪个职位，哪个公司哪个职位挂那儿半年没动静了
- 借此研究下行业现状，某家公司发展情况之类的，也可以服务下打工人
 |
1
0o0O0o0O0o 2023-03-25 20:54:04 +08:00 via iPhone
违法
|
 |
2
wganbleuthall OP  1
@0o0O0o0O0o #1 哈 爬取公开数据，就展示不盈利也违法吗
|
 |
3
blankmiss 2023-03-25 20:57:25 +08:00
这倒是不违法
|
 |
4
herich 2023-03-25 21:03:11 +08:00
以前做过类似的爬虫，能爬下工商部、天眼查、boss 直聘数据的人，很有竞争力
|
 |
5
kwh 2023-03-25 21:03:21 +08:00
破坏计算机运行？
|
 |
6
systemcall 2023-03-25 21:08:37 +08:00 via Android
违法
现在除了工商部都要实名注册，不随便找到你？ 工商部你正常访问都困难，感觉就像是给这些软件卖数据的一样，不过想一想也正常 |
|
7
0o0O0o0O0o 2023-03-25 21:13:04 +08:00 via Android
@wganbleuthall #2 当然违法，你就算是拿数据来做公益，在爬取的过程中你也已经违法过了。想不违法地爬取？问问工商数据网站的那些反爬手段答不答应。
|
 |
8
lzeeee 2023-03-25 21:18:47 +08:00
可刑
|
|
9
wganbleuthall OP @0o0O0o0O0o #7 淦 不考虑对服务器的压力和数据会被拿去做什么坏事 我个人理性上讲 我们公民有权获取这些数据啊 想了解了解工商环境这有啥啊，甚至说应该提供 API
|
 |
10
vemier 2023-03-25 21:46:50 +08:00
找人手动统计算违法吗
|
 |
11
kingfalse 2023-03-25 21:52:19 +08:00 via Android
有 2.7E 企业数据。。。。。
|
 |
12
abcdxe2v 2023-03-25 22:00:44 +08:00
@0o0O0o0O0o 违法规模小不会管
|
|
13
abcdxe2v 2023-03-25 22:01:52 +08:00
盈利的话就可能管了
|
 |
14
LanFomalhaut 2023-03-25 22:02:14 +08:00
@wganbleuthall 工商信息的 API 花钱可以买到。
公民有权获取信息≠可以非日常使用的情况下大量获取。 工商系统的公开查询就可以满足日常使用了，至于学术研究等不在日常使用的范畴。 爬的话，很刑。 |
 |
15
cxtrinityy 2023-03-25 22:02:46 +08:00
你看工商部那数据电脑访问多麻烦就知道他有多不想把数据给你了, 你说公民有权获取这些数据, 他还说要保护公民隐私呢, 结果你注册个公司脚还没踏出服务大厅, 会计公司已经把你电话打爆, 然而实际你上国家企业信息公示系统那网站查一般人还查不到法人电话, 你就琢磨吧.
|
 |
16
baobao1270 2023-03-25 22:23:32 +08:00
上面说违法的，虽然确实违法，但是不被发现就不算违法。
爬虫 IP 不要用国内的。 但是要是你发布你的研究结果的话，就算是发到 GitHub 上面，也最好当心点。 |
 |
17
sofukwird 2023-03-25 23:06:57 +08:00 via Android
天眼查就是爬虫起家的，你爬它不是找死嘛
|
 |
18
vvbbb 2023-03-25 23:09:44 +08:00
emmmm 没有人发现现在改叫市场监管总局了么？
天眼和企查都有数据库，脱裤的也有，能买到。但是要向自己去爬，现在很难了 |
 |
19
westerndream 2023-03-26 00:10:57 +08:00
那么天眼查这种的数据是自己爬的还是和工商那有合作的，人家也有能力监测到每天有多少公司成立，有多少公司倒闭
|
 |
20
crazyweeds 2023-03-26 00:44:49 +08:00
私下+低调+国外 IP+节制+不分享。
说实话，谁管你？ |
 |
21
snw 2023-03-26 00:52:43 +08:00 via Android
@systemcall
工商的公示系统现在也要注册才能查询了，不过不确定是特定条件触发，还是全面要求登录。 |
 |
22
esee 2023-03-26 01:44:38 +08:00 via Android
@westerndream 有合作的，不然这么一块蛋糕，怎么市场上没几家做。或者应该说，有背景
|
 |
23
forQ 2023-03-26 11:17:07 +08:00
IT 桔子
|
 |
25
sakura6264 2023-03-27 20:49:49 +08:00
是否违法取决于有没有人想抓你。
万一哪天说要严打可能就拿你冲业绩了 |
Select Language