我是个菜鸟，想知道资深大佬搭建一个识别跳绳计数的 ai 程序需要多久

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 787 天前的主题，其中的信息可能已经有所发展或是发生改变。

摄像头实时输入的视频
1 人或多人出现在画面中
人脸识别
开始跳绳
程序计数
屏幕显示成绩变化

计数

跳绳

识别

程序

44 条回复 • 2022-11-19 12:03:20 +08:00

mineralsalt

2022-10-05 21:51:19 +08:00

有点难, 跳动速度稍快人眼都很难捕捉绳子的运动何况是普通摄像头, 还不然在绳柄上装个计数装置, 再把数据传到 APP 上处理

thedrwu

2022-10-05 22:04:49 +08:00 via Android

倒着跳一圈，采样 aliasing 爆了，满分通过

liyafe1997

2022-10-05 22:08:29 +08:00 via Android

拿个 VGG 或者 ResNet 之类的网络魔改下？

kkocdko

2022-10-05 22:12:08 +08:00

识别人跳动，检测是否有绊到的动作，检测双手是否都拿着绳子？

所以你的需求是什么，限制是什么，场景是什么。个人觉得小时候那种自带计数器的跳绳就挺好了

qsmd42

2022-10-05 22:20:05 +08:00

不是有个 app 叫摇摇吗

jeesk

2022-10-05 22:56:27 +08:00 via Android

思路改一改？

7zlid

2022-10-05 22:59:12 +08:00 via Android

这个程序是不是能用来统计另一件事情中间动了多少次？

1423

2022-10-05 23:02:35 +08:00

这不是成熟的不得了的技术吗。。怎么还有 V 友认为“有点难”呢。。
找了个视频，天天跳绳的

eason1874

2022-10-05 23:25:16 +08:00

@1423 #8 你觉得成熟是因为你真的听口令开始跳绳，你不按口令来你就知道错误率有多高了

有很多学生为了逃避作业用一张白纸画个简笔画小人，绳子都不用画，只要拿着纸上下晃动，这 APP 也会计数 😅

hzxxx

2022-10-06 01:09:36 +08:00

@1423 这个视频就看得出识别有挺多问题的

ysc3839

2022-10-06 02:51:31 +08:00 via Android

@1423 那只是别人成熟，如果用 AI 识别，且网上没有开源方案的话，设计和训练模型的成本是很高的

ericgui

2022-10-06 04:28:38 +08:00

@1423 第 7 次计数就搞错了，那个第 7 次明显是没跳过，但也计数了

wangritian

2022-10-06 05:10:39 +08:00

先考虑一个单人版低成本实现方案，用 tf-models 的 pose-detection 标注躯体关键点，用一定时间内膝盖垂直坐标变化量判断是否起跳，状态机管理站立和起跳的变化并计数，第一次起跳开始计时，尽量用 60 帧摄像头，不过感觉错误率不会低

Sped0n

2022-10-06 06:19:06 +08:00 via iPhone

换个思路吧
视觉识别这个难度很高

binux

2022-10-06 07:05:12 +08:00 via Android

@Sped0n 同意，试试识别声音？

linhongye

2022-10-06 08:11:58 +08:00 via Android

摄像头本身的帧率、清晰度如果跟得上的话，倒不会难到做不出来… 不过不同用户设备参数不同，也会是影响效果的一个重要因素…
当然，比起要多久时间，说要多少钱可能更合适？…

buyan3303

2022-10-06 08:22:37 +08:00

我个人感觉，先得一个能抓拍超高速甩绳的摄像机，再写程序，动态处理绳子转圈的轨迹。
而且这个要实时处理的话， [最快的一个人一分钟能达到 649 下] ，
光是数据采集就难。
然后采集过来得快速处理+实时或者低延时出结果，那还得多服务器分布式处理。

xuanbg

2022-10-06 08:35:00 +08:00

@1423 这个技术哪里就成熟了。。。只能说人按规矩来，机器勉强能准确计数。但只要不按规矩来，机器肯定要 SB 。

成熟的标准至少要达到：任何普通人能想到的欺骗手段都能识别。随便你怎么跳，我都能按设定的规则来计数。

loading

2022-10-06 09:10:16 +08:00

不要求完美，只要检测头部位置，上下变化就行了。

Herry001

2022-10-06 09:22:08 +08:00

这玩意真不成熟……
宋太祖一分钟跳绳比赛： https://www.bilibili.com/video/BV1fr4y1p7Lh/

bailixi

2022-10-06 09:32:57 +08:00

@Herry001 看这个，差点没给我笑过去，哈哈哈

laoyur

2022-10-06 09:49:22 +08:00

@eason1874 你用过没有？我们班的小同学手头没有绳子，空跳，都被检测出来了，还「绳子都不用画，只要拿着纸上下晃动」

HugoChao

2022-10-06 09:53:49 +08:00

@Herry001 没点进去之前没想到这么好笑，蛤蛤蛤蛤蛤

christin

2022-10-06 10:03:43 +08:00 via iPhone

直接换思路，与其辛苦搞这个识别，不如整个带计数的跳绳来的方便。

vopin

2022-10-06 10:19:50 +08:00 via iPhone

视觉不如直接硬件传感器
信我

yolee599

2022-10-06 10:21:56 +08:00 via Android

已经有成熟的 APP 可以实现了吧，经常看到小朋友用手机摄像头对着自己做一些动作，然后手机那边播报计数，做得不标准还会播加油。作弊肯定无法避免的，全靠自觉

LZSZ

2022-10-06 10:33:14 +08:00

双脚离地就算一次呗

gelilaohuang

2022-10-06 10:51:41 +08:00

@1423 看这小孩跳绳我替他急得慌

liuhuansir

2022-10-06 11:03:27 +08:00

@wangritian 我也算经常跳绳，1 分钟 180 上下，60 帧的摄像头怎么做到准确识别呢，这不搞个高速摄像机能记录下每次的跳动？

m1nm13

2022-10-06 11:19:29 +08:00

纯靠摄像头来识别，目测现在的水平，不可能做的好，加个活体识别能避免纸片人的问题
但是避免不了人家就干跳，不甩绳子。。。不过干跳好像也达到目的了 DOG

hubahuba

2022-10-06 11:52:40 +08:00

多目标检测可以用 crowhuman 预训练

拿到特征直接传给 deepsort ，追踪也不难

多目标行为识别也不是难点，检测一个跳绳的时序特征帧随便用一个视频理解预训练模型也能较好的识别

难点在于密集的重复性动作这块，如果视频帧率追不上他跳的速度，比如他跳了两次，但是两帧之间人却都在空中，这就不太好计数···

也要看你后期怎么做计数这块的业务处理

一个小弱鸡的理解···

uni

2022-10-06 12:27:04 +08:00

有啊，之前币圈有个跳绳赚钱的，我也很好奇技术上他们怎么做的

Building

2022-10-06 12:31:53 +08:00 via iPhone

想要做到完美，起码要攻克以下几点吧:
人体识别（知道画面中有人）
人体追踪（画面中出现其他人不会干扰）
人体动作追踪（画面中人物做了动作能记录下来）
人体动作识别（能够识别记录下来的动作，开始，暂停，摇手等等……）
声音识别（能识别脚落地或者绳子扫地发出的声音，这个还要快速识别）
你看看现在声画处理技术有那一项能够完美做到了？
还有一种是用苹果的激光雷达扫描得到 3D 模型，用游戏的方式来处理，但问题是苹果的那个距离精度不是很高

leonshaw

2022-10-06 12:34:58 +08:00

双摇三摇都不考虑吗

eason1874

2022-10-06 12:46:01 +08:00

@laoyur #22 上面 21 楼发的那个宋太祖一分钟跳绳比赛，跟 8 楼视频用的同一个 APP ，宋太祖在书本里没拿绳子，也没跳，你看它检测出来了吗 😅

还不信的话，看看这个：跳绳，但监督者是 AI https://www.bilibili.com/video/BV1gb4y177Xc/

再不信的话去 B 站搜天天跳绳

buyan3303

2022-10-06 12:51:17 +08:00

@leonshaw #34 还有花样跳绳：左右甩绳，绳子空转一两圈再手接，单脚跳，两脚交换高度跳等等。

iloveoovx

2022-10-06 13:22:16 +08:00

www.laoyaoba.com/n/826920

估计用这个，做识别就比较简单了。5000fps 视觉传感器

elboble

2022-10-06 13:49:41 +08:00

上半年疫情在家上网课，体育课就是用“天天跳绳”的 app ，每天跳绳，仰卧起坐，开合跳等，ai 识别运动。
基本靠谱，不过楼上宋太祖跳绳这个也玩过了，一分钟 260 ，最高记录，再也破不了了。

greatx

2022-10-06 14:24:44 +08:00

https://google.github.io/mediapipe/solutions/pose_classification.html

https://imgur.com/a/Md3nO0Z

laoyur

2022-10-06 14:51:37 +08:00

@eason1874 看了你说的那个宋太祖，确实如你所说

以前我家娃班里也要求打卡这个天天跳绳的，后来老师没有继续监督，大家就都不了了之，都不弄了
但那会儿群里确实有好几个家长说没绳空跳被抓包了😂
难道是老师人肉抓的……我也懒得去再去实测这 app 了

不管怎么说，你的结论是对的，我武断了，抱歉，没有看了视频再说话

wuxiaoqing234

2022-10-06 15:49:47 +08:00

@eason1874 有没有可能，这也是功能之一。就是类似金手指，真把学生卡死了，大家都不下载就麻烦了

supersu

2022-10-06 16:39:31 +08:00 via Android

[劲夫教你完成体育作业-哔哩哔哩] https://b23.tv/kHBDaXY 这个俯卧撑的更搞笑~

imn1

2022-10-07 16:32:02 +08:00

说简单也简单
跳绳是有规律行为，动体移动范围、行为频率、声音等等都是可测的

说难也难
因为人类的行为是无限的

所以
善意跳绳的话，就是目的确实是为了跳绳本身相关，还是可做的
“恶意跳绳”的话，就是要达到容错(非主观的错误动作)、作弊检测(主观的反检测行为)、以及外部干扰因素，呵呵，这个 AI 做出来可以上天了

Finesniffing

2022-11-19 12:03:20 +08:00

谢谢各位大佬的回复，根据大家说的，我找到了思路~！