技术标签: 人体手势或动作识别
首先声明一下,本系统所使用的开发环境版本是计算机系统Windows 10、Visual Studio 2013、Opencv3.0和Kinect SDK v2.0。这些都可以在百度上找到,download下来安装一下即可。
关于kinect的环境配置以及骨骼数据获取等等等问题,参考我之前kinect系列的博客(http://blog.csdn.net/baolinq/article/details/52373574)。
完整工程代码在GitHub(https://github.com/baolinhu/kinect-gesture),想看的可以去看看,顺便点个star~~~
由于CSDN的编辑页面对公式的支持太不友好了,我只能使用截图了~~
二、人体动作识别的核心算法
根据已获取到的数据源即可对人体动作进行准确识别。这里我使用比较简单但通用的方法,因为kinect可以直接获取人体的三维坐标,根据人体三维坐标的相对位置关系即可对人体的动作和形态进行准确判断和识别。
下面给出算法流程图。因为懒的去画图,直接用手在纸上画的,字chou图也chou,将就着看看吧~~~
图5-1 系统的核心算法流程图
由流程图可知,人体动作别系统在工作时,主要通过人体的骨骼数据来判断是何种行为,利用骨骼点之间的距离关系和夹角关系。本系统只考虑单个目标人体的单种简单行为,不考虑多目标多动作的情况。首先,判断重心的位置变化,一般就是上下左右变化,如果重心有左移,且距离超过给定阈值,就认为目标人体有左移行为,同样的,如果重心有右移,且距离超过给定阈值,就认为目标人体有右移行为。如果重心没有移动,那就肯定没有左移和右移行为。对于下蹲的检测,从定义的角度看,就是腿部有弯曲。本系统也是主要检测腿部是否有弯曲到一定程度,判断臀部、膝盖、脚踝三点连线的夹角是否小于160度(经验值),如果小于,那就是有下蹲,因为正常情况下,三点之间夹角近似为180度。或者检测臀部、膝盖、脚踝三点之间的2段距离之和大于臀部到膝盖之间的直接距离的1.15倍,也认为是有下蹲行为。最后是上绷的检测,上蹦从定义看,就是双脚离开地面,人体有向上的一小段运动。本系统是通过检测双脚是否离开地面超过给定阈值,或者人体重心相比正常站立时上升距离超过给定阈值,就认为有上蹦行为。所有的动作识别都是实时的,结果都会实时输出。
部分核心代码:完整代码文末会给出完整下载链接
-
//检测函数:为了检测准确请尽量站在合适位置,让Kinect获取全身骨骼点
-
void CBodyBasics::Detection(Joint joints[])
-
{
-
static
double tin, tout;
-
//double tframe;
-
CMFC_DEMO01Dlg *pDlg0 = CMFC_DEMO01Dlg::s_pDlg;
//实例化一个CMFC_DEMO01Dlg 指针
-
//计算每相邻10帧的高度差,从而计算速度,1,11,12,22
-
//大概30帧每秒,那么10帧就是0.33秒,
-
if (framenumber %
11 ==
1)
//framenumber是帧序列号,自己定义的
-
{
-
tin =
static_cast<
double>(GetTickCount());
-
//cout << "tin是" << tin << endl;
-
spinemid_xin = joints[JointType_SpineMid].Position.X;
-
spinemid_yin = joints[JointType_SpineMid].Position.Y;
-
rightfoot_yin = joints[JointType_KneeRight].Position.Y;
-
leftfoot_yin = joints[JointType_KneeLeft].Position.Y;
-
spinebase_yin = joints[JointType_SpineBase].Position.Y;
-
rightAnkle_yin = joints[JointType_AnkleRight].Position.Y;
-
base_foot_in = spinebase_yin - rightAnkle_yin;
-
//cout << "basefootin为:" << base_foot_in << endl;
-
//cout << "当前SpineHeightin的高度为" << SpineHeightin << " m"<<endl;
-
}
-
if (!(framenumber %
11))
-
{
-
tout =
static_cast<
double>(GetTickCount());
-
//cout << frmamenumber << endl;
-
//cout <<"tout是"<< tout << endl;
-
//cout << "每10帧计算一次下降的速度" << endl;
-
spinemid_xout = joints[JointType_SpineMid].Position.X;
-
spinemid_yout = joints[JointType_SpineMid].Position.Y;
-
rightfoot_yout = joints[JointType_KneeRight].Position.Y;
-
leftfoot_yout = joints[JointType_KneeLeft].Position.Y;
-
rightAnkle_yout = joints[JointType_AnkleRight].Position.Y;
-
spinebase_yout = joints[JointType_SpineBase].Position.Y;
-
base_foot_out = spinebase_yout - rightAnkle_yout;
-
//cout << "当前帧号为:" << base_foot_out << endl;
-
// cout << "***********************************" << endl;
-
// cout << "当前SpineHeightin的高度为" << SpineHeightin << " m" << endl;
-
//tframe = (tout - tin) / getTickFrequency();
-
// cout <<tframe << endl;
-
// cout << getTickFrequency()<<endl;
-
//cout << "当前SpineHeightout的高度为" << SpineHeightout << " m" << endl;
-
//SpineV = (SpineHeightin - SpineHeightout) / tframe;
-
spinemid_x = spinemid_xout - spinemid_xin;
-
spinemid_y = spinemid_yout - spinemid_yin;
-
rightfoot_y = rightfoot_yout - rightfoot_yin;
-
leftfoot_y = leftfoot_yout - leftfoot_yin;
-
base_foot = base_foot_out - base_foot_in;
-
//cout << "Spinemid_x是多少??" << base_foot << endl;
-
//cout << "Spinemid_y是多少??" << spinemid_y << endl;
-
//上蹦检测:双脚离地面超过0.15米,或者人体重心相对正常站立时上升超过0.15米
-
if ((leftfoot_y>
0.15&&rightfoot_y >
0.15) || (spinetemp>
0.01&&spinetemp +
0.15<joints[JointType_SpineMid].Position.Y))
//y轴向上为正
-
{
-
string str1 =
"上蹦\r\n " ;
//这里面是为了把数据输出到mfc显示框,你可以不用管,下同
-
CString cstr = str1.c_str();
//删掉编辑框中的内容,方法一:GetDlgItem(IDC_EDIT1)->SetWindowText("");
-
//方法二:给编辑框定义一个控件变量,m_edit1.SetWindowText("");
-
pDlg0->m_outedit.SetSel(
-1);
-
pDlg0->m_outedit.ReplaceSel(cstr);
-
cout << str1;
//控制台输出显示,下同。为了方便调试,这里同时会显示到控制台
-
}
-
//else if (base_foot < -thresh_y) //下蹲检测:主要检测腿部有弯曲即可,臀部与脚踝之间的距离减少超过0.2米
-
else
if (Distance(joints[JointType_HipLeft], joints[JointType_AnkleLeft])*(
1 +
0.15) < Distance(joints[JointType_HipLeft], joints[JointType_KneeLeft]) + Distance(joints[JointType_KneeLeft], joints[JointType_AnkleLeft]))
-
{
-
flag++;
-
if (flag ==
2)
//下蹲状态需要时间,这里给了一下标志位,类似计时器,连续监测到两次才算下蹲,避免重复出现结果
-
{
-
flag =
0;
-
//下蹲其他检测方法,还可以检测hipleft、knee、ankle三点之间的夹角关系和距离关系,夹角小于160度(可以多试几
-
//个值),说明有下蹲,或者两边之和大于第三边的1.15倍左右,也可以说明有下蹲
-
string str1 =
"下蹲\r\n ";
-
CString cstr = str1.c_str();
-
pDlg0->m_outedit.SetSel(
-1);
-
pDlg0->m_outedit.ReplaceSel(cstr);
-
cout << str1;
-
}
-
}
-
//x轴方向向右为正
-
//重心向右移动超过阈值thresh_x,则判断右移
-
if (spinemid_x > thresh_x)
-
{
-
string str1 =
"右移\r\n ";
-
CString cstr = str1.c_str();
-
pDlg0->m_outedit.SetSel(
-1);
-
pDlg0->m_outedit.ReplaceSel(cstr);
-
cout << str1;
-
}
-
else
if (spinemid_x < -thresh_x)
重心向左移动超过阈值thresh_x,则判断左移
-
{
-
string str1 =
"左移\r\n ";
-
CString cstr = str1.c_str();
-
pDlg0->m_outedit.SetSel(
-1);
-
pDlg0->m_outedit.ReplaceSel(cstr);
-
cout << str1;
-
}
-
}
-
//根据勾股定理,计算HipLeft、AnkleLeft、AnkleLeft之间的距离关系。0.15是一个估计值,可根据实际情况略微调整
-
/* if (Distance(joints[JointType_HipLeft], joints[JointType_AnkleLeft])*(1 + 0.15) < Distance(joints[JointType_HipLeft], joints[JointType_KneeLeft]) + Distance(joints[JointType_KneeLeft], joints[JointType_AnkleLeft]))
-
{
-
flag++;
-
if (flag == 2) //下蹲状态需要时间,这里给了一下标志位,类似计时器,连续监测到两次才算下蹲,避免重复出现结果
-
{
-
flag = 0;
-
cout << "下蹲1111111\n";
-
}
-
}
-
*/
-
-
}
总结:虽然整个对人体动作识别系统很简单,但是还是有一定的引导和启发作用的,对人体动作的准确识别已被广泛地应用在人机交互[1]、智能监控[2]、机器人自主导航[3]、动画游戏和医疗康复等领域中,有很大的意义,有兴趣的同学可以继续做更加深入的研究。
参考文献:
[15] 余涛.Kinect应用开发实战:用最自然的方式与机器人对话.北京:机械工业出版社,2012.1-337.
[16] 樊景超,周国民.基于Kinect骨骼追踪技术的手势识别研究.安徽农业科学,2014,42(11):3444-3446.
[17] 谢亮,廖宏建,杨玉宝.基于Kinect 的姿态识别与应用研究.计算机技术与发展,2005,23(5):258-260.
[18] 战荫伟,于芝枝,蔡俊.基于Kinect 角度测量的姿势识别算法.传感器与微系统,2014,33(7):129-132.
[19] 刘开余, 夏斌. 基于Kinect的实时人体姿势识别[J]. 电子设计工程, 2014(19):31-34.
系列博客网址:
第一篇 基于Kinect v2的跌到检测系统的概述
http://blog.csdn.net/baolinq/article/details/52356863
第二篇 KinectV2结合opencv入门开发以及一些相关的学习资料
http://blog.csdn.net/baolinq/article/details/52356947
第三篇 KinectV2骨骼获取原理和获取方法及源代码
http://blog.csdn.net/baolinq/article/details/52373574
第四章 利用Kinect抠图和自动拍照程序
http://blog.csdn.net/baolinq/article/details/52388095
第五章 跌倒检测算法剖析
http://blog.csdn.net/baolinq/article/details/52400040
第六章 KinectV2结合MFC显示和处理图像数据(上)
http://blog.csdn.net/baolinq/article/details/52401116
第七章 KinectV2结合MFC显示和处理图像数据(下)
http://blog.csdn.net/baolinq/article/details/52422206
第八章 基于Kinectv2跌倒检测系统的总结
http://blog.csdn.net/baolinq/article/details/52440447
http://download.csdn.net/download/baolinq/10003879
下一篇见。
超跑开起来~~
文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的,浏览器出于安全考虑是禁止的。警告信息如下:不过jQuery对跨域问题也有解决方案,使用jsonp的方式解决,方法如下:$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr
文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry,也就是我们所说的 使用空间SQL 的方法,官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下,主要就分为以下几个步骤。..._extproc
文章浏览阅读1.5w次。linux下没有上面的两个函数,需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数,转换过程中受到系统编码类型的影响,需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8
文章浏览阅读750次。今天准备从生产库向测试库进行数据导入,结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误,google一下,发现可能有如下原因导致imp的数据太大,没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件,向高版本imp导出的dmp文件出错传输dmp文件时,文件损坏解决办法:imp时指定..._imp-00009导出文件异常结束
文章浏览阅读143次。当下是一个大数据的时代,各个行业都离不开数据的支持。因此,网络爬虫就应运而生。网络爬虫当下最为火热的是Python,Python开发爬虫相对简单,而且功能库相当完善,力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页,按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息,通过分析请求信息可以了解请..._初级python程序员能力要求
文章浏览阅读7.6k次,点赞2次,收藏6次。@Service标注的bean,类名:ABDemoService查看源码后发现,原来是经过一个特殊处理:当类的名字是以两个或以上的大写字母开头的话,bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname
文章浏览阅读6.9w次,点赞73次,收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立
文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能,如果文件名出现中文,便会以乱码视之。 解决方法: fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码
文章浏览阅读2.1k次,点赞4次,收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别,找出文件中所有的合法的单词,并给出一定的信息作为最后的结果,用于后续语法分析程序的使用;本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序,对于每个单词根据词汇表输出: (单词种类, 单词的值) 二元对。词汇表:种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词
文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限
文章浏览阅读6.8k次,点赞12次,收藏125次。1. 单目相机标定引言相机标定已经研究多年,标定的算法可以分为基于摄影测量的标定和自标定。其中,应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统,在标定过程中,相机拍摄多个角度下(至少两个角度,推荐10~20个角度)的标定板图像(相机和标定板都可以移动),即可对相机的内外参数进行标定。下面介绍张氏标定法(以下也这么称呼)的原理。原理相机模型和单应矩阵相机标定,就是对相机的内外参数进行计算的过程,从而得到物体到图像的投影_相机-投影仪标定
文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述: 翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构;一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件,并通过 evdev 输入_wayland