CN113641856A - 用于输出信息的方法和装置 - Google Patents
用于输出信息的方法和装置 Download PDFInfo
- Publication number
- CN113641856A CN113641856A CN202110924816.3A CN202110924816A CN113641856A CN 113641856 A CN113641856 A CN 113641856A CN 202110924816 A CN202110924816 A CN 202110924816A CN 113641856 A CN113641856 A CN 113641856A
- Authority
- CN
- China
- Prior art keywords
- user
- action
- fitness
- matching degree
- teaching video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036541 health Effects 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 38
- 210000000988 Bone and Bones Anatomy 0.000 claims description 30
- 230000001815 facial Effects 0.000 claims description 23
- 210000002356 Skeleton Anatomy 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000875 corresponding Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 5
- 230000036545 exercise Effects 0.000 abstract description 17
- 238000004891 communication Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 210000001015 Abdomen Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001537 neural Effects 0.000 description 4
- 210000001624 Hip Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical Effects 0.000 description 3
- 210000000577 Adipose Tissue Anatomy 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006011 modification reaction Methods 0.000 description 2
- 230000003068 static Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000001513 Elbow Anatomy 0.000 description 1
- 210000004247 Hand Anatomy 0.000 description 1
- 206010022114 Injury Diseases 0.000 description 1
- 210000001503 Joints Anatomy 0.000 description 1
- 210000003205 Muscles Anatomy 0.000 description 1
- 210000003739 Neck Anatomy 0.000 description 1
- 210000003666 Nerve Fibers, Myelinated Anatomy 0.000 description 1
- 210000003491 Skin Anatomy 0.000 description 1
- 210000000707 Wrist Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001413 cellular Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000002965 rope Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Abstract
本公开的实施例公开了用于输出信息的方法和装置。该方法的具体实施方式包括:播放初始的健身方案的教学视频;获取用户跟随所述教学视频进行健身的健身视频;识别所述健身视频中所述用户的健身动作;确定所述健身动作与所述教学视频中的动作的匹配度;将所述匹配度与预先构建的身体素质知识库结合确定所述用户的身体状况;根据所述身体状况更新适合所述用户的健身方案的教学视频。该实施方式无需专业的私人教练,即可实现全身各个部位的合适锻炼。
Description
技术领域 本公开的实施例涉及计算机技术领域,具体涉及用于输出信息的方法和装置。 背景技术 伴随着生活水平的提高,人们对健康的关注度也越来越高,也就使得人们对健身的需求越来越大了。然而,健身最大的问题在于普通人无法掌握适当的程度,使得人们不是练习的没有什么效果就是过度练习使得自己受伤。同时,由于地理环境以及经济方面的制约,让所有人都去请专业的教练进行健身指导是不现实的。 现有技术的视频教学健身方案需要用户自行反馈。主要依靠各种硬件设备收集生理数据信息,用户的使用成本偏高。而生理数据信息具有瞬时性,只能表示出当前使用者在那个时刻的状态,无法长期适用,也无法实时反映用户的身体素质。 发明内容 本公开的实施例提出了用于输出信息的方法和装置。 第一方面,本公开的实施例提供了一种用于输出信息的方法,包括:播放初始的健身方案的教学视频;获取用户跟随所述教学视频进行健身的健身视频;识别所述健身视频中所述用户的健身动作;确定所述健身动作与所述教学视频中的动作的匹配度;将所述匹配度与预先构建的身体素质知识库结合确定所述用户的身体状况;根据所述身体状况推荐适合所述用户的健身方案的教学视频。 在一些实施例中,所述方法还包括:若健身结束,记录所述用户的身体状况。 在一些实施例中,所述播放初始的健身方案的教学视频,包括:获取用户的人脸图像;根据所述人脸图像确定所述用户的身份;根据所述身份获取所述用户的身体状况;根据所述身体状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述播放初始的健身方案的教学视频,包括:获取用户的全身图像;根据所述全身图像预测所述用户的身高、体重、身材;根据身高、体重、身材确定所述用户的体态健康状况;根据所述体态健康状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述方法还包括:根据所述全身图像识别所述用户的脸色;根据所述脸色确定所述用户的面部健康状况;根据所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述方法还包括:根据所述全身图像识别所述用户的年龄、性别;根据所述年龄、所述性别、所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述匹配度包括角度匹配度、时间匹配度以及计数匹配度;以及所述确定所述健身动作与所述教学视频中的动作的匹配度,包括:提取所述教学视频中目标动作的目标身体部位的第一骨骼点数据;提取所述健身视频中目标动作的目标身体部位的第二骨骼点数据;将所述第一骨骼点数据与所述第二骨骼点数据进行位置对比,得到所述角度匹配度;将所述第一骨骼点数据与所述第二骨骼点数据进行时间对比,得到所述时间匹配度;将所述第一骨骼点数据与所述第二骨骼点数据进行动作数量对比,得到所述计数匹配度。 在一些实施例中,在确定所述健身动作与所述教学视频中的动作的匹配度之前,所述方法还包括:获取所述教学视频中每个动作的第一阈值P和第二阈值Q,其中,所述第一阈值P包括:角度满分阈值、时间满分阈值、计数满分阈值;所述第二阈值Q包括:角度基本阈值、时间基本阈值、计数基本阈值。 在一些实施例中,所述匹配度的计算方法为:按照下式计算角度匹配度、时间匹配度以及计数匹配度,其中,计算角度匹配度时:P为角度满分阈值、Q为角度基本阈值、s为从第二骨骼点数据中提取的动作角度,计算时间匹配度时:P为时间满分阈值、Q为时间基本阈值、s为从第二骨骼点数据中提取的动作持续时间,计算计数匹配度时:P为计数满分阈值、Q为计数基本阈值、s为从第二骨骼点数据中提取的动作计数,
在一些实施例中,所述身体素质的评估指标包括以下至少一项:柔韧性、稳定性、持久能力;根据不同的健身动作预先设定所述评估指标。 在一些实施例中,所述将所述匹配度与预先构建的身体素质知识库结合确定所述用户的身体状况,包括:获得所述用户在健身时每个健身动作的匹配度;根据每个健身动作对应的身体部位及评估指标形成匹配矩阵M,其中,柔韧性通过角度匹配度的平均值衡量,稳定性通过时间匹配度衡量,持久能力通过时间匹配度和/或计数匹配度衡量;对于每个动作,将所述匹配矩阵M乘以该动作的难度矩阵K,得到该动作下的身体素质评分矩阵N;对每个动作的身体素质评分矩阵N进行加权平均,得到所述用户的身体状况。 在一些实施例中,所述的难度矩阵K通过预先训练得到的知识库得到。 第二方面,本公开的实施例提供了一种用于输出信息的装置,包括:播放单元,被配置成播放初始的健身方案的教学视频;获取单元,被配置成获取用户跟随所述教学视频进行健身的健身视频;识别单元,被配置成识别所述健身视频中所述用户的健身动作;匹配单元,被配置成确定所述健身动作与所述教学视频中的动作的匹配度;确定单元,被配置成将所述匹配度与预先构建的身体素质知识库结合确定所述用户的身体状况;推荐单元,被配置成根据所述身体状况更新适合所述用户的健身方案的教学视频。 在一些实施例中,所述装置还包括存储单元,被配置成:若健身结束,记录所述用户的身体状况。 在一些实施例中,所述播放单元进一步被配置成:获取用户的人脸图像;根据所述人脸图像确定所述用户的身份;根据所述身份获取所述用户的身体状况;根据所述身体状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述播放单元进一步被配置成:获取用户的全身图像;根据所述全身图像预测所述用户的身高、体重、身材;根据身高、体重、身材确定所述用户的体态健康状况;根据所述体态健康状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述推荐单元进一步被配置成:根据所述全身图像识别所述用户的脸色;根据所述脸色确定所述用户的面部健康状况;根据所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述推荐单元进一步被配置成:根据所述全身图像识别所述用户的年龄、性别;根据所述年龄、所述性别、所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。 在一些实施例中,所述匹配度包括角度匹配度、时间匹配度以及计数匹配度;以及所述匹配单元进一步被配置成:提取所述教学视频中目标动作的目标身体部位的第一骨骼点数据;提取所述健身视频中目标动作的目标身体部位的第二骨骼点数据;将所述第一骨骼点数据与所述第二骨骼点数据进行位置对比,得到所述角度匹配度;将所述第一骨骼点数据与所述第二骨骼点数据进行时间对比,得到所述时间匹配度;将所述第一骨骼点数据与所述第二骨骼点数据进行动作数量对比,得到所述计数匹配度。 在一些实施例中,所述匹配单元进一步被配置成:在确定所述健身动作与所述教学视频中的动作的匹配度之前,获取所述教学视频中每个动作的第一阈值P和第二阈值Q,其中,所述第一阈值P包括:角度满分阈值、时间满分阈值、计数满分阈值;所述第二阈值Q包括:角度基本阈值、时间基本阈值、计数基本阈值。 在一些实施例中,所述匹配单元进一步被配置成:按照下式计算角度匹配度、时间匹配度以及计数匹配度,其中,计算角度匹配度时:P为角度满分阈值、Q为角度基本阈值、s为从第二骨骼点数据中提取的动作角度,计算时间匹配度时:P为时间满分阈值、Q为时间基本阈值、s为从第二骨骼点数据中提取的动作持续时间,计算计数匹配度时:P为计数满分阈值、Q为计数基本阈值、s为从第二骨骼点数据中提取的动作计数,
在一些实施例中,所述身体素质的评估指标包括以下至少一项:柔韧性、稳定性、持久能力;根据不同的健身动作预先设定所述评估指标。 在一些实施例中,所述将所述匹配度与预先构建的身体素质知识库结合确定所述用户的身体状况,包括:获得所述用户在健身时每个健身动作的匹配度;根据每个健身动作对应的身体部位及评估指标形成匹配矩阵M,其中,柔韧性通过角度匹配度的平均值衡量,稳定性通过时间匹配度衡量,持久能力通过时间匹配度和/或计数匹配度衡量;对于每个动作,将所述匹配矩阵M乘以该动作的难度矩阵K,得到该动作下的身体素质评分矩阵N;对每个动作的身体素质评分矩阵N进行加权平均,得到所述用户的身体状况。 在一些实施例中,所述的难度矩阵K通过预先训练得到的知识库得到。 第三方面,本公开的实施例提供了一种用于输出信息的电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的方法。 第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如第一方面所述的方法。 本公开的实施例提供的用于输出信息的方法和装置,无需私人教练,就能在利用视觉方法快速得到的人体基本条件下,制定了初步健身方案,之后根据健身时的具体状态确定用户身体各个部位的实际状态。利用这些部位的实际状态不断调整健身方案,从而帮助用户选择完全适合自己的健身方案,提高用户体验。 附图说明 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显: 图1是本公开的一个实施例可以应用于其中的示例性系统架构图; 图2是根据本公开的用于输出信息的方法的一个实施例的流程图; 图3a-3f是根据本公开的用于输出信息的方法的身体素质知识库的示意图; 图4是根据本公开的用于输出信息的方法的应用场景的示意图; 图5是根据本公开的用于输出信息的装置的一个实施例的结构示意图; 图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。 具体实施方式 下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。 需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。 图1示出了可以应用本公开的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。 如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。 用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如健身类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。 终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏并且支持视频播放的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。 服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上播放的视频提供支持的后台服务器。后台服务器可以对接收到的健身请求等数据(可包括用户信息、用户图像、视频)进行分析等处理,并将处理结果(例如推荐的健身视频)反馈给终端设备。 需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。 需要说明的是,本公开的实施例所提供的用于输出信息的方法一般由终端设备执行,相应地,用于输出信息的装置一般设置于终端设备中。可选地,用于输出信息的方法还可由服务器执行,相应地,用于输出信息的装置设置于服务器中。 应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。 继续参考图2,示出了根据本公开的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法,包括以下步骤: 步骤201,播放初始的健身方案的教学视频。 在本实施例中,用户可利用执行主体(例如图1所示的终端设备)向服务器发送健身请求。健身请求中可包括用户的身份信息,从而获取所述用户的已注册个人信息和历史锻炼数据。用户可通过输入账号的方式向服务器发送健身请求,服务器通过账号查询注册信息,得到用户身份信息。 此外,还可直接通过终端设备采集人脸图像生成健身请求。服务器进行人脸识别,与用户之前注册过的人脸进行匹配,识别出用户的身份。 服务器可根据用户的身份选择默认的健身方案的教学视频发送给终端设备进行播放。例如,男,20岁,则推荐训练强度较高的增肌健身视频。女50岁,则推荐训练强度较低的减肥健身视频。这些教学视频中分节授课,由教练示范标准的健身动作,用户跟着学。每小节都是有针对性地训练人体的部位。例如,10分钟腿部训练、10分钟腰部训练、10分钟手臂训练。 可选地,终端设备可直接播放本地存储的健身方案的教学视频。 在本实施例的一些可选的实现方式中,播放初始的健身方案的教学视频,包括:获取用户的人脸图像;根据所述人脸图像确定所述用户的身份;根据所述身份获取所述用户的身体状况;根据所述身体状况从候选的教学视频集中选取教学视频进行播放。 将人脸图像发送给服务器,服务器根据人脸识别出用户身份,再获取该用户上一阶段健身时的身体状况。身体状况是通过步骤205得到的。用户完成推荐的课程之后,如果想继续锻炼,则服务器会根据上次课程中得到的用户身份状况数据分析此次他能承受的训练量。例如,上次课程中运动后的心跳已达到140,此时不适合再推荐剧烈动作,而可以推荐放松动作。 在本实施例的一些可选的实现方式中,播放初始的健身方案的教学视频,包括:获取用户的全身图像;根据所述全身图像预测所述用户的身高、体重、身材;根据身高、体重、身材确定所述用户的体态健康状况;根据所述体态健康状况从候选的教学视频集中选取教学视频进行播放。可通过预先训练的神经网络从全身图像中预估出用户的身高、体重、身材。通过这些数据可计算出用户的BMI(身体质量指数)和体脂率。然后根据BMI和体脂率推荐适合的健身方案。还可根据身材确定健身方案,例如苹果型身材推荐手臂训练较多的健身方案,梨型身材推荐腿部训练较多的健身方案。 在本实施例的一些可选的实现方式中,播放初始的健身方案的教学视频,包括:根据所述全身图像识别所述用户的脸色;根据所述脸色确定所述用户的面部健康状况;根据所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。 可从全身图像中检测到人脸,再识别出脸色。如果终端设备或服务器中记录过该用户曾经的脸色则可直接进行对比,检测用户当前的脸色是否正常,例如,如果比往常苍白,表明用户体虚,则不适合推荐剧烈运动。如果终端设备和服务器均未记录过用户的脸色,则可将用户的脸色与同龄、同性别的人的平均肤色进行对比,判断是否异常。可预测训练出分类器,用于识别出用户的面部健康状况。 然后将体态健康状况和面部健康状况结合起来,共同推荐教学视频。 在本实施例的一些可选的实现方式中,该方法还包括:根据所述全身图像识别所述用户的年龄、性别;根据所述年龄、所述性别、所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。可综合考虑多方面因素推荐适合的健身方案,可以有针对性地进行推荐。教学视频可带有一些标签,例如,20-25岁、男性、背部练习、健康状况良好。将用户的各种信息(例如年龄、性别、体态健康状况和面部健康状况)与标签进行匹配,按匹配度排序。优先推荐匹配度最高的健身方案。还可推荐匹配度稍低但在用户身体状况可承受的范围内的教学视频供用户选择。 步骤202,获取用户跟随教学视频进行健身的健身视频。 在本实施例中,终端设备实时采集用户跟随教学视频进行健身的健身视频,可用于本地识别或将视频发送给服务器。 步骤203,识别健身视频中用户的健身动作。 在本实施例中,可由终端设备或服务器通过预先训练的人体关键点识别模型检测出视频中人体的关键点。例如,颈部、肘关节、腕关节等。提取健身视频中目标动作的目标身体部位的第二骨骼点数据。通过第二骨骼点数据确定出用户的动作,包括关键点的位置、角度、持续时间等,例如,头部转向左侧拉平胳膊。 步骤204,确定健身动作与教学视频中的动作的匹配度。 在本实施例中,终端设备或服务器可采用同样的方法从教学视频中提取出人体关键点,确定出示范的动作。在制作教学视频时就可提取出动作信息,存储备用。提取教学视频中目标动作的目标身体部位的第一骨骼点数据。通过第一骨骼点数据确定出示范动作。可将用户的图像和示范动作图像对准后,进行关键点位置匹配。可采用现有技术的图像匹配算法计算动作的匹配度。一个动作可包括多个部位,则可包括多个部位的匹配度。 匹配要求至少设有三种,一是角度要求,即某几个关节达到一定角度;二是时间要求,适用于静态动作;三是计数要求,适用于需要计数的动作。因此匹配度至少包括角度匹配度S1、时间匹配度S2以及计数匹配度S3。有些动作不需要满足三项匹配要求,=例如,跳绳只有计数要求和时间要求,对角度没有要求;也有些动作并不局限于以上三项匹配要求。以下阐述以仅包含上述三项匹配要求为例。 每个动作设置两个达标要求:满分要求P和基本要求Q。 1、角度要求如图3f所示: 满分要求:设置角度满分阈值,例如,手臂与肩膀角度>45度。 基本要求:设置角度基本阈值,例如手臂举过肩膀即可,即角度>0度。 2、时间要求: 满分要求:设置时间满分阈值,例如,坚持时间>15分钟。 基本要求:设置时间基本阈值,例如,坚持时间>5分钟 3、计数要求: 满分要求:设置计数满分阈值,例如,个数>45个 基本要求:设置计数基本阈值,例如,个数>30个 按照下式计算角度匹配度S1、时间匹配度S2以及计数匹配度S3,其中,计算角度匹配度时:P为角度满分阈值、Q为角度基本阈值、s为从第二骨骼点数据中提取的动作角度,计算时间匹配度时:P为时间满分阈值、Q为时间基本阈值、s为从第二骨骼点数据中提取的动作持续时间,计算计数匹配度时:P为计数满分阈值、Q为计数基本阈值、s为从第二骨骼点数据中提取的动作计数,以上s的值为利用骨骼识别等AI技术,得出的锻炼的各个身体部位之间的角度(例如,开合跳中左臂与右臂之间的角度),以及配合AI-coaching技术进行计数/计时得到的值。 每项匹配度S1、S2、S3为0-1之间的数,计算公式如下,其中s为实际的运动的角度、计数、时间,Score即代表匹配度S:
步骤205,将匹配度与预先构建的身体素质知识库结合确定用户的身体状况。 以上每个动作要求计算的身体各部位的匹配度类型,以及每个匹配度的满分要求P和基本要求Q预设在身体素质知识库中,该知识库为预先训练的数据库并根据需要进行更新,如图3a-3e所示,可保存在服务器,也可下载到终端设备中。身体素质知识库中预先设置了以下信息: (1)不同的动作,例如,俯卧撑、开合跳等。 身体素质知识库预先设定明显会涉及到反应身体部位各类身体素质的动作,比如,将拉伸中的大部分动作设为涉及柔韧性的动作,将一些需要静态保持的动作设为涉及稳定性的动作,将一些持续时间较长的动作设为涉及持久能力的动作。一个动作可以只反应某一项身体素质,也有可能反应多项身体素质。 (2)每一个动作锻炼的身体部位。例如,手臂、腿部等。身体部分还可进行细分,例如手臂可细分为大臂、小臂、手部等。 如图3c所示拉伸动作锻炼了颈部、手臂。图3d所示的动作锻炼了腰腹部。图3e所示的动作锻炼了腰腹部。 (3)每一个动作中,身体各部位对应的匹配要求,包括匹配类型以及匹配度阈值。每个动作可以有多个匹配要求,匹配度阈值即上文中的基本要求阈值和满分要求阈值。 满分要求和基本要求可人工设置,也可通过大数据统计设置。例如,通过统计运动健将的开合跳的个数的平均值设置开合跳的计数满分阈值。通过统计在校大学生仰卧起坐的平均成绩设置仰卧起坐的计数基本阈值。 (4)每一个匹配要求对应的一个或多个身体部位要求的身体素质,如柔韧性、稳定性、持久能力等。 根据以上所有的要求,对每一个动作对应的各部位的身体素质设定一个难度系数,所有的难度系数构成了每一个动作的难度矩阵。 例如,难度系数由0-5的整数构成,0表示与该部位/能力不相关,1-5表示难度系数由易到难。以一次要求在30s内做45个开合跳为例,得到难度矩阵K,例如:
根据上述身体素质知识库来确定出用户身体状况的具体过程如下: 步骤2051、在一个特定动作下,根据步骤204中计算得到的身体各部位的匹配度S1、S2、S3,从知识库中得到该特定动作下对应身体各部位的身体素质,得到该特定动作下的匹配矩阵M。 比如柔韧性可通过角度匹配度的平均值衡量,稳定性可通过时间匹配度衡量,持久能力可通过时间匹配度和/或计数匹配度衡量。 以开合跳为例,由于开合跳涉及手臂和腿部,因此可通过分别统计多次开合跳中手臂和腿度的角度匹配度的平均值来衡量手臂的柔韧性和腿部的柔韧性。具体如下: 对于手臂柔韧性每次完成开合跳均会得到一次手臂的角度匹配度,将所有完成动作当中的手臂的角度匹配度相加,除以完成的次数,即可得到手臂部分的平均角度匹配度,即为手臂的柔韧性得分。 同样地,每次完成开合跳均会得到一次腿部的角度匹配度,将所有完成动作当中的腿部的角度匹配度相加,除以完成的次数,即可得到腿部部分的平均角度匹配度,即为腿部的柔韧性得分。 还可通过开合跳评估用户的持久能力。同时对应持久能力中的手臂和腿部部分,可用计数匹配度(在规定时间内完成若干次开合跳)来评估手臂和腿部的持久能力。 在一些动作中,持久能力还可通过时间匹配度来衡量。例如,用俯卧撑的时间匹配度来评估手臂和腿部的持久能力。 还可同时通过时间匹配度和计数匹配度衡量持久能力。例如,可以统计完成预定数量开合跳所用的时间,时间越少则时间匹配度越高,计数越多则计数匹配度越高。可通过时间匹配度和计数匹配度的加权和来评估手臂和腿部的持久能力。 稳定性可通过时间匹配度衡量。例如,图3d所示的动作中,可通过时间匹配度来评估腰腹部的稳定性。 以下为以开合跳这一动作为例得到的匹配矩阵M:
步骤2052、将特定动作下的匹配矩阵M乘以预设的该动作的难度矩阵K,得到该动作下用户的身体素质矩阵N。 如上文所述,每一个动作的难度矩阵K预设在知识库中,以开合跳为例,其难度矩阵K如下:
难度矩阵主要体现了该动作对不同身体部位不同身体素质的要求,如上表中所示,由于该动作的负荷要求对于腿部大于手臂部分,故而在持久能力这一项中,设定手臂的难度系数为2,腿部难度系数为3。 将步骤2051中得到的匹配矩阵M与难度矩阵K相乘,得到的开合跳这一动作下的身体素质矩阵N为:
针对每个动作,重复执行步骤2051和2052,得到每个动作下的身体素质矩阵N。 步骤2053、对所有动作的身体素质矩阵N进行加权平均,即可得到当前用户的身体状况S。 再结合用户的历史数据,进行最新的身体素质状况更新。根据上述步骤得到的身体状况S与历史状况进行比较更新,得到最新的身体状况。 步骤206,根据身体状况更新适合用户的健身方案的教学视频。 在本实施例中,预先根据不同身体状况的组合设计多种健身方案。从中选择与该用户最新的身体状况匹配的健身方案。一个健身方案可能对应多段视频,可任意搭配组合。例如,需要锻炼腰腹部、手臂,则可将与身体状况匹配的强度的锻炼腰腹部的视频和锻炼手臂的视频拼接到一起,发送给终端设备。还可以从终端设备存储的健身方案中查找适合的教学视频进行更新,如果终端设备中没有合适的教学视频,则可向服务器发送身体状况,由服务器查找到适合用户的教学视频再发送给终端设备。 在本实施例的一些可选的实现方式中,根据所述身体状况推荐适合所述用户的健身方案的教学视频,包括:将所述身体状况与初始的健身方案输入预先训练的神经网络,得到人体各部位的匹配度;基于人体各部位的匹配度推荐适合所述用户的健身方案的教学视频。 神经网络用于判断身体状况与当前健身方案的匹配度,如果某部位的匹配度为正,则可提高该部位的动作难度,如果某部位的匹配度为负,则可降低该部位的动作难度。如果某部位的匹配度为0,则保持同样的难度的动作。例如,身体状况中颈部的柔韧性分值为0.9,而当前健身方案对颈部的柔韧性要求过低只有0.5,匹配度为0.9-0.5=0.4,则无法充分展示用户的特长,进一步提高用户的能力。会推荐其它难度更高的动作锻炼柔韧性。而如果用户的颈部的柔韧性分值为0.3,说明用户的柔韧性不好,如果当前健身方案对颈部的柔韧性要求为0.6,对于该用户也是难以达到的,可能会导致用户受伤。此时匹配度为0.3-0.6=-0.3,需要降低动作难度。 继续参见图4,图4是根据本实施例的用于输出信息的方法的应用场景的一个示意图。在图4的应用场景中,实现如下步骤: 1使用摄像头得到用户画像,并利用现有AI技术,辨识用户的基本信息,例如,性别、年龄、脸色、身材、体重、身高等。 2根据用户基本信息给出适合用户的初步(历史)健身方案 3用户开始使用AI-coaching(虚拟的人工智能教练展示的动作视频)进行健身,同时收集用户健身的状况。 4结合知识库与深度学习网络得到用户最新的身体素质状况 5通过身体素质状况得到新的更适合用户的健身方案。 本申请提供了一种智能的协助用户设计调整健身方案的方法,无需专业的私人教练,即可实现全身各个部位的合适锻炼。对于整套方案,只需要摄像头信息,而无需采用其他硬件设施来收集信息,成本较低。基于动作得到的用户的身体素质,得到了一个长期的状况,并可以使之一直改善体验。 进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于输出信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。 如图5所示,本实施例的用于输出信息的装置500包括:播放单元501、获取单元502、识别单元503、匹配单元504、确定单元505和推荐单元506。其中,播放单元501,被配置成播放初始的健身方案的教学视频;获取单元502,被配置成获取用户跟随所述教学视频进行健身的健身视频;识别单元503,被配置成识别所述健身视频中所述用户的健身动作;匹配单元504,被配置成确定所述健身动作与所述教学视频中的动作的匹配度;确定单元505,被配置成将所述匹配度与预先构建的身体素质知识库结合确定所述用户的身体状况;推荐单元506,被配置成根据所述身体状况更新适合所述用户的健身方案的教学视频。 在本实施例中,用于输出信息的装置500的播放单元501、获取单元502、识别单元503、匹配单元504、确定单元505和推荐单元506的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204、步骤205和步骤206。 在本实施例的一些可选的实现方式中,装置500还包括存储单元(附图中未示出),被配置成:若健身结束,记录所述用户的身体状况。 在本实施例的一些可选的实现方式中,播放单元501进一步被配置成:获取用户的人脸图像;根据所述人脸图像确定所述用户的身份;根据所述身份获取所述用户的身体状况;根据所述身体状况从候选的教学视频集中选取教学视频进行播放。 在本实施例的一些可选的实现方式中,播放单元501进一步被配置成:获取用户的全身图像;根据所述全身图像预测所述用户的身高、体重、身材;根据身高、体重、身材确定所述用户的体态健康状况;根据所述体态健康状况从候选的教学视频集中选取教学视频进行播放。 在本实施例的一些可选的实现方式中,推荐单元506进一步被配置成:根据所述全身图像识别所述用户的脸色;根据所述脸色确定所述用户的面部健康状况;根据所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。 在本实施例的一些可选的实现方式中,推荐单元506进一步被配置成:根据所述全身图像识别所述用户的年龄、性别;根据所述年龄、所述性别、所述体态健康状况和所述面部健康状况从候选的教学视频集中选取教学视频进行播放。 在本实施例的一些可选的实现方式中,推荐单元506进一步被配置成:将所述身体状况与初始的健身方案输入预先训练的神经网络,得到人体各部位的匹配度;基于人体各部位的匹配度推荐适合所述用户的健身方案的教学视频。 在本实施例的一些可选的实现方式中,匹配度为角度匹配度、时间匹配度以及计数匹配度的加权和;以及匹配单元504进一步被配置成:提取所述教学视频中目标动作的目标身体部位的第一骨骼点数据;提取所述健身视频中目标动作的目标身体部位的第二骨骼点数据;将所述第一骨骼点数据与所述第二骨骼点数据进行位置对比,得到所述角度匹配度;将所述第一骨骼点数据与所述第二骨骼点数据进行时间对比,得到所述时间匹配度;将所述第一骨骼点数据与所述第二骨骼点数据进行动作数量对比,得到所述计数匹配度。 在本实施例的一些可选的实现方式中,匹配单元504进一步被配置成:在确定所述健身动作与所述教学视频中的动作的匹配度之前,获取所述教学视频中每个动作的第一阈值P和第二阈值Q,其中,所述第一阈值P包括:角度满分阈值、时间满分阈值、计数满分阈值;所述第二阈值Q包括:角度基本阈值、时间基本阈值、计数基本阈值。 在本实施例的一些可选的实现方式中,匹配单元504进一步被配置成:按照下式计算角度匹配度、时间匹配度以及计数匹配度,其中,计算角度匹配度时:P为角度满分阈值、Q为角度基本阈值、s为从第二骨骼点数据中提取的动作角度,计算时间匹配度时:P为时间满分阈值、Q为时间基本阈值、s为从第二骨骼点数据中提取的动作持续时间,计算计数匹配度时:P为计数满分阈值、Q为计数基本阈值、s为从第二骨骼点数据中提取的动作计数,
在本实施例的一些可选的实现方式中,身体素质的评估指标包括以下至少一项:柔韧性、稳定性、持久能力;根据不同的健身动作预先设定所述评估指标。 在本实施例的一些可选的实现方式中,确定单元505进一步被配置成:获得所述用户在健身时每个健身动作的匹配度;根据每个健身动作对应的身体部位及评估指标形成匹配矩阵M,其中,柔韧性通过角度匹配度的平均值衡量,稳定性通过时间匹配度衡量,持久能力通过时间匹配度和/或计数匹配度衡量;对于每个动作,将所述匹配矩阵M乘以该动作的难度矩阵K,得到该动作下的身体素质评分矩阵N;对每个动作的身体素质评分矩阵N进行加权平均,得到所述用户的身体状况。 在一些实施例中,所述的难度矩阵K通过预先训练得到的知识库得到。 根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质。 一种用于输出信息的电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现流程200所述的方法。 一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现流程200所述的方法。 图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。 如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。 设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。 计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如用于输出信息的方法。例如,在一些实施例中,用于输出信息的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的用于输出信息的方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行用于输出信息的方法。 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。 在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。 为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。 应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。 上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
部位/能力
柔韧性
稳定性
持久能力
……
颈部
0
0
0
0
手臂
2
1
2
0
腿部
1
0
3
0
……
0
0
0
0