dying_isaac-CSDN博客

原创（个人）VR太极拳学习系统-创新实训第八、九周

录制用户动作并评分这两周我的主要工作是完成了评分关卡的逻辑，并优化了一下之前实现的DTWRecorderComponent的代码。下面的代码是用户选择招式后的逻辑：其中Anims是一个预先剪辑过的各个招式的标准动画，用户每个招式录制的时间与对应的标准动画时间长度相同，实际上由于用户使用时帧率的不同录制下来的帧数也不可能与标准动画完全相同，虽然计算分数使用的DTW算法就是用于解决...

2018-06-05 10:53:58 297

原创（个人）VR太极拳学习系统-创新实训第七周

语音识别率不够高由于菜单等界面雏形大致出来了，所以我们将各个菜单项与语音识别系统对应起来，测试了一下我们需要的命令的识别情况。在我们的测试过程中，两个字组成的词识别率尚可，但是有的词特别灵敏，而四个字的词识别率就远不如前者了，例如“教学模式”这个短语，我们尝试了多次，最后只成功识别出了一次，即使将tolerance调整至v1也无法明显提升识别率。之前想过通过多个发音匹配同一个命令的方式...

2018-05-21 00:06:40 555

原创（个人）VR太极拳学习系统-创新实训第六周（2）

DTWRecorderComponent实现改进上一篇博客中我使用蓝图实现了DTWRecorderComponent用来记录每一帧的骨骼位置，但是有一个很难受的问题就是需要做大量的重复工作，上一篇博客中我还只记录了13根骨骼，而实际上要记录的还不止这么多，没多一个骨骼，就要写许多重复的代码，效率十分低下，蓝图也变得十分庞大杂乱。经过其他组员的提醒，我学到了一个比较trick的方法，就是先建...

2018-05-14 00:17:23 310 3

原创（个人）VR太极拳学习系统-创新实训第六周（1）

DTW算法封装动态时间规整算法是我们为了检测两段骨骼动画是否相似而使用的算法，为了实现给用户的动作评分的功能，我将它封装到了一个actor中。将普通c++代码改写成Unreal C++还是比较容易的，我这里基本上只需要添加一下UFUNCTION宏然后把数组改成UE4提供的容器即可，改写之后的结果如下：编译之后就可以在蓝图中使用JudgeActor提供的功能了。记录每一帧的骨骼位...

2018-05-13 23:42:39 727

原创（个人）VR太极拳学习系统-创新实训第四、五周（1）

近期工作前些日子由于个人的原因（备考GRE）所以在这边的工作上停滞了一段时间，这段时间内我主要是处理了一些与版本控制相关的问题，下面我记录一下较重要的部分：git删除文件之前在提交工作时不小心将一个1.2G的文件提交到了本地仓库，在推送时github拒绝了提交，提示不能够上传大于1G的文件。这样就比较麻烦了，因为该文件已经被git追踪了，所以即使删除掉它，git中还是会存留记录，所...

2018-05-07 13:39:33 217

原创（个人）VR太极拳学习系统-创新实训第三周（2）

蓝图激活按钮点击事件问题实现语音命令识别之后，就需要让应用对命令做出响应，这很简单，只需要使用switch on string节点就可以对不同的命令执行不同的分支了，然而当我试图用关卡蓝图与ui界面交互时，却发现没有办法使用蓝图触发按钮的点击事件。我目前没有找到直接的方法，因此只能够在用户界面蓝图中将每个按钮的功能都单独封装为了函数，然后点击事件也直接去调用这些函数。这样还有一个问题就是必...

2018-04-22 21:50:56 201

原创（个人）VR太极拳学习系统-创新实训第三周（1）

上次遗留的问题上次编译错误信息显示找不到Sphinx-UE4的头文件，原因是没有在模块下的.Build.cs文件中添加依赖。 .Build.cs文件是ue4中一个模块的编译配置文件，类似于make使用的makefile，只不过epic选择使用c#自己实现一个工具，也就是Unreal Build Tool。要解决上回的问题，需要在需要使用道Sphinx-UE4文件的模块中添加依赖，具体做法...

2018-04-20 23:42:52 301

原创（个人）VR太极拳学习系统-创新实训第二周（2）

语音控制集成至关卡蓝图上次直接在actor蓝图中使用了sphinx-ue4插件，目的只是为了测试该插件的可用性，在确认完确实可用之后，需要根据我们项目的情况来决定如何使用它。由于我们在不同的关卡中可能需要不同的语音命令，所以我暂且打算将其封装至关卡蓝图类中，其他关卡蓝图继承该类即可使用它提供的语音控制，并且可以实现功能定制。当我试图在ue4中创建一个关卡蓝图时，发现蓝图类并不能继承自关...

2018-04-15 23:38:54 245

原创（个人）VR太极拳学习系统-创新实训第二周（1）

语音控制系统实现方案改变上次说到了ue4中实现语音控制系统需要先获取语音输入，然后再进行处理，而获取麦克风输入有三种途径。这一周我先尝试了使用网络子系统下的语音模块，但是照着youyube上一个视频来做却并没有成功，因为视频中展示的代码并不完整。经过与其他成员的讨论，我发现我的思考方式有些问题，我将该系统的实现步骤分为三部，是以自己从头开发为前提来考虑的，没有想到还有利用现有插件的方式。所...

2018-04-14 02:15:30 435 1

原创（个人）VR太极拳学习系统-创新实训第一周（1）

项目简述我们预计开发一个基于虚幻4引擎的帮助用户学习太极拳的实时系统，该系统会使用到当前比较热门的人机交互技术来实现功能，例如虚拟现实、动作捕捉、语音控制等。我们预计当该系统开发完毕后，它应该能够为用户的学习情况评分，直观地显示用户的错误，并能够让用户对自己掌握不足地部分有针对性地进行强化训练。个人分工我在此次项目中主要负责的部分是用户与系统的交互与管理git仓库。具体情况...

2018-04-07 18:09:35 456

没有内容的博客