- 博客(56)
- 资源 (12)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 【Tools-Mujoco】创建自定义的Mujoco模型
Mujoco是一个很好的仿真工具。你可能对它很熟悉，因为它强化学习领域受到众多学者的青睐，在OpenAI Gym中也有Mujoco的使用。 Mujoco提供了超快的动力学模拟，重点是接触动力学。它对于模拟机器人手臂和抓取任务特别有效，在模型预测控制和机器人模仿学习研究的文章中也颇具价值。获取更多内容，请访问博主的个人博客 爱吃猫的小鱼干的Blog前言Mujoco官网有一个常用的模型库，可以满足基本需求。但我们也可以针对特定的需求建立自己的模型，这在Mujoco中是比较容易的。定义一个模型有两个部分
2021-04-07 20:57:14
2264
原创 【Hexo博客】从搭建到部署，快速构建私人博客
有时候我们希望有一个受控的博客，来记录或分享一些东西。这个博客的主题内容由你自己来决定，可以是技术分享(编程、汉化分享等)，也可以是生活感想。本文将介绍一个可以迅速搭建并部署的受控博客。获取更多内容，请访问博主的个人博客 爱吃猫的小鱼干的Blog为什么搭建博客在线类博客有很多选择，为什么我们需要从零搭建新的博客呢？自己搭建的博客有什么好处吗？首先，前文所提的 “博客受控”，指的就是能够自己控制的博客的样式、内容等，自己想怎么改就怎么改。内容受控是指我们知道在线类的博客是受平台限制的，这意味着
2021-04-07 20:38:58
358
原创 【RL】价值的定义
本章中，我们要介绍最优控制问题，即在假定环境完全已知的情况下解MDP。这个过程中，我们不需要产生数据，只需要对给定的PPP与RRR通过“解方程”的方式解出最佳控制。要注意的是，由于MDP是非退化的、需要持续多步。所以，即使我们完全已知环境，求出最优策略也不是一件容易的事情，而这也正是最优控制中我们要研究的内容。研究环境已知的MDP对于我们有什么帮助呢？我们说过，强化学习算法中，我们需要与环境交互、产生服从环境分布的数据，并利用这些数据算出最优策略。但是，现在假定我们非但有“服从环境分布的数据”，而是直接就
2020-11-04 17:39:33
362
原创 使用OpenPose进行姿态估计
文章内容逐步补充中…一 通过Demo快速开始1.1 Video# Ubuntu./build/examples/openpose/openpose.bin --video examples/media/video.avi# 多 GPUs，如采用两块 GPUs，GPUs 1 和 2，跳过 GPUs 0../build/examples/openpose/openpose.bin --video examples/media/video.avi --num_gpu 2 --num_gpu_start
2020-11-03 17:06:41
1322
原创 光流文件(.flo)转图像
一 光流文件转图像的方法光流的文件一般是以.flo格式文件保存的，需要转换成.png等图片格式直观显示。简单得记录操作步骤。测试环境：ubuntu16.04系统，windows系统应该类似，无非就是编译方式不同而已，具体步骤如下：前往http://vision.middlebury.edu/flow/submit/下载imageLib工具包，选择高亮的 flow-code.zip文件。解压flow-code.zip，在flow-code文件夹下执行以下命令：cd imageLibmakecd
2020-11-01 20:33:18
1563
8
原创 【Linux】Ubuntu16.04非root装python
一 源码安装Python3"1.下载解压源码包""cd /home/<用户名>/<文件位置>"cd /home/sw/software/python_userwget https://www.python.org/ftp/python/3.6.12/Python-3.6.12.tgztar -xzf Python-3.6.12.tgz"2. 创建安装路径，完成配置，编译安装"cd Python-3.6.12mkdir -p /home/sw/.python3.6.1
2020-11-01 11:22:18
378
原创 【Linux】Ubun16.04服务器配置Mujoco的各种错误解决方案
一把辛酸泪，不论在哪配置强化学习环境，Mujoco永远是错误套错误套错误…接下来，Mujoco下载和获取密匙、mujoco环境变量等过程跳过，这些几乎不会遇到问题。从安装编译mujoco_py开始看看Mujoco无底洞一样的坑。一 必不可缺的库先来看看官方示例，如果你运行下面命令并成功安装，那可真是天选之子。sudo apt install libosmesa6-dev libgl1-mesa-glx libglfw3博主数台机器没有一次是直接成功，报错一般是libosmesa6 (= 11.2
2020-10-31 20:02:59
2090
2
原创 【Linux】常用指令
CUDA与CUDNN"查看 CUDA 版本"cat /usr/local/cuda/version.txt"查看 CUDNN 版本"cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
2020-10-28 12:17:47
165
原创 【Mac】Tmux技巧
一 为什么选择tmuxtmux 是一款终端复用命令行工具，一般用于 Terminal 的窗口管理。在 macOS 下，使用 iTerm2 能应付绝大多数窗口管理的需求。如图所示，iTerm2 能新建多个标签页（快捷键 ⌘T），也能在同一个窗口中分割出多个窗格（快捷键 ⌘D 或 ⌘⇧D）。tmux 相比 iTerm2 的优势在于：iTerm2 的窗格切换快捷键（⌘⌥→）容易与其他软件全局快捷键冲突（例如 Spectacle 的窗口分割快捷键），tmux 由于存在前缀快捷键，所以不存在快捷键冲突问题
2020-10-24 21:45:15
1417
原创 【Linux】非root安装GCC9.1.0
问题一般Linux系统自带或公共的GCC版本都很低，如目前我们的服务器版本的GCC还停留在gcc-4.9.3，而官网已到达9.2版本（下载http://ftp.gnu.org/gnu/gcc/），有些项目编译时需要更高版本的GCC，这时就需要自己额外安装一个了。非 root用户安装各种软件的操作都会比较繁琐，尤其是依赖很多的时候，这里总结一下gcc的非root安装过程，亲测有效。安装GCC主要依赖三个库：GMP, MPFR 和MPC，另还有个ISL库（不知是否是必需）。之前的旧版本可能需要手动依次安装
2020-10-19 10:36:04
688
原创 【RL】策略梯度（VPG）与Actor-critic的思想与推导
文章目录一 RL学习什么二 Vanilla Policy Gradient（VPG）2.1 策略网络的构造2.2 推导最基本的策略梯度2.3 VPG算法三 Actor-Critic3.1 AC的出发点3.2 对策略梯度的优化3.2.1 不要受过去的影响（Don’t Let the Past Distract You）3.2.2 Q^(st,at)\hat{Q}(s_t,a_t)Q^(st,at) 的Baseline3.3.3 Value net怎么更新3.3 Actor-Critic算法一 RL学习
2020-10-16 00:26:59
1189
原创 【RL】算法简介与实现
DQNDQN是在Q-Learning的主框架上做了扩展，包括：记忆库（用于重复学习）神经网络计算Q值暂时冻结Q_target参数（切断相关性）
2020-10-12 23:11:31
7890
原创 【RL】Vanilla Policy Gradient（VPG）
policy gradient的基本思想，是把总的奖励表示为策略的函数，然后对这个函数做优化。在这一章中，我们将详细地讲解这个函数具体的形式是怎么样的、如何求出策略梯度，理解policy gradient这个算法的基本框架。关于MDP中动作与状态是否是连续变量，一共有四种不同的组合。其中，状态是有限分类变量的情况是不适合采用神经网络的，所以在这里不予讨论。在本章中，主要要考虑的情况是状态sss为连续高维变量、动作aaa为分类变量（有限个）的MDP。并且，设环境Ps,s′aP_{s, s^{\prime}}
2020-10-12 23:05:03
829
原创 【RL】Actor-Critic训练技巧
一 广义优势函数估计（GAE）在VPG中，我们用的r(τ)r(\tau)r(τ)的均值来指引策略的更新，这是个环境给出的“客观”的值；而在AC算法中，我们企图用A_{w}(s, a)来指引梯度更新，但根据算法的设计，这个所谓的A_{w}(s, a)完全是用我们的神经网络算出来的，是“主观的”而不是“客观的”。如果我们算出的A_{w}(s, a)与真实值相差较远，那么对于训练策略网络就完全不能使得策略朝着更好的方向改变，我们的算法自然也无法取得好的结果。VPG的缺点在于，虽然r(τ)r(\tau)r(τ)是
2020-10-12 23:03:25
982
原创 【RL】Actor-Critic
强化学习的算法分为基于价值与基于策略两大类，这两大类在思想上是完全不同的。基于价值的算法目标是拟合隐藏在环境中的价值函数，而基于策略的算法则是不断地优化策略。所有强化学习的算法，基本的思想都不外乎于这两种。从这个角度上说，Actor-Critic算法本质上还是基于策略的方法，因为其算法的核心还是在不断地优化策略。虽然我们要训练价值网络，但是其目标也只是“辅佐”策略网络更好地训练。当我们学习VPG算法的时候，其理论与训练方式都与DQN完全不同，因为这本质上是两种不同的算法；而在下面的Actor-Critic算
2020-10-12 22:40:16
480
原创 【RL】策略梯度的训练技巧
一 r(τ)r(\tau)r(τ)的baseline毫无疑问， r(τ)r(\tau)r(τ)代表着轨道τ\tauτ的好坏。按照我们推导出来的policy gradient的式子，r(τ)r(\tau)r(τ)大于0的时候，训练会使得这个轨道上涉及的所有πw(ai∣si)\pi_{w}\left(a_{i} \mid s_{i}\right)πw(ai∣si)增加。这说明，如果τ\tauτ是一条比较好的轨道，则我们应该“充分学习成功的经验”，让τ\tauτ涉及到的每一次决策(si,ai)(s_i,
2020-10-12 21:01:53
529
原创 【RL】强化学习的基本思想
在机器学习中，有监督学习和无监督学习的特点是基于已有的数据，去学习数据的分布或蕴含的其他重要信息。强化学习与上述这二者最显著的不同在于，首先它不是基于已有的数据进行学习，而是针对一个环境进行学习；另外，它的目标不是学习数据中蕴含的信息，而是寻找能够在环境中取得更多奖励的方法。通俗地说，监督学习的目标只是“弄清楚环境是什么样的”，而强化学习的目标是“在这个环境中生活得更好”。上述的特点导致了强化学习的思维模式与我们所熟悉的监督学习或非监督学习有非常大的区别。概括地说，强化学习算法主要涉及到两个组成部分：其一
2020-10-11 21:24:30
1318
原创 解决类似 curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused 问题的有效方法
问题描述突然发现安装 homeBrew 时候出现了标题的报错信息。而且平时github中的用户头像和文章中的图片随缘显示，经常不能加载。问题原因从文题中的报错信息可以发现，脚本需要到 raw.githubusercontent.com 上拉取代码。问题的原因是github一些域名的 DNS 解析被污染，导致DNS 解析过程无法通过域名取得正确的IP地址。解决方案打开 https://www.ipaddress.com/ 输入访问不了的域名（其它类似问题输入对应域名）raw.githubuser
2020-09-11 00:08:54
314
原创 【Mac】超详细的个性化终端(Terminal)颜色及vim颜色配置
一 默认设置的缺陷Mac终端默认风格为Basic，白底黑字（黑暗模式下黑底白字）。导致输入很多命令后，想要寻找之前的命令提示行瞅瞎眼。这里记录了终端个性化配色的设置过程，从偏好设置开始，到自定义命令提示行颜色和自定义vim编辑器配色。二 终端偏好设置打开终端，快捷键command + , 打开，或者菜单 “终端” – >“偏好设置” -> “描述文件”，打开如下设置窗口：选...
2020-03-13 12:55:29
14951
3
原创 【Mac Pycharm】无法使用opencv,qt.qpa.plugin: Could not find the Qt platform plugin “cocoa“ in “
qt.qpa.plugin: Could not find the Qt platform plugin “cocoa” in “” This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this probl...
2020-03-05 23:27:38
1768
原创 MAC抹盘重装详细教程
一年不抹盘就手痒痒系列>_<在这里记录自己抹盘重装macOS Mojave的历程，引导器（USB启动磁盘）制作是一个大坑，目前的官方教程丢了一个小细节。一 制作可引导的macOS安装器1.1 下载macOS各个 macOS 版本的下载链接移步官网，这里以我安装的Mojave为例，Mojave：macOS High Sierra 以上的系统会以 App 的形式直接下载到“...
2020-03-05 22:08:08
4689
原创 【EndNote9】引文导入后有%J问题（或其它类似问题）解决方法
一 问题如下例如引用如下文献时，EndNote无法正确识别期刊格式而导致将 %J和期刊 一并识别成文章标题。[1] 张慧, 王坤峰, 王飞跃, 深度学习在目标视觉检测中的应用进展与展望 %J 自动化学报, 2017. 43(08): p. 1289-1305.二 解决方法Windows下和Ma下应该是类似的。编辑->导入过滤器->打开过滤器管理找到EndNote Imp...
2020-03-02 17:57:18
19600
9
原创 【Mac】Python包下载慢，更改下载源
1 更改pip下载源打开mac终端，按顺序执行以下命令：cd ~mkdir .pipcd .pipvim pip.conf接着进入vim编辑，写入[global]index-url=http://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mirrors.aliyun.com保存并退出vim，:qw!(输入:...
2020-03-02 00:54:45
1136
原创 【MAC】包管理及多版本Python环境配置
一 wget安装使用wget命令时报错-bash: wget: command not found，说明wget没有安装。这时候只要安装wget就好了，这里推荐使用brew安装，毕竟brew时Mac必备的包管理工具，没安装brew的朋友的看“二”。brew安装wget只要简单的一个命令即可：brew install wget二 包管理工具Homebrew这里主要记录Homebrew的...
2020-03-01 10:19:56
423
原创 Python进阶——GUI编程tkinter基础，并实现一个目录树遍历工具
本文将对图形用户界面（Graphical User Interface，GUI）编程进行简要的介绍。我们将主要使用的GUI 工具包是Python 默认的GUI 库Tk，通过Python 的接口tkinter（“Tk interface”的缩写）可以访问Tk。Tk 并不是最新和最好的，也没有包含最强大的GUI 构建模块集，但是它足够易用，你可以使用它构建能够运行在大多数平台下的GUI。一 引...
2020-02-24 10:52:15
1241
原创 C#学习笔记【十四】—— 文件操作
14.1文件读写方式下面的类用于浏览文件系统和执行操作，比如移动，复制和删除文件System.MarshalByRefObject这个是.NET类中用于远程操作的基对象类，它允许在应用程序域之间编组数据。类作用FileSystemInfo这是表示任何文件系统对象的基类FileInfo和File这些类表示文件系统上的文件DirectoryInfo和Direct...
2020-02-23 19:04:31
764
原创 C#学习笔记【十三】—— 网络
13.1 socket（套接字）编程13.1.1 Tcp基于Tcp协议的Socket通讯类似于B/S架构，面向连接，但不同的是服务器端可以向客户端主动推送消息。 使用Tcp协议通讯需要具备以下几个条件： (1).建立一个套接字(Socket) (2).绑定服务器端IP地址及端口号–服务器端 (3).利用Listen()方法开启监听–服务器端 (4).利用Accept()方...
2020-02-23 18:29:51
530
原创 C#学习笔记【十二】—— 线程、任务和同步
线程：对于所有需要等待的操作，例如移动文件，数据库和网络访问都需要一定的时间，此时就可以启动一个新的线程，同时完成其他任务。一个进程的多个线程可以同时运行在不同的CPU上或多核CPU的不同内核上。线程是程序中独立的指令流。在VS编辑器中输入代码的时候，系统会分析代码，用下划线标注遗漏的分号和其他语法错误，这就是用一个后台线程完成。Word文档需要一个线程等待用户输入，另一个线程进行后台搜索，第...
2020-02-23 18:17:59
280
原创 C#学习笔记【十一】——反射和特性
11.1 反射程序是用来处理数据的，文本和特性都是数据，而我们程序本身（类的定义和BLC中的类）这些也是数据。有关程序及其类型的数据被称为元数据(metadata)，它们保存在程序的程序集中。程序在运行时，可以查看其它程序集或其本身的元数据。一个运行的程序查看本身的元数据或者其他程序集的元数据的行为叫做反射。下面介绍如何使用Type类来反射数据，以及如何使用特性来给类型添加元数据。Type位于...
2020-02-23 18:07:22
527
原创 C#学习笔记【十】——LINQ
namespace c_sharp_practice05{ class Program { static void Main(string[] args) { //初始化武林高手 var masterList = new List<MartialArtsMaster>() ...
2020-02-23 17:45:23
203
原创 【TensorFlow实战】LSTM原理及实现，进行海表温度及股价预测
本文简单介绍了LSTM网络原理，并展示了LSTM网络的TensorFlow实现，进行了海表温度及股价预测的实验。源代码见https://github.com/Su-Lemon/lstm-master一 引言LSTM 是一种RNN特殊的类型， 可以避免常规RNN的梯度消失问题，用来处理长序列的数据。LSTM 通过刻意的设计来避免长期依赖问题。二 LSTM模型结构2.1 整体结构LSTM...
2020-02-23 17:26:11
2292
原创 SQLAlchemy安装失败解决方法
问题pip install sqlalchemy时出错 Failed building wheel for SQLAlchemy解决方案下载相应的离线安装程序下载SQLAlchemy，地址如下：https://pypi.org/project/SQLAlchemy/1.3.3/#files下载Flask-SQLAlchemy离线安装包，地址如下：https://pypi.org...
2020-02-10 22:50:12
4606
6
原创 MySQLdb.connect连接MySQL报错_mysql_exceptions.OperationalError: (2059, <NULL>)
出现该问题的原因mysql8.0对用户密码的加密方式为caching_sha2_password, MySQLdb版本暂不支持这种新增的加密方式，只需要将用户加密方式改为旧版加密方式即可。解决方法登录MySQLWindows下，启动cmd，执行：mysql -u root -p输入自己的登录密码若mysql命令无效，需要添加环境变量。查看目前的加密方式执行：use m...
2020-02-09 23:00:06
1585
原创 Windows实用技巧记录
强制删除占用的文件(夹)新建文本文件，重命名为任意名字复制下面代码到文档中DEL /F /A /Q \\?\%1RD /S /Q \\?\%1保存，并将文件后缀更改为 .bat将待删除的文件拖至del.bat即可完成删除...
2020-01-07 21:43:33
122
原创 【目标检测】Faster R-CNN TensorFlow源码
Faster R-CNNTensorFlow版的源码传送门：Faster R-CNN网络解读1.文件目录结构2.train.py网络训练训练的主要执行过程和函数调用关系如下图所示，对应源码的部分下文有较详细的注释.3 Train类网络训练的核心是Train类，Train类的__init__函数进行了数据加载的全部操作，Train类的函数tain()实现了网络构...
2019-12-14 12:20:35
993
原创 【图像分割】UNet网络学习笔记
原论文：U-Net: Convolutional Networks for Biomedical Image SegmentationOlaf Ronneberger, Philipp Fischer, and Thomas Brox一、研究背景首先理解什么是图像分割。图像分割是指把图像分成各个具有相应特性的区域并提取出感兴趣的目标的技术和过程。特性可以是灰度、颜色、纹理等；目标可以...
2019-12-12 17:38:23
5255
原创 【目标检测】Faster R-CNN网络学习笔记
原论文：Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun传送门：Faster R-CNN TensorFlow版源码解读一、Faster-RCNN框架1.整体框架...
2019-11-15 20:56:27
474
原创 LeetCode刷题笔记【二】
#046 全排列https://leetcode-cn.com/problems/permutations/题目考察回溯思想class Solution: def permute(self, nums: List[int]) -> List[List[int]]: if len(nums) == 0: return [] ...
2019-11-04 13:28:56
367
原创 Python基础——模块和包详解以及pip操作模块和包的指令
随着项目越来越大，所有代码都放在一个文件中，已经不能满足我们的需求了。这时候就要将代码进行整理了，模块和包的出现就是为了解决这个问题的。模块可以将一些相关联的代码组合在一个py文件中，包可以将一些相关联的模块组合在一个文件夹中。1.模块导入的几种方式import module_name：导入某个模块。以后要使用模块中的函数或者方法或者变量，则需要使用module_name.xxx的形式调用...
2019-10-30 13:07:22
481
mac终端配色和vim配色molokai资源
2020-03-13
Faster RCNN TensorFlow版源码理解
2019-11-15
解决方案visualcppbuildtools_full.rar
2019-11-11
实习无忧网站前端
2019-05-23
精美的暗系C#视频/音乐播放器
2019-03-11
解决最近升级iar出现的问题，J-Link弹出The connected J-Link is defective
2018-10-03
C51自动浇花系统（温湿度检测及显示，自动抽水，各大软件安装教程）
2018-09-08
Storm.dll 系统修复
2017-08-31
MFC没有与参数列表匹配的重载函数ATL::CImage::Load的实例
2017-07-28
MFC中 m_hBitmap!=0问题
2017-07-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人