- 博客(37)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 七 集成学习与计划
强化学习可以解决通过表格或者近似函数来直接学习价值函数或者策略函数，在这个方法当中，个体不会试图去理解环境。如果能够建立一个与真实环境相似的模拟环境，那么个体就能在模拟环境中进行学习，这个过程也可以称为是思考，个体可以通过思考来来决定在真实环境中采取的行动，使得能够取得最有的结果。1.环境的模型和个体的思考在之前的学习中，我们知道个体在当前状态下采用某一个行为得到奖励并进入下一个状态，如此...
2019-11-30 15:31:30
258
原创 六 基于策略梯度的强化学习
目录1.策略函数的引入2.常见的策略目标函数以及梯度上升2.1 Softmax策略2.2 高斯（Gaussian）策略3.Actor-Critic算法1.策略函数的引入我们在之前已经学习过基于价值学习的强化学习方法，这种方法的应用场景也是非常多，但是这些方法存在一定的缺陷，在连续问题当中，基于价值学习的方法并不能很好地解决连续行为空间的问题。此外，在描述状态空间中的某一...
2019-11-29 12:41:33
876
原创 五 值函数逼近方法求解强化学习中的问题
目录1.值函数的引入以及目标函数的构建2.常用的近似价值函数2.1 线性函数2.2 神经网络2.3 卷积神经网络1.值函数的引入以及目标函数的构建迄今为止，我们已经学习了表格型强化学习方法，但是我们知道表格型方法的适应性并不好，如果遇到了一个连续型的问题，那么表格型方法无法给出全部状态的表格，就算给出了表格形式，但是因为表格过于庞大，也不具有实际操作的意义。...
2019-11-27 19:03:42
563
原创 四 不基于模型的控制(Sarsa，Q-learning）
我们之前已经学习了不基于模型的预测方法（eg. MC,TD)，本次我们主要说明个体在不基于模型的条件下通过自身的学习，优化价值函数调整行为策略，从而获得最高奖励的过程，这个过程又叫不基于模型的控制。我们将指导个体与环境进行交互的策略称为行为策略，而将评估状态和行为的策略成为目标策略，在学习的过程中，如果行为策略与目标策略为同一个策略时，我们把这个过程叫做现时策略学习（On-policy Lea...
2019-11-19 21:01:33
476
原创 三 蒙特卡罗方法（MC）和时序差分方法（TD）
之前我们已经说过基于动态规划的方法来解决强化学习的问题，但是这是对于有一定的模型（知道在某一个状态下采取某一个动作的概率）才能应用的场景，在实际的情况中，想要了解到所有状态下可以采取行动的概率以及采取行动后到达某一状态的概率是困难的。由此，我们引入了不基于模型的预测方法，也即蒙特卡罗方法（MC），蒙特卡罗方法的特征是采样，那么什么是样本（sample）？我们定义智能体从某一个状态开始，到某一个...
2019-11-16 16:12:26
1714
原创 二 利用动态规划的思想来解决马尔可夫决策问题
动态规划（Dynamic Programming)是非常经典的求解最优解的算法思想，它要求问题满足最优子特性才可以使用。我们对马尔可夫问题的定义是一个五元组，在我们之前所讲的马尔可夫决策问题当中，是存在最优解的，我们要做的便是找到最优解。那么，如何使用动态规划的方法来解决马尔可夫决策问题呢?假设上图每个节点上都有一个值，现在要求从顶点经过一条路径到达最底层的某一个节点，使得路径上值之和最大...
2019-11-14 16:13:31
688
原创 一 马尔可夫决策问题
1.在解释马尔可夫决策问题之前，我们首先应该知道马尔可夫过程（Markov Process），简单理解就是未来的行为只取决于现在的状态，而与之前的状态无关。设是t时刻的状态，那么当满足条件：时，我们说状态具有马尔可夫性质。我们讨论一个简单问题时，状态的数目是有限的，不妨设为n个。从而给出状态转移矩阵的定义：,这个矩阵中的元素aij的值代表从从状态i到状态j的概率。2.基于马尔可夫过...
2019-11-12 17:16:31
1428
原创 在CentOS6.5调出X Windows图形界面
1.安装Xmanager软件2.在命令行中安装vncserver3.设置DISPLAY变量，EXPORT DISPLAY=0.04.执行xclock测试是否成功
2019-08-23 09:20:23
586
原创 Xshell工具连接不上虚拟机CentOS6.5服务器
出现连接失败的可能性有很多种，按照常规的排查思路如下：①首先判断服务器的防火墙是否关闭service iptables status如果是开启状态则关闭，service iptables stop②检查22端口是否打开，netstat -tnl③查看虚拟网卡的ip是否和我们在虚拟机上设置的ip在同一个网段，如果不在则要设置网卡的ip...
2019-08-16 15:22:13
1617
原创 CentOS备份数据库并远程传送到远程服务器上
#!/bin/shexport ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1export ORACLE_SID=orclexport ORACLE_TERM=xterm export PATH=$ORACLE_HOME/bin:$HOME/bin:$PATHexp...
2019-05-14 16:20:07
540
原创 JavaWeb项目布置到阿里云平台上
一、材料准备①从Myeclipse中导出的项目war包②一个阿里云服务器，我买的是轻量级应用服务器（学生云翼计划9.5包月，系统镜像CentOS7.3 64bit），一起的还有一个ECS，感觉两者好像很相似，③JDK linux的压缩包，Tomcat压缩包④Xshell、Xftp软件二、实现过程①服务器买好之后，去服务器管理页面将密码更改。然后使用Xshell软件远程...
2019-05-06 11:40:58
390
转载 使用crontab实现oracle数据备份
1.创建备份文件夹mkdir -p /backup/oracledatachmodchown -R oracle:oinstall /backup/oracledata -R#设置权限2.新建备份的脚本vim /backup/oracledata/ordatabak.sh输入代码：#!/bin/shexport ORACLE_BASE=/opt/oracle/app...
2019-04-24 17:29:52
461
转载 Mapped Statements collection does not contain value for com.itheima.po.CustomerMapper.findCustomerBy
问题描述：Mapped Statements collection does not contain value for com.itheima.po.CustomerMapper.findCustomerById这种情况有四种可能性;1、mapper.xml中没有加入namespace2、mapper.xml中的方法和接口mapper的方法不对应3、mapper.xml没有加...
2019-04-04 11:24:46
2553
原创 java.lang.UnsupportedClassVersionError: org/apache/commons/dbcp2/BasicDataSource
问题描述：java.lang.UnsupportedClassVersionError: org/apache/commons/dbcp2/BasicDataSource : Unsupported major.minor version 51.0原因：jdk版本太低，不支持当前的这个class方法：更换到jdk1.8...
2019-04-04 11:21:45
1670
原创 LeetCode 16题. 3Sum Closest
Given an arraynumsofnintegers and an integertarget, find three integers innumssuch that the sum is closest totarget. Return the sum of the three integers. You may assume that each input would ...
2019-03-14 22:29:21
203
原创 LeetCode 第三题 Longest Substring Without Repeating Characters
Given a string, find the length of thelongest substringwithout repeating characters找到最长非重复子序列。思路：采用动态规划法，字符串中每一个元素的对应的最长子串是变化的，后一个元素的子串长度，可以基于前一个元素进行计算。定义一个L[100000]，记录各个元素的最长子串的长度，L[i]有两种情况，①...
2019-03-13 22:08:59
151
原创 oracle数据泵数据备份与恢复
第一部分：导出工作第一步：登录数据库服务 sqlplus username/password@实例名称第二步：选择一个目录或者创建一个目录,命令是create or replace directory ××× as '新建的真实目录名称（只需写到你想创建的这个目录的上级目录即可）';a.选择一个目录：select * from dba_directories;OWNER ...
2019-03-06 17:18:01
2650
原创 RAC TNS-12533：非法参数
问题描述：今天在Linux上安装Oracle，安装完成以后，数据库可以通过sqlplus启动实例，当我启动监听器时，报出这个错误，在网上找了很多的博文，大部分是说tnsnames.ora这个文件中有格式问题，说句实话。。这个文件里面的格式真是太迷了。改了好久都没有搞定。解决方案：从其他的能够正常启动的Oracle上拷贝这两个文件到这里，我是从我以前在windows系统上的Oracle根...
2019-03-05 15:22:19
1131
原创 LeetCode第2题C语言题解
Description：You are given two non-empty linked lists representing two non-negative integers. The digits are stored in reverse order and each of their nodes contain a single digit. Add the two number...
2019-01-23 16:23:51
611
原创 LeetCode第4题C语言题解
description：There are two sorted arrays nums1 and nums2 of size m and n respectively.Find the median of the two sorted arrays. The overall run time complexity should be O(log (m+n)).You may assu...
2019-01-23 15:05:45
978
原创 求二叉链表存储的Huffman树的WPL
树结点定义（这课树的数据域是字符类型，如果需要可以把类型更改为对应的Elemtype）：typedef struct BiTNode{ char data; struct BiTNode *lchild,*rchild;}BiTNode,*BiTree;创建一个树：BiTree Create(BiTree &T){ //创建一棵二叉树 char ch; sca...
2018-11-22 23:36:13
754
原创 图的遍历（邻接矩阵和邻接表）
图的存储常见的两种方式： 邻接矩阵、邻接表邻接矩阵的定义：//邻接矩阵 typedef struct { char vertex[MAXVEX];//顶点表 int arc[MAXVEX][MAXVEX];//邻接矩阵 int numVertexes, numEdges;//图中当前顶点数和边数}MGraph;基于邻接矩阵创建一个图：//建立无向网的邻接矩阵voi...
2018-11-21 23:37:31
2658
1
原创 java.lang.NoSuchMethodException: org.hr.action.UserAction.×××
这个错误是指Struts找到Action中的某一个方法，可能的原因有1.你确实没有写这个方法。2。虽然你写了，但是你的大小写不正确。3.参数问题，在ACtion的方法好像都是不带参数的，带个参数就会提示找到这个方法...
2018-05-21 16:46:31
617
原创 The given object has a null identifier解决之法
SSH框架中如果遇到这个问题，多半是因为在操作数据库时，JSP页面没有提交数据库主键信息。解决方法就是在JSP页面当中<hidden>标签中再加上你的数据库主键即可...
2018-05-21 16:44:02
363
原创 SSH框架，Invalid action class configuration that references an unknown class named userAction.
java.lang.RuntimeException: Invalid action class configuration that references an unknown class named [userAction] org.apache.struts2.convention.ConventionsServiceImpl.determineResultPath(Conventions...
2018-05-20 13:55:48
704
原创 antlr.collections.AST.getLine()I
出现这个问题就是代表项目中有了两个antlr包，只要删除较低的包即可。具体步骤：1：remove掉已经添加的struts2的core包，然后把antlr-2.7.6放进来。2：删除掉tomcat目录中的antlr-2.7.2.3.重启项目即可...
2018-05-20 13:02:16
381
原创 错误提示：cvc-elt.1: Cannot find the declaration of element beans.
如果你遇到了这个错误，请一定要看看你得spring是什么版本，报出这个错误时在网上找了老半天，最后发现是版本问题，因为我用的是spring3.0这是我原来的配置：更改之后的配置：没错就是一个版本号的问题，耽误了好一阵子时间，心痛！...
2018-05-11 11:43:42
5451
原创 严重: Exception starting filter struts2 Unable to load configuration.
错误提示：Unable to load configuration. - bean -jar:file:/C:/Users/Administrator/Workspaces/MyEclipse%208.5/.metadata/.me_tcat/webapps/rsgl/WEB-INF/lib/struts2-core-2.3.16.jar!/struts-default.xml:40:72错误原因...
2018-05-11 10:03:51
539
原创 错误提示：java.lang.NoSuchMethodError: ognl.SimpleNode.isEvalChain(Lognl/OgnlContext;)Z
如果你在运行项目时发现控制台报出这样的错误，多半是因为struts的版本与Ognl版本冲突的原因所引起的。建议更换一下struts版本。这是我之后弄好的搭配，原来这个xwork包是1.3.××。可能是因为版本相差太大所以不兼容版吧，换了之后就好了...
2018-05-11 09:59:36
3234
原创 错误提示：org.springframework.beans.factory.xml.XmlBeanDefinitionStoreException: Line 52 in XML document
从错误提示可以看到，这个错误基本是在spring的配置文件里面，一般可能是datasource的配置引起的。如果你的datasuorce是这样写的请把它改为：改了之后应该就可以解决这个问题了。...
2018-05-11 09:53:10
372
原创 Spring AOP基于代理的实现
Spring AOP是一个非常好的东西，AOP也就是面向切面编程。主要实现方式有三种，在这里我们以代理的方式实现。我们以一个人睡觉为例子讲解，使用的开发工具是Myeclipse。1.首先我们需要创建一个接口，Sleepable，所有的人都可以睡觉。package Spring_AOP_init;public interface Sleepable { void sleep();}2.新建...
2018-05-04 14:03:32
247
原创 Servlet访问
配置好Servlet的web.xml文件之后找到Servlet的映射目录，在目录浏览器访问地址中输入http;//localhost:8080/Project_name/这个映射地址
2018-04-09 10:48:35
208
原创 MySQL command line Client忘记密码？
打开根目录，找到将my.ini文件打开，在[mysql]的下一行加上skip-grant-tables，保存文件。重启MySQL服务，不需要输入密码就可以直接登录，然后再重新设置密码就可以了。...
2018-03-09 13:16:37
3509
1
原创 Android启动模拟器，遇到Unknown error: Unable to build: the file dx.jar was not loaded from the SDK folder!
Dex Loader] Failed to load D:\Application\SDK\android-sdk_r24.4.1-windows\android-sdk-windows\build-tools\27.0.3\lib\dx.jarUnknown error: Unable to build: the file dx.jar was not loaded from the SDK f...
2018-03-08 17:16:03
3110
转载 安卓工具
SDK Setup 工具—老版本SDK自动升级工具 (未装过SDK的用户建议直接使用它下载和管理开发包)Android NDK r5b (C++ SDK)ADT Plugin 8.0.0ADT Plugin for Eclipse 在线安装网址 https://dl-ssl.google.com/android/eclipse/Android 3.0 SDK文档 (官方英文版)Android SD...
2018-03-07 13:14:52
177
原创 装JDK时在安装过程中，遇到Invalid characters in hostname
遇到这个问题时，我是找了很久的资料，还是没找到办法，最后解决的办法是，断网安装。。。一切安好！
2018-03-07 12:58:11
3707
原创 启动Mysql时，MySQL 服务正在启动 .. MySQL 服务无法启动。 服务没有报告任何错误。
遇到这个问题很是难受，打开电脑的服务，找到MySQL手动启动也不成功，最后在命令行中采用mysqld --console时，记录发现两个错误。[ERROR] Fatal error: Can't open and lock privilege tables: Table 'mysql.user' doesn't exist [ERROR] Can't open the mysql.plugin t...
2018-03-07 12:53:30
2845
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人