不忘初心继续前行-CSDN博客

原创 XGBOOST算法完整推论

XGBOOSTXGBOOSTXGBOOSTID3:信息增益(information gain)Gain(D,a)=Ent(D)−∑v=1V∣Dv∣∣D∣Ent(Dv)(1)Gain(D,a)=Ent(D)-\sum_{v=1}^V\dfrac{|D^v|}{|D|}{Ent(D^v)}\quad\quad(1)Gain(D,a)=Ent(D)−v=1∑V∣D∣∣Dv∣Ent(Dv)(1...

2018-11-26 14:17:07 959 3

原创树回归

树回归首先说一下为什么要用到树回归，它的作用是干啥玩意儿，这个问题让我思考了许久。现在说一下为什么会用到树回归。前面我们接触过线性回归，线性回归在数据挖掘中是个很不错的算法，但是线性回归有一个明显的缺点，就是它创建的模型需要拟合所有的样本点（局部加权线性除外）。当有大量数据并且这些数据的特征非常多而且特征之间又交错复杂时，构建像线性回归这样的全局模型

2017-06-25 21:26:08 511

原创预测数值型数据：回归

预测数值型数据：回归用线性回归找到最佳拟合直线首先说一下回归的目的：回归的目的是预测数值型的目标值。最直接的办法就是一句输入写出一个目标值的计算公式。例如：想要预测汽车的功率大小，可能会计算：HorsePower=0.0015*annualSalary-0.99*hoursListeningToPublicRadio这就是所谓的回归方程，其中0.0015和-0.

2017-06-21 22:14:00 1177

原创 hadoop2.7.1下的单词统计

hadoop2.7.1下的单词统计(hadoop自带jar包)注意：（本文的路径有点长，要注意对应的路径）1、搭建好了集群式hadoop以后，测试一下小程序，本文测试的是hadoop的Wordcount程序，也就是一个简单的单词统计程序。先启动hadoop2、hadoop的Wordcount程序是hadoop自带的一个小小的案例，可以在hadoop的解压包里找到这个jar文

2017-05-18 14:34:26 2440

原创 Hadoop中DataNode不能启动的问题

Hadoop中DataNode不能启动1、DataNode不能动的主要原因是多次格式化namenode文件系统造成的。$ hdfs namenode -format这样就会出现DataNode无法启动，查看日志文件发现错误是因为namenode和DataNode的clusterID不一样所造成的。2、当格式化文件时，会在namenode（

2017-05-14 22:40:46 756

原创 Spark集群搭建

Spark集群搭建一、搭建Spark的准备环境 1、在实验中我使用的系统是Ubuntu14.04，是在虚拟机上远程访问服务器，是安装在服务器上的（因为自己电脑的配置没有服务器的高）。至于下载地址，可以在Ubuntu官网上自行下载。 2、因为Spark的运行需要在HDFS分布式系统上运行，这样就不可避免的需要搭建Hadoop集群，并且需要yarn的支持。所以需要先

2017-05-13 10:16:05 728

原创 Hadoop集群搭建

Hadoop集群搭建在搭建Hadoop的步骤主要分一下几点：第一：安装虚拟机（操作系统使用的是Ubuntu14.04）第二：找几个闲置的IP地址第三：安装ssh（主要用于无秘钥登录）第四：安装Java环境和Scala（Scala主要是为后边搭建spark集群用的）第五：安装Hadoop（本实验使用的是Hadoop-2.7.1）下面为大家介绍

2017-05-11 20:16:50 708

转载区块链分叉机制

区块链的组装与选择比特币去中心化的共识机制的最后一步是将区块集合至有最大工作量证明的链中。一旦一个节点验证了一个新的区块，它将尝试将新的区块连接到到现存的区块链，将它们组装起来。节点维护三种区块：第一种是连接到主链上的，第二种是从主链上产生分支的（备用链），最后一种是在已知链中没有找到已知父区块的。在验证过程中，一旦发现有不符合标准的地方，验证就会失败，这样区块会被节点拒绝，所以也

2017-02-09 22:03:16 1233

转载区块链简介

区块链定义：区块链（Blockchain）是比特币的底层技术，像一个数据库账本，记载所有的交易记录。这项技术也因其安全、便捷的特性逐渐得到了银行与金融业的关注。简介：区块链（Blockchain）是比特币的一个重要概念，本质上是一个去中心化的数据库，同时作为比特币的底层技术。区块链是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一次比特币网络交易的信息，用于验证其信息的有效

2017-02-09 21:11:35 785

GreatMichael001的博客