伟红-long-term

原创 机器学习必备的数学知识

机器学习是计算机技术，但它的底层是数学。内容（机器学习主流模型依赖的数学知识要点拆解）：梯度，利用梯度下降法求解函数极值向量与矩阵，求各种积、求逆求导大法，函数求导、向量求导、矩阵求导概率计算，对于事物不确定性概率的计算、极大似然的原理信息量的度量，熵、条件熵、信息增益、信息增益率统计量，均值、方差、最小二乘统计学的圣经，中心极限定理、假设检验适合人群：每次打开书都被公式搞垮的机器学习初学者原文????csdn 数学基础...

转载 神经网络基本概念——输入层、卷积层、激活函数、池化层、全连接层

<meta name="renderer" content="webkit"><meta name="force-rendering" content="webkit"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta name="view...

原创 Presto学习

原创 Spark优化总结

原创 Kylin-学习

原创 Dubbo学习知识点总结

原创 Storm知识点总结-思维导图

原创 图解Spark任务提交执行流程总结

一、Spark基于Standalone任务提交根据Driver在集群中的位置分为两种模式：一种是Standalone-Clien模式，另一种是Standalone-Cluster模式(1）Standalone-Clien模式Standalone-Clien模式，Driver运行在本地的客户端上提交命令./spark-submit --master spark://node1:70...

原创 Scala知识点总结-思维导图

原创 redis持久化

原创 Elasticsearch知识点整理-脑图展示

原创 Zookeeper知识点总结-脑图展示

原创 Redis知识点总结-脑图展示

原创 INFO - OutputCommitter set in config null & INFO - Failed to createOutputCommitter

INFO - Failed to createOutputCommitterjava.lang.NullPointerExceptionat org.apache.hadoop.mapred.LocalJobRunner$Job.createOutputCommitter(LocalJobRunner.java:489)at org.apache.hadoop.mapred.LocalJob...

原创 HBase知识整理二-思维导图

原创 HBase知识整理-思维导图

原创 Hive知识点整理-思维导图

原创 HBase搭建

一、伪分布式hbase-env.sh中配置JAVA_HOME配置hbase-site.xml如下<property><name>hbase.rootdir</name><value>file:///home/testuser/hbase</value></property><property>&...

原创 5.7.18版本MYSQL安装

需要下载mysql的四个rpm包：mysql-community-client-5.7.18-1.el6.x86_64.rpmmysql-community-common-5.7.18-1.el6.x86_64.rpmmysql-community-libs-5.7.18-1.el6.x86_64.rpmmysql-community-server-5.7.18-1.el6.x86_64....

原创 Hadoop-HDFS三-读流程-脑图展示

Hadoop-Hdfs一介绍-脑图展示Hadoop-HDFS二-写流程-脑图展示

原创 Hadoop-HDFS二-写流程-脑图展示

Hadoop-Hdfs一介绍-脑图展示Hadoop-HDFS三-读流程-脑图展示

原创 Hadoop-Hdfs一介绍-脑图展示

Hadoop-HDFS二-写流程-脑图展示Hadoop-HDFS三-读流程-脑图展示

原创 Hadoop-HDFS-脑图展示-读写流程

原创 Hadoop-MapReduce和Yarn-搭建

建立在Hadoop-ha搭建的基础上一、MapReduce配置hadoop的window版本解压到E:\usr\local\hadoop-2.6.5，要求路径不能有特殊符号在Windows中配置两个环境变量：HADOOP_USER_NAME=rootHADOOP_HOME=E:\usr\local\hadoop-2.6.5将hadoop的bin和sbin添加到PATH中%HA...

原创 Hadoop-Yarn资源调度流程

用户向YARN提交作业(应用程序)，一个应用程序对应一个ApplicationMaster(在Container中)。ResourceManager为该应用程序分配第一个Container，Container生命周期由NodeManager管理，NodeManager与ResourceManager保持心跳ApplicationMaster作出切片清单(文件分块)，向ResourceMana...

原创 Hadoop2.x中NA和Federation(联邦)-脑图展示

原创 Hadoop-hdfs-ha 配置-搭建

需要软件：jdk、hadoop、zookeeperHadoop-hdfs完全分布式环境搭建，已写jdk、hadoop配置一、zokeeper集群搭建，四台虚拟机：node1,node2,node3,node4将zookeeper.tar.gz上传到node2、node3、node4解压：tar -zxf zookeeper-3.4.6.tar.gz -C /opt配置环境变量）ex...

原创 Hadoop-hdfs完全分布式环境搭建

开启四台虚拟机，有jdk，hadoop，且配置好环境变量构建免密钥，选择一台虚拟机作为NameNode查看是否有免密钥：ll ~/.ssh没有，就执行ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keysll ~/.ssh，将id_dsa.pub发给其他...

原创 Hadoop-hdfs-伪分布式环境搭建

关闭防火墙，关闭selinuxservice iptables stopvi /etc/selinux/config，使SELINUX=disabledinit 6，重启yum install ntp，安装时间服务器chkconfig ntpd on，开机启动sevice ntpd start，现在开启在C:/windows/system32/drivers/etc/h...

原创 Shell编程-脑图展示：shell变量，数组，运算符，流程控制，重定向，函数

原创 Shell输入输出重定向-脑图显示

转载 Linux简单常用命令

原创 Linux Shell(bash)变量-脑图展示

原创 Linux安装python，采用编译安装

在linux下安装Python-3.6.1.tgz提示：Python3.6所依赖的软件包为：gcc gcc-c++ zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel xz-devel下载源码Python-3.6.1.tgz...

原创 Linux软件安装三种方式：编译安装，rpm，yum(配置资源库/仓库)

linux软件安装三种：编译安装，rpm，yum编译安装多次执行./configure执行依赖关系，生成Makefile(配置文件)，执行make编译安装命令，执行make install拷贝三步：执行依赖关系，编译，安装拷贝案例：编译安装nginx下载源码，tar xf 解压，README./configure：创建Makefilemake：编译make install...

原创 Linux：vi编辑器，正则表达式，文本处理cut、sort、wc、sed、awk，用户权限

vi全屏文本编辑器打开文件vi filename：打开文件vi +3 filename：打开文件并定位第3行vi + filename：打开文件并定位至最后一行vi +/pattern：打开文件并定位至第一次被pattern匹配到的行的行首关闭文件末行模式:q 退出，没有动过文件:wq 保存并退出:q! 不保存退出:w 保存:w! 强行保存:wq --> :x...

原创 Linux，虚拟机安装，Linux简单命令，Linux文件类型和命令，大数据使用的软件

Linux虚拟机安装下载CentOS.ios镜像文件安装vmware安装Linux初步配置克隆完善配置设置IPvi /etc/syscomfig/network-scripts/ifcfg-eth0删除UUID和MAC地址ONBOOT=yes，BOOTPROTO=static，按a切换输入模式IPADDR、NETMASK和GATEWAY在VM中"编辑>虚拟网络编辑器"...