- 博客(26)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 人工智能_fly_03_数学知识之 理解什么是线性回归
理解什么是线性回归 线性回归也被称为最小二乘法回归（Linear Regression, also called Ordinary Least-Squares (OLS) Regression）。它的数学模型是这样的：y = a+ b* x＋e其中，a 被称为常数项或截距；b 被称为模型的回归系数或斜率；e 为误差项。a 和 b 是模型的参数。当然，模型的参数只能从样本数据中估计出来：y'= a' + b'* x我们的目标是选择合适的参数，让这一线性模型最好地拟合观测值。拟合程度..
2020-05-17 17:02:44
316
原创 人工智能_fly_02_matplotlib绘图
今天记录下如何用python画散点图、线性回归图、含置信区间的线性回归图以及双变量曲线图，下面是所有的代码：# -*- coding: utf-8 -*-"""Created on Fri May 24 22:20:30 2013@author: Administrator"""import pandas as pdimport urllib#获取网格数据import shutil #文件操作import zipfile #文件压缩import osimport warning
2020-05-17 16:47:46
268
原创 数仓_维度建模与缓慢变化维
一、维度建模 维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度：类型和区域。另外每个维度还可以有子维度（称为属性），例如类别可以有子类型，产品名等属性。下面是两个常见的维度表结构：产品维度表：Prod_id, Product_Name, Categ...
2020-04-22 21:07:04
635
原创 人工智能_fly_01_matplotlib绘图
# -*- coding: utf-8 -*-"""Created on Mon Apr 20 19:12:43 2020@author: Administrator"""import numpy as npimport matplotlib.pyplot as pltfrom pylab import *#x = np.arange(0.,10,0.2)#y1 = np...
2020-04-22 20:58:37
156
原创 go语言编程之指针
package mainimport "fmt"func main() { /** 1.特点:(最大特点)不能运算，不同于c语言 在go语言中如果对指针进行运算会报错： nvalid operation:p++(non-numeric type *int) 2. 声明指针，*T是指针变量的类型，它指向T类型的值。。 var 指针变量名 *指针类型...
2019-01-05 21:57:08
185
原创 go语言编程之递归
package mainimport "fmt"func main() { /** 递归：可以简单理解为自己调自己 优点：逻辑比循环更清晰 注意：使用递归函数要注意防止栈溢出。在计算机中，函数调用是通过栈（stack）这种数据 结构实现的。每当进入一个函数调用，栈就会加一层栈。每当函数返回，栈就会减少一层。 由于栈的大小不是无限的，所以，递归调用的次数...
2019-01-03 22:24:50
215
原创 go语言编程之——可变参数
package mainimport "fmt"func main() { ////1. 传n个成绩 //sum , avg , count := getScore(12,46,17,79,100) //fmt.Printf("学生公用%d门成绩，总成绩为%.2f ,平均成绩为%.2f", count, sum ,avg) ////2.传入一个切片 //sc...
2019-01-03 22:23:45
220
原创 go语言编程之——闭包（介绍定义+两种写法）
一 、定义:闭包：要有一个需要保护的局部变量+一个匿名函数二、闭包的两种写法：1. 在主函数之外定义一个闭包函数，闭包函数的格式为： func 函数名 func() int{ res = func() int{ ......} return res}举例一：package mainimport "fmt"func mai...
2019-01-02 22:49:52
527
原创 Gson在解析java数据格式的三种范例
Gson是谷歌提供的一个开源库，用来解析json格式的数据非常好用。如果用maven进行项目管理的话，可以在pom.xml中引入如下依赖：<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> ...
2018-03-26 12:13:46
1534
转载 HashMap与HashTable详解
一、HashMap简介 HashMap是基于哈希表实现的，每一个元素是一个key-value对，其内部通过单链表解决冲突问题，容量不足（超过了阀值）时，同样会自动增长。 HashMap是非线程安全的，只是用于单线程环境下，多线程环境下可以采用concurrent并发包下的concurrentHashMap。 HashMap 实现了Serializable接口，因此它支...
2018-03-07 22:15:25
399
转载 Yarn各组件详细原理
运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心，构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 ResourceManager提供应用程序的调度，每个应用程序由一个ApplicationMaster管理，以Container的形式请求每个任务的计算资源。Container由Res...
2018-03-07 21:41:20
1103
转载 消息队列的使用场景
一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削...
2018-03-02 08:40:41
125
原创 Centos07下安装redis-4.0.8及安装过程中的常见问题解答
redis-4.0.8的安装过程请在root账户下进行安装。。。1.1. 上传用工具上传redis安装文件到/usr/local下1.2. 解压su – rootcd /usr/localtar –zxvf tar -zxvf redis-2.8.19.tar.gz1.3. 编译 cd redis-4.0.8make1.4. 编译过程问题解答1.make:警告:检测到时钟错误。您的创...
2018-02-08 17:01:35
727
4
原创 Hbase全分布式安装（ Adanced-Fully Distributed）--最接近生产环境
即将构建的集群节点情况说明，需要三台server(centos01,centos02,centos03),分别代表节点1,2,3.HBase是在hadoop和zookeeper的前提下搭建的，所以必须提前在三台server上装好hadoop和zookeeper。集群包括：1个primary Master ,1个back Master （hbase设一个主Master与一个备Maste...
2018-02-07 22:42:35
250
原创 单机版Hbase的安装与使用
当你需要随机，实时读取大型数据的时候，用HBASE.这个项目的目的就在于处理超大量的表格：它能建立在普通硬件集群上读取十亿行甚至更多行的数据。这是以谷歌的Bigtable为原型的一个开源、有版本、非关系型的数据库，正如Bigtable利用了谷歌文件系统提供的分布式数据存储一样，Hbase也同样是建立在hadoop和hdfs之上才可用。下载地址：http://www.apache.org/dyn
2018-02-07 12:31:49
792
1
原创 MapReduce运用之粉丝互粉
项目名称：粉丝互粉项目说明：如下所示，分别给出微博用户信息和其粉丝信息，如第一行：“：”左边的代表用户A，右边是关注A的粉丝。用户和粉丝之间是单向关系，也即E是A的粉丝，但是A不一定是E的粉丝。项目需求：用mapreduce找出两两之间有共同粉丝的用户对，及他俩的共同好友。如：A-B C,E A:B,C,D,F,E,O B:A,C,
2018-02-03 11:36:15
670
原创 Linux中脚本（script.sh）的运行
1.认识脚本:下面是个简单的脚本[root@centos06 tmp]# vi script.sh #!/bin/bash #这行是shebang,shebang是个文本行，其中#！位于解释器路径之前，/bin/bash 是解释器命令路径 echo 'helle this is the first script!' #我的脚本命令：向控制台输出一句话：helle
2018-02-02 08:36:34
1556
转载 使用Eclipse搭建Hadoop编程环境
在前人的基础上，进行总结学习，发现bug，修改bug。系统平台：Ubuntu14.04TLS（64位）Hadoop环境：Hadoop2.7.1Eclipse：Neon.2 Release(4.6.2)Eclipse插件：hadoop-eclipse-plugin-2.7.1.jar一.编译环境搭建1.在eclipse上安装Hadoop插件把下载好的had
2018-02-01 21:08:07
438
原创 Azkaban3X的编译安装与使用（确定可用）--提供已经编译好的工具供大家使用
一、Azkaban3X的编译及安装使用（我这里配置的是two servermode模式，exec-server与web-server在不同进程中，在同一台server中）1.先检查下网络是否畅通：ping www.baidu.com 测试一下，mysql是否已经安装好并启动了，并在mysql中为azkaban创建一个数据库，就叫azkaban好了。2.安装git工具 ：
2018-01-30 23:13:40
992
原创 Ceontos7下安装Flume及问题
Flume是一个强大的采集日志信息的工具，它适用大部分的日志采集场景。它的安装配置也非常简单，下面就一起来看看吧！ 一、安装Flume1、Flume的安装非常简单，只需要解压即可，但是必须先配置hadoop环境，关于hadoop的配置这里就不多说了。上传flume的安装包然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入
2018-01-30 22:29:35
324
原创 当初在Linux网络连接中躺过的万人坑！全析
在虚拟机中操作：目标：开三台Linux（Centos7 ）:centos01,centos02,centos03,并使得彼此之间可以互相ping通，同时每台机器都可以ping通外网。因为要连接外网，所以我选择NAT模式进行网络连接，可以先搞定一台机器的网络，然后在copy建立其它两台机器，先看第一台： 1：查看本地Windows系统中的网络ip：控制面板\所有控制面板项\网络和共享中心，如
2018-01-28 16:52:20
216
原创 简述Centos7下HIVE的安装（mysql数据库）
1.安装1.7及其以上的jdk版本； 2.安装mysql(mysql和hive可以安装在不同的机器上)，其实Centos里是有内置的mysql的，如果对于rpm安装不熟悉的人，可以直接yum安装内置的mysql yum install mysql-server 安装mysql的服务端 yum install mysql
2018-01-20 21:02:45
1647
2
原创 Centos6.5下更简便的安装HIVE
1、下载Hive安装包http://hive.apache.org/downloads.html2、将hive文件上传到HADOOP集群，并解压将文件上传到：/export/software tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/ cd /export/servers/ ln -s apac
2018-01-20 08:11:22
394
原创 Linux免密登陆和设置了免密登陆还需要输入密码
一、Linux的免密登陆： ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub 目标机器ip地址/主机名 验证是否成功：ssh 目标机器 如果不需要输入密码了就表示设置成功。 二、设置了免密码登陆但是还是需要输入密码： 权限保证：1、authorized-k
2018-01-06 22:58:50
9890
5
原创 连接zookeeper出现异常：unknowHostException
我是用vm虚拟机创建了三台虚拟服务机并建立了集群，在用java客户端去连zookeeper集群的时候报错：UnknowHostException,很明显，这是无法识别主机名，我的java客户端代码如下：public class SimpleZkClient { private ZooKeeper zk=null; private final static String ****conne
2017-12-31 14:47:49
4005
原创 初次配置本地yum源
Linux中下载软件总是有很多的依赖，为了省去我们自己寻找各种依赖的麻烦，yum工具简直是神器，但是，对于第一次使用yum命令的我来说，却碰到很多问题，网上各种说法，看的人头晕，： 我的环境是在VM虚拟机中安装迷你版Linux系统，并且系统无法连接外网（当然，如果有外网的话就不存在yum命令用不了的情况了）。 不过，即使有网络，很多情况下我们也需要一个本地yum源，一是可以避免没有外网
2017-12-25 00:06:27
242
azkaban-3x使用Linux安装使用
2018-01-30
hadoop-eclipse-plugin-xx.jar（在windows的eclipse中创建Linux中的hadoop连接）
2018-01-20
适用于VMware上安装Linux系统的Centos光盘（64位与32位都有）
2018-01-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人