yangzheng0515-CSDN博客

原创 Matplotlib可视化库的使用

一、pandas导入数据&matplotlib基本绘图# _*_ coding: utf-8 _*_import pandas as pdimport matplotlib.pyplot as plt## Author: yz# Date: 2017-12-3#'''pandas导入数据和date格式转换matplotlib基本的绘图：横纵坐标标签，标题，坐标值旋转等'''# 导入数

2017-12-03 20:21:20 998

原创 kNN算法原理与实战

kNN简单数据分类实践<比如：计算地理位置的相似度> ……有以下先验数据，使用knn算法对未知类别数据分类属性1 属性2 类别 1.0 1.0 A 0.1 0.2 B 0.0 0.1 B未知类别数据属性1 属性2 类别 1.2 1.0 ? 0.1 0.3 ?python实现# _*_ coding: utf-8

2017-12-01 20:53:32 765

原创 hive等常用语句

1.查看hadoop任务 yarn application -list |grep 用户名 yarn application -kill application_1443009203033_866212.liunx nohup命令 nohup ./label_driver.sh > /home/disk4/bi/driver_label/label_driver20150325.log 2>

2017-10-23 13:16:49 357

原创 Hive学习笔记

Hive基本操作1、DDL操作1.1、创建表建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [C

2017-10-23 12:24:16 318

原创 MapReduce原理篇

简介Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；MapReduce框架结构及核心运行机制结构一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster：负责整个程序的过程调

2017-10-17 18:17:32 636

1 Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。 Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一个可用版本0.

2017-09-28 22:21:11 310

原创用MR实现Join逻辑的两种方法

需求订单数据表 order.txt id date pid amount 1001 20150710 P0001 2 1002 20150710 P0001 3 1002 20150710 P0001 3商品信息表 product.txt id pname category_id price P0001 小米5

2017-09-18 12:59:22 5783 1

原创 Windows下运行MapReduce程序处理集群中hdfs数据所踩到的坑

前言遇到了很多坑，一步一步百度和谷歌解决了。其实还是对原理不太了解导致的。步骤步骤网上有很多，例如 https://my.oschina.net/u/999578/blog/180343遇到的问题及解决方案具体报错信息找不到了，只记得一些解决方案了一Call to localhost/127.0.0.1:8020 failed on connection exception：Connection

2017-09-16 13:49:15 601

原创 HDFS定时上传日志的Shell案列

uploadFile2HDFS.sh#!/bin/bash#set java envexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_51export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bi

2017-09-13 20:07:16 887

原创 WordCount代码实现

导包右击项目->Properties->Java Build Path->Libraries->Add Library->User Library->User Libraries->New (hadoop264)->Add External JARshadoop-2.6.4——share————hadoop——————common————————hadoop-common-2.6.4.jar

2017-09-13 19:56:30 715

原创 hadoop集群搭建

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=mini11.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System

2017-09-10 11:42:19 265

原创 2016年年终总结

前言跨年了。。。本来打算晚上写总结的，由于晚上和室友出去浪了，电脑还丢在实验室，准备明天写的。没电脑的时间就会感到无聊空虚，所以还是在室友电脑上先用CSDN上写了。写些什么呢虽然最近有些萎靡不振（可能是因为考试复习的原因。别人期末感到的是充实，我确莫名的感到空虚、不安）但是回望2016年，还是有很多事很多转折很多成长值得一写。（文笔不好，还是按时间顺序写吧）一月回想去年这个时候，在经历了一个月的

2017-01-01 03:06:52 530 3

原创 Java——正则表达式_初识网络爬虫

目的获取某网站中所有的链接地址思路（1）获取该网站的HTML源码（2）利用正则表达式，获取其中的链接地址（href=”http://……”）代码这里以www.163.com为例package TestRegex;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;

2016-12-31 00:51:39 2343 1

原创 Java——正则表达式（二）

几个简单的Java正则用例字符串验证//查找以Java开头,任意结尾的字符串Pattern pattern1 = Pattern.compile("^Java.*");Matcher matcher = pattern1.matcher("Java你好");//当条件满足时，将返回true，否则返回falseboolean b = matcher.matches();System.out.

2016-12-30 14:50:02 376

原创 JavaSE_网络编程_URL类

URLURI:表示一个统一资源标识符 (URI) 引用。 URL:类 URL 代表一个统一资源定位符，它是指向互联网“资源”的指针。资源可以是简单的文件或目录，也可以是对更为复杂的对象的引用，例如对数据库或搜索引擎的查询。四部分组成：协议、存放资源的主机域名、端口、资源文件名(/)创建绝对路径构建根据 String 表示形式创建 URL 对象。URL(String sp

2016-11-29 23:54:11 398

原创 Java——网络编程_IP

一、IP地址IP 地址是 IP 使用的 32 位或 128 位无符号数字，它是一种低级协议，UDP 和 TCP 协议都是在它的基础上构建的。IP 地址的体系结构是由 RFC 790:Assigned Numbers、 RFC 1918:Address Allocation for Private Internets、RFC 2365:Administratively Scoped IP Multic

2016-11-29 18:20:46 464

原创 JavaSE——网络编程_概述

一、网络将不同区域的计算机连接到一起种类：局域网、城域网、互联网二、地址IP地址：确定网络上一个绝对地址|位置 ->房子的地址三、端口号区分计算机上的软件的 ->房子的门窗 2个字节、0-65535 共65536个 1、在同一协议下，端口号不能重复。不同协议下，可以重复。 2、1024以下的端口不要使用例：80->http, 21->ftp四、资源定位URL：同一资源

2016-11-29 17:30:06 373

原创 Java——IO流_字节流_结点流_文件读取、写出

步骤1、建立联系 2、选择流 3、操作数组大小+read、write 4、释放资源文件读入代码：package io.byteIO;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.

2016-11-25 00:02:09 580 1

原创 JavaSE——IO流_概念_分类_标准步骤

一、概念流：流动、流向从一端移动到另一端源头与目的地程序与文件|数组|网络连接|数据库，以程序为中心二、IO流分类1、流向：输入流与输出流2、数据：字节流：二进制，可以是一切文件，包括纯文本、doc、视频、音频等字符流：文本文件，只能是纯文本3、功能：节点：包裹源头处理：增强功能，提供性能三、字节流、字符流与文件1、字节流：输入流：InputStream read(byt

2016-11-24 23:55:55 311

原创 Java——File类

路径的表现形式两个常量： 1、路径分隔符 ; 2、文件分隔符 (Windows) /(Linux…)package io.file;import java.io.File;/** * 路径的表现形式 * 两个常量： * 1、路径分隔符 ; * 2、文件分隔符 \(Windows) /(Linux...) * @author yangzheng * */publ

2016-11-24 21:55:56 317

原创递归算法——打印目录树状图

打印目录树状图：package Test;import java.io.File;public class Test { public static void main(String[] args) { File file = new File("e:/Linux"); printFile(file, 0); } public static vo

2016-11-23 18:57:25 1282 1

转载 JAVA的Date类与Calendar类【转】

Date类在JDK1.0中，Date类是唯一的一个代表时间的类，但是由于Date类不便于实现国际化，所以从JDK1.1版本开始，推荐使用Calendar类进行时间和日期处理。这里简单介绍一下Date类的使用。1、使用Date类代表当前系统时间Date d = new Date();System.out.println(d);使用Date类的默认构造方法创建出的对象就代表当前时间，由于Date类覆盖

2016-11-21 23:54:21 245

原创三元组表示三对角矩阵

题目设计算法求三对角矩阵在压缩存储下的转置矩阵代码#include <stdio.h>#include <stdlib.h>#define MAX 100typedef struct{ int row, col; //非零元素的行和列 int v; //非零元素的值}node;typedef struct{ int m, n, t; //三对角矩阵的行数、

2016-11-20 15:55:29 1584

转载 JavaSE——包装类

介绍Java语言是一个面向对象的语言，但是Java中的基本数据类型却是不面向对象的，这在实际使用时存在很多的不便，为了解决这个不足，在设计类时为每个基本数据类型设计了一个对应的类进行代表，这样八个和基本数据类型对应的类统称为包装类(Wrapper Class)，有些地方也翻译为外覆类或数据类型类。包装类对应表包装类均位于java.lang包，包装类和基本数据类型的对应关系如下表所示：包装类对应

2016-11-19 16:29:51 248

原创 Java——String、StringBuilder、StringBuffer的区别与常用方法

常用方法String1、获取字符串长度： string.length()2、字符串转换为char型数组： string.toCharArray()3、从字符串中取出指定位置(num+1)的字符(下标从0开始)：string.charAt(num)4、字符串与byte数组的转换：string.getBytes()5、过滤字符串中存在的字符(查找string字符串中str字符所在的第一个位置,返回位置下

2016-11-19 14:12:33 282

原创和我一起写Makefile（原创）

看了许多和Makefile有关的文章，基本都是一个样子，全是一些书面语，一些定义和语法，一个完整的实例都没，这也是我想写这篇文章的原因。本篇幅主要里以实例形式来演示一步一步写出makefile的过程，有关简介、详细介绍和说明见我之前转载的一篇博文：《和我一起写Makefile（转载）》预备知识：gcc参数：-o 指定输出文件名-c 只编译不链接g++ -E a.cpp 预编译所有程序编译时都

2016-11-13 00:44:23 1198

原创 Linux编辑器vi使用方法详细介绍

目录目录1vi的基本概念2vi的基本操作a 进入vib 切换至插入模式Insert mode编辑文件c Insert 的切换d 退出vi及保存文件3命令行模式command mode功能键1 插入模式2 从插入模式切换为命令行模式3 移动光标4 删除文字5 复制6 替换7 回复上一次操作8 更改9 跳至指定的行4Last line mode下命令简介A 列出行号

2016-11-12 23:49:56 438

原创 Java程序执行过程的内存分析

类的属性1.属性（field），或者叫成员变量2.属性用于定义该类或该类对象包含的数据或者说静态属性3.属性的作用范围是整个类体4.**在定义成员变量时，可以对其初始化，如果不对其初始化，Java使用默认的值对其初始化：数值：0、0.0字符：\u0000(Unicode编码中对应的0)boolean:false所有引用类型：null**5.属性定义格式：[修饰符] 属性类型属性名

2016-11-12 15:14:17 3039

原创 SecureCRT作为客户端连接Linux服务器

大家都应该有在VMware运行Linux服务器的经验，但是虚拟机使用起来确实不怎么方便。上篇博文中记录了如何使用SSH、VNC来远程管理Linux。所以，下面介绍SecureCRT作为客户端利用SSH的协议的原理来连接Linux服务器的方法。SecureCRT作为客户端连接Linux服务器SecureCRT软件网上有很多资源，建议下载破解版的，否则注册起来非常麻烦。这里是我使用的版本的下载地址：

2016-11-12 03:02:53 440

原创 Linux远程管理-SSH、VNC

目录SSH（安全外壳协议）简介SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正

2016-11-12 02:38:11 1323

原创顺序表

#include <stdio.h>#include <malloc.h>#define maxlen 100typedef struct{ char data[maxlen]; int last; //最后一个元素的位置}Sequenlist;//顺序表置空Sequenlist * SqLsetnull(){ Sequenlist * L; L = (

2016-11-07 23:34:07 321

原创链表

设计算法将一个线性链表逆置，即将表（a1, a2, ……, an）逆置为（an, ……, a2, a1）,要求逆置后的链表仍占用原来的存储空间。#include <stdio.h>#include <malloc.h>typedef struct node{ char data; struct node * next;}LinkList;//建立空表LinkList * i

2016-11-07 23:29:50 490

原创 Java Swing 图形用户界面——菜单条、菜单与菜单项

带菜单项的窗口：具体使用方法见代码及注释： Test_Menu.javapublic class Test_Menu { public static void main(String args[]) { Menu menu = new Menu("菜单"); menu.setBounds(10, 10, 300, 200); }}Menu.

2016-10-27 21:18:38 17093 2

原创 Java Swing 图形用户界面——常见组件

一直在用C\C++，还没开始认真学Java，但这几天课堂上的Java Swing 图形用户界面引起了我的兴趣。正好前段时间在玩Qt的图形化界面，发现两者有很多相似之处，学起来也容易很多。（但实际上JavaSwing的各种事件特别复杂，名字也特别多，怪不得老师说JavaSwing实际开发用的很少）效果图：具体用法见代码： Test.javapublic class Test { pub

2016-10-27 20:10:31 3601 1

原创链队列

废话不多说，直接上代码：#include <stdio.h>#include <malloc.h>typedef struct node{ char data; struct node * next;}LinkList;typedef struct{ LinkList * front, * rear;}LinkQueue;//建空队LinkQueue * set

2016-10-23 14:53:27 276

原创顺序队列

运用队列编写程序:假设Q[1…10]是一个顺序队列，初始状态为front=rear=0，A…Z入队，并求出元素个数。代码#include <stdio.h>#include <malloc.h>#define maxlen 100typedef struct{ char data[maxlen]; int front; int rear; int flag;

2016-10-19 19:09:14 809

原创链栈

内容运用栈的6种基本算法编写程序，用ABCDE入栈、DE出栈测试数据。代码#include <stdio.h>#include <malloc.h>typedef struct node{ char data; struct node * next;}LinkStack;//链栈键空栈LinkStack * setStack(){ LinkStack * LS =

2016-10-19 18:46:37 370

原创顺序栈

问题描述设计算法判断一个算数表达式的圆括号是否正确匹配.思路不难想到，这里存储括号用栈（先进后出）比较好。又因为存储的是字符，所以用顺序栈最为合理。（如果用链栈，一个节点存储一个字符，一个字符占一个字节，而一个地址占用4个字节，不合理）对表达式进行扫描,凡遇到’(’就入栈,遇到’)’就将栈顶元素‘(’出栈；表达式被扫描完毕，栈应为空。代码#include <stdio.h>#include <

2016-10-19 18:40:41 271

转载 Qt资料大全

2016-10-15 02:55:49 598

转载 Qt之界面实现技巧

总结一下，在开发Qt的过程中的一些技巧！可遇而不可求。。。一、主界面1、窗口最小化最大化关闭按钮、显示状态自定义setWindowFlags(Qt::CustomizeWindowHint);setWindowFlags(Qt::WindowCloseButtonHint); //只要关闭按钮setWindowFlags(Qt::WindowFlags type)Qt::FrameWin

2016-10-15 02:48:21 499

git windows安装包和使用手册

git windows安装包和使用手册 git windows安装包和使用手册

2018-01-04

Java安装与搭建及java相关帮助文档

Java安装与搭建及java相关帮助文档包括jdk、eclipse安装包，和jdk环境变量的配置教程和 java Api 等等

2018-01-04

hadoop2.6(x64)V0.2.zip

因为在windows下编译和运行hdfs相关程序需要一些库文件和运行文件，主要是两个：hadoop.dll和winutils.exe，第一个放在c：//windows/system32里面（可以消除NULL指针报错），第二个放到windows的hadoop文件夹下的bin目录下，同时在windows环境变量中加入HADOOP_HOME路径，和%HADOOP_HOME%\bin。

2017-09-16