- 博客(34)
- 收藏
- 关注
RSS订阅
原创 mysql的日常操作
mysql常用语句:查看已经安装的mysql软件yum list installed | grep mysql安装rpm格式的mysql包rpm -i MySQL-5.0.9-0.i386.rpmrpm格式mysql可选包的安装rpm -i MySQL-client-5.0.9-0.i386.rpmrpm -i MySQL-devel-5.0.9
2016-05-08 11:31:57
3126
原创 hbase的日常操作
进入hbase命令行./hbase shell查看状态status显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row k
2016-05-08 11:29:43
1678
原创 storm0.9.2集群的搭建
用到的软件hadoop-2.6.2jdk1.8.0_65kafka_2.9.2-0.8.1.1zookeeper-3.4.6storm-0.9.2zeromq-4.0.4jzmqpythonGCC步骤搭建zookeeper集群安装storm依赖库下载并解压storm修改storm.yaml配置文件启动storm各个进程安装gccy
2016-05-07 23:57:24
2275
原创 Linux安装Jupyter Notebook
1.下载Anaconda3下载地址：https://pan.baidu.com/s/1h0TQYtnNbV8ffSF6IIBl8A提取码：0bai2.解压Anaconda3bash Anaconda3-2020.11-Linux-x86_64.sh3.执行condacd /root/anaconda3/bin./conda create -n WYZ python=3.6 ipykernel./conda activate WYZ./conda config --set auto_
2020-11-27 16:14:09
173
原创 MySQL5.7的详细安装步骤
1.下载地址下载地址：mysql-5.7.12-linux-glibc2.5-x86_64.tar.gz 提取码：38kb2.解压tar -xvf mysql-5.7.12-linux-glibc2.12-x86_64.tar3.移动重命名mv mysql-5.7.12-linux-glibc2.12-x86_64 /usr/local/mysqlcd /usr/local/mysql4.创建用户组赋权groupadd mysqluseradd -r -g mysql mysq
2020-11-27 14:23:12
242
转载 Python3 的bytes和str类型
s='中文'print(s)print(type(s))b=bytes(s,encoding='utf-8')print(b)print(type(b))s1=str(b)print(s1)print(type(s1))s2=str(b,encoding='utf-8')print(s2)s1='中文'print(type(s1))b=bytes(s1,encodin...
2019-01-18 15:09:46
256
转载 python3 的深拷贝、浅拷贝、切片、对象拷贝
浅拷贝既可应用序列（列表、元组、字符串），也可应用字典。拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复制深拷贝既可应用序列（列表、元组、字符串），也可应用字典。外围和内部元素都进行了拷贝对象本身，而不是引用。也就是，把对象复制一遍，并且该对象中引用的其他对象我也复制。切片切片可以应用于：列表、元组、字符串，但不能应...
2019-01-18 11:31:02
210
原创 Python3 的is、==、isinstance、type的用法
isinstance 的用法>>> a=4>>> isinstance(a,int)True>>> isinstance(a,str)False>>> isinstance(a,(str,int,list))True>>> a="b">>
2019-01-18 10:29:19
420
原创 Python3的日常数据类型
Python3的数据类型6个 标准数据类型不可变 数据类型可变 数据类型Python 中的变量不需要声明。每个变量在使用前都必须赋值，变量赋值后该变量才会被创建。6个 标准数据类型Number（数字）String（字符串）List（列表）Tuple（元组）Set（集合）Dictionary（字典）不可变 数据类型不可变数据类型更改后地址发生改变。value值改变，id值也随之...
2019-01-17 18:05:50
124
原创 python中dict、tuple、set、list 等数据类型的浅显认识
环境：python 3.6.0类型的使用：dict、tuple、set、list、str 5种数据类型在使用的时候，可以依情况进行转换使用基本数据类型：boolean、str、int、float、number、list、dict、set、dict、time、datetimea=(1,2)type(a)>>> tuple可用方法：[ 'count', 'index']
2017-11-23 23:27:43
375
原创 python中self的一些浅显认识
self 相当于类的实例，用于返回实例的一些属性，用于类的方法的参数当中，在属性前加self也可以理解为全局变量，变量不会在类的方法结束后销毁。self 名称可以自定义，但最好按习惯来。self 需要在定义时指定，但在实例化调用传参时不必显式传递。ps：顺便说一下，python2 和 python3在定义类时有所区别， 在用一些高级特性时，python2最好指定参数 objec
2017-11-23 22:37:31
197
原创 MyEclipse8.5实现对Ext4JS的平台搭建
用到的软件版本MyEclipse Enterprise Workbench 8.5Spket-1.6.23（提高js开发效率）ExtJS-4.1.1sdk.jsb3平台搭建过程将spket-1.6.23解压的文件夹放到myeclipse的dropins文件夹下重新启动myeclipse，进入Window-preferences-Spket-JavaScript
2016-08-06 06:16:48
484
转载 一句话介绍Hadoop家族产品
转载请注明出处：http://blog.fens.me/hadoop-family-roadmap/使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。 有必要对自己的知识做一个整理了，把产品和
2016-05-23 15:50:33
453
原创 flume1.6.0的日常安装
下载flume的src包和bin包,解压tar -zxvf flume-1.6.0-bin.tar.gztar -zxvf flume-1.6.0-src.tar.gz将src的所有文件移动到bin下进行覆盖,重命名文件夹cp -R apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/mv apache-flume-1.6.0
2016-05-18 16:02:08
393
原创 nginx1.4.4的简单安装
以下操作全部在root账户下下载nginx1.4.4版本wget http://nginx.org/download/nginx-1.4.4.tar.gz解压tar -zxvf nginx.tar.gz创建文件夹，移动文件夹mkdir /usr/local/nginxmv nginx-1.4.4 /usr/local/nginx/安装依赖yum
2016-05-18 14:25:41
3139
原创 Spark1.6的部署配置与运行
环境spark1.6.1scala-2.11.8hadoop2.6.2zookeeper3.4.6 其他版本的hadoop，可以到这里下载对应版本的sparkhttp://spark.apache.org/downloads.html下载Scala，Spark是Scala语言实现的，运行时会依赖Scala环境http://down
2016-05-08 20:12:12
929
转载 hadoop全分布式安装
修改配置文件/etc/hadoop第一个：hadoop-env.shvim hadoop-env.sh–$JAVA_HOME=$JDK_HOMEyarn-env.shvim yarn-env.sh–$JAVA_HOME第二个：core-site.xmlvim core-site.xml fs.defaultFS hdfs://主机名（或IP）
2016-05-08 11:30:40
303
转载 hadoop2.6.2高可用配置
1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等192.168.249.145 master01192.168.249.176 master02192.168.249.154 slave01192.168.249.152 slave02192.168.249.153 sl
2016-05-08 11:28:48
1178
原创 CentOS6.5修改时间
在安装完CentOS系统后发现时间与现在时间不同，这是由于我们在安装系统的时选择的时区是上海，而CentOS默认bios时间是utc时间，所以时间相差了8小时。这个时候的bios的时间和系统的时间是不一致的，一个代表 utc 时间，一个代表cst（＋8时区），即上海时间。下面是同步时间的解决方法：1、关闭防火墙chkconfigchkconfig i
2016-05-05 10:54:42
2735
转载 mapreduce：超大机群上的简单数据处理
摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数据,在机
2016-05-05 10:37:21
1144
原创 HBbase的部署与实施
软件环境一个master 节点两个slave节点jdk1.7.0_71hadoop-2.6.2hbase-0.98.9zookeeper-3.4.5配置主机名vi /etc/hostsvi /etc/sysconfig/networkhostname masterhostname配置网络setupservice network res
2016-04-17 20:44:46
675
转载 google big table
Google'sBigTable 原理（翻译） 题记：google的成功除了一个个出色的创意外，还因为有 Jeff Dean这样的软件架构天才。 欢迎订阅作者微博 ------ 编者官方的 Google Readerblog 中有对BigTable的解释。这是Google
2016-04-17 00:02:54
622
转载 google file system
Google文件系统 GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 （1）设计想定 GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件系统明显不同的设想。这就
2016-04-17 00:02:09
264
原创 数据平台的简单使用
将show.log上传至hdfs的目录下/log/show/20160101/show.log两种方式统计前10项最高的点击用户awk '{a[$1]+=1;}END{for(i in a){print a[i]" " i;}}' show.log |sort -n -r | head -n 10awk '{print $1}' show.log | sort | uniq
2016-04-16 23:32:42
444
原创 hive0.12.0配置与安装详解
运行环境与所需软件centOS 6.5 64位jdk 1.7.0_45 64位hadoop 2.6.0hive 0.12.0mysql-connector-java-5.1.22mysql的的安装启动与配置安装hive的前提需要mysql的支持，mysql的安装可以参考下面网址：http://jingyan.baidu.com/article/c74
2016-04-13 23:08:47
1332
原创 CentOS6.5下的时间同步ntpdate安装
1.ntpntpdate首先查看ntp服务端和ntpdate服务是否下载与安装2.yum -y install ntpyum -y install ntpdate安装ntp与ntpdate3. chkconfig查看启动的系统服务4.service ntpdate startchkconfig ntpdate on开启ntpdate服务5.同步更新服务器
2016-04-05 17:28:05
2686
原创 hadoop2.6.0伪分布式单机全安装
1.在root账户下修改主机名/etc/sysconfig/networkHOSTNAME=localhost（自己取名）/etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdoma
2016-04-05 12:54:59
403
原创 kafka_2.9.2-0.8.1.1安装
1.上传kafka包，解压，赋权限。unzip kafka2.修改配置文件config/server.propertiesbroker.id=0host.name=IPzookeeper.connect=IP:21813.给kafka整个目录下赋权限chmod +x sbin/*4.修改log4j.properties文件log4j.appender.D.Fi
2016-04-05 10:46:56
1135
原创 zookeeper3.4.6的可视化zkui2.0的安装
1.root用户下上传maven包，zkui包，解压，赋予权限和所属命令unzip maven3.2.1.zipunzip zkui.zipchown -R storm:storm mavenchown -R storm:storm zkuichmod -R 755 mavenchmod -R 755 zkuisu - storm2. 修改~/.bash_profi
2016-04-04 22:51:40
2263
原创 zookeeper3.4.6的单机部署
1.上传java包，在root用户下将java安装到/usr/java，修改环境变量/etc/profileJAVA_HOME=/usr/java/jdk1.7.0_45JRE_HOME=$JAVA_HOME/jreCLASS_HOME=$JAVA_HOME/libPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME JRE_HOME CLASS_
2016-04-04 22:12:08
822
1
原创 CentOS6.5轻量级桌面化安装
这是开通CSDN博客的第一篇文章。就写一下简洁版Linux的安装吧，本文所使用的平台为VMware Workstation11.1.0的64位版本，镜像文件为CentOS-6.5-x86-bin.iso。新建虚拟机，选择自定义（高级），下一步，硬件兼容性默认Workstation11.0，下一步，选择稍后安装操作系统，下一步，操作系统选择LinuxCentOS64位，一直下一步选择
2016-04-04 20:47:39
2280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人