xiaoli_shen的博客

课后作业 1 Redis常用的数据类型有什么？ 2 如何配置启动持久化AOF？ 3 查看以test开头的所有的key 4 Redis如何将key为a的hash中key为b对应的值加1 5 Redis有几种订阅方法？ 6 简述Redis建立连接池的代码 7 使用jedis向队列b发布值a 8 使用代码简述通过通道执行添加数据操作 9 thrift生成java接口的命令

课后作业 1 Flume的agent三个核心组件分别是什么？ 2 Kafka如何实现多个消费者消费同一个队列，并且数据无重复 3 请描述下列Sqoop的参数含义： --connect --username --password --table --target-dir --split-by 4 Lucene两种索引结构分别是什么？ 5 段文件（segments_x）是什么？ 6 简述建立索引流程 7 简述搜索流程

课后作业 1.请找出日志中的访问者ip，访问时间，来源地址，访问 地址 日志内容如下： 192.168.170.111—[20/Jan/2014:16:35:27 +0800] “GET /examples/servlets/images/code.gif HTTP/1.1” 200 292 “http://192.168.170.152/examples/servlets/” “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36” “-” 2.使用代码简述迭代式、组合式的job执行方法 3.HBASE的Map、Reduce继承类和序列化类是什么 4.简述容量调度的配置方法 5.简述mapreduce流程 6.简述二次排序算法 有输入数据如下所示： 1 2 2 3 2 1 4 6 3 1 3 8 3 2 需要使用二次排序算法，得到如下处理结果： 1 2 2 1 2 3 3 1 3 2 3 8 4 6 请简述处理过程

课后作业 1． 简述zookeeper在HBase中的作用 2． 如何获取链接zookeeper的客户端的信息 3． 简述如何用zookeeper实现一个普通的一对多fifo队列 4． 使用伪代码简述mapreduce的流程和中间结果 其中input和output都是fileinputformat和fileoutputformat 5. 编写程序实现倒排索引 首先准备数据：1.txt，文件内容如下： The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures. 文件2.txt的内容如下所示： In order to scale the name service horizontally, federation uses multiple independent Namenodes/Namespaces. The Namenodes are federated, that is, the Namenodes are independent and don’t require coordination with each other. The datanodes are used as common storage for blocks by all the Namenodes. Each datanode registers with all the Namenodes in the cluster. Datanodes send periodic heartbeats and block reports and handles commands from the Namenodes. 建立类似的文件，放入/test1文件夹下 要求处理结果为： The 1.txt n 2.txt n Apache 1.txt n 2.txt n 其中，n为某个单词在某个文件出现的次数，即，格式解释为：单词iterator<所在文件 出现次数>

课后作业 1. 请用java集合的代码描述HBase的表结构 2. 请简述HBase中数据写入最后导致Region分裂的全过程 3. 如果设计一个笔记的表，表中要求有笔记的属性和笔记的内容，怎么做 4. HBase部署时如何指定多个zookeeper 5. HBase shell是基于哪种JVM运行的语言实现的 6. HBase shell如何写过滤条件 7. 如何删除HBase中的表 8. 简述HBase的表操作对象 9. HBase中为了提升并行插入数据的速度，如何进行表的预先切分 10. 如何添加backup的master

课后作业 1.如何检测损坏的文件，以及对文件系统进行日常检查 2.添加节点如何优化数据平衡时的数据风暴 3.如何合并碎小的文件，为什么要这么做？ 4.简述Hadoop集群的心跳机制 5.哪个类可以过滤HDFS读取的路径 6.编写一个程序读取Har文件信息

课后作业 1.SAAS、PAAS、IAAS、XAAS都是什么意思？另外猜猜DAAS是什么意思？ 2.大数据的4个特点是什么？ 3.虚拟机与主机构成闭环局域网的链接叫什么？ 4.在用户目录下的test目录下，创建一个文件hello.txt，文件内容是包含usr的运行进程列表，然后将目录的所有文件发送到主机名为test的服务器的/opt目录上，并使用soft01用户接收这些文件 5.简述3种加密方式的概念意义，并说明非对称加密中公钥与私钥的作用 6.列举Hadoop生态环境的至少5个核心项目，并标明是什么？ 7.描述配置项的含义 dfs.replication mapred.tasktracker.reduce.tasks.maximum dfs.data.dir 8.HDFS监控项含义 Configured Capacity DFS Used DFS Used% DFS Remaining% Live Nodes Dead Nodes 9.MapReduce监控项含义 Maps Reduces Map Task Capacity Reduce Task Capacity Queue Name 10.如何启动一个datanode

1.HDFS命令行操作 1.1 HDFS命令行操作 1.1.1HDFS概述 HDFS概述 Hadoop由3个部分构成： Core HDFS MapReduce 1.1.2HDFS命令 HDFS命令 HDFS基本操作命令： -help [cmd] // 显示命令的帮助信息 -ls(r) <path> // 显示当前目录下的所有文件 -du(s) <path> // 显示目录中所有文件大小 -count[-q] <path> // 显示目录中文件数量 -mv <src> <dst> // 移动多个文件到目标目录 -cp <src> <dst> // 复制多个文件到目标目录 -rm(r) // 删除文件（夹） -mkdir <path> // 创建文件夹 -touchz <path> // 创建一个空文件

1 Redis安装、命令行及开发 1.1 Redis安装部署 1.1.1 Redis简介 Redis简介 Redis是一款开源的、高性能的键-值存储（key-value store）。它常被称作是一款数据结构服务器（data structure server）。Redis的键值可以包括字符串（strings）类型，同时它还包括哈希（hashes）、列表（lists）、集合（sets）和有序集合（sorted sets）等数据类型。对于这些数据类型，你可以执行原子操作。

1 Flume、Kafka、Sqoop入门 1.1 Flume入门 1.1.1 Flume概述 Flume概述 Flume是一个分布式的收集、汇总和移动大量的日志数据的可靠的服务。 有Cloudera公司开源 分布式、可靠、高可用的海量日志采集系统 数据源可定制、可扩展 数据存储系统可定制、可扩展 中间件：屏蔽了数据源和数据存储系统的异构性

1.Hive开发 1.1 Hive安装部署 1.1.1 Hive概述 Hive概述 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

1 Mapreduce应用案例开发 1.1 常见运营案例 1.1.1 AccessLog AccessLog Nginx的access log： 201.158.69.116 - - [03/Jan/2013:21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.007 0.007 MX pythontab.com GET /html/test.html HTTP/1.1 "200" 2426 "http://a.com" "es-ES,es;q=0.8" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11"

1 Zookeeper分布式安装、开发 1.1 Zookeeper分布式安装 1.1.1 Zookeeper概述 Zookeeper概述 什么是Zookeeper --Zookeeper是Google的Chubby一个开源的实现，是Hadoop的分布式协调服务 --它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等

1 初识HBASE及分布式安装部署 1.1 HBASE原理 1.1.1 HBASE简介 HBASE简介 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据 HBASE是Google Bigtable的开源实现，但是也有很多不同之处，比如：Google Bigtable利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS作为其文件存储系统，Google运行MapReduce来处理Bigtable中的海量数据，HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据，Google Bigtable利用Chubby作为协同服务，HBASE利用Zookeeper作为对应

1云计算及大数据 1.1云计算 1.1.1什么是云计算 什么是云计算 网络架构图中，网络的符号被一朵云彩表示，于是基于网络的计算方式就叫云计算了。 由于计算被一个服务集群负责，对外不透明，也有点云里雾里的意思。

1.Zookeeper安装和常用命令练习 问题 依次完成以下4个小题的任务： 1） 安装3个节点的Zookeeper分布式环境 2） 通过命令行工具添加一个znode节点 3） 通过命令行工具查看这个znode节点 4） 通过命令行工具删除这个znode节点

1 Redis安装练习 问题 依次完成以下2小题的任务： 1） 安装Redis 2） 配置复制

1 获取accesslog 问题 依次完成以下小题的任务 1） 将nginx日志收集到HDFS中

1 安装部署Hive 问题 依次完成以下2小题的任务： 1）在Hadoop的client上安装Hive 2）验证安装

1. 案例开发练习 问题 依次完成以下两小题的任务： （1） 代码实现网站连续几日UV量统计 （2） 网站每日每个连接来源统计 数据：access.log（nginx服务器中获取）

1搭建HBASE集群并进行监控 问题 依次完成以下2个小题的任务： 1） 搭建Hbase分布式集群，要求一个Master、三个RegionServer，使用Hbase自带的Zookeeper 2） 安装后启动查看监控页面

1 Hadoop命令练习 问题 依次完成以下6个小题的任务： 1） 创建一个归档文件 2） 使用distcp拷贝目录 3） 打印出写打开的文件、正在被检测的文件、块信息、块位置和机架拓扑结构 4） 做一次数据平衡 5） 获取tasktracker的日志级别 6） 设置集群进入safemode状态，然后再退出该状态

1环境常规设置 问题 依次完成以下5个小题的任务 1） 设置IP为192.168.1.100，掩码为255.255.255.0，网关为192.168.1.1，并设置DNS为8.8.8.8主机名为master 2） 关闭防火墙 3） 配置ip为192.168.1.100的主机名为master，IP为192.168.1.101—103分别为slave1—3 4） 在用户目录建立文件夹test/bin，在bin目录下建立一个shell脚本hello.sh，编写shell脚本打印“Hello World！”，然后配置该脚本的环境变量HELLO_HOME为/home/xxx/test,PATH环境变量尾部添加/home/xxx/test/bin,回到用户目录使用hello.sh运行查看结果 5） 配置文件打开最大数为65535

vi file1 编辑 按i进行编辑，Esc-》：（进入最后一行）-》:wq-》回终端 touch file1 建空文件 mkdir file1 空目录 rm file1 删文件 cat file1 看文件内容 rmdir dir1 删空目录 rm -r dir1 递归删目录 chmod [ugoa]+w file1 改文件权限 u 用户 g 组 o 其它 a 都行

五．Web开发 1.创建web工程 ---new---project—MyEclipse—web project—输入名字如myweb等，其他可默认（注意：root url 别往啦） 2．配置MyEclipse与tomcat6.0 方法1（手动部署）：配置tomcat的虚拟目录，将它指向web工程muweb，可以用Dreamweaver建立一个站点指向web工程，这样MyEclipse与Dreamweaver可以同时指向web工程；一般原则，所有的Javabean，servlet放在src中（可以建包），所有的jsp，html文件放在WebRoot下或子目录。例子：在tomcat目录E:\Tomcat6.0\conf，配置server.xml ，推荐使用。

jsp有四种属性范围： page -> 页面级别，显然只有在一个页面内可用。 request -> 请求级别 服务器跳转，一次请求之后消失。 session -> 会话级别 客户端跳转（服务器跳转），与浏览器有关，ie是在重新打开ie时才会不同。 application = 应用级别，当重启服务器时才会消失

1.工厂方法模式（Factory Method） 将程序中创建对象的操作，单独出来处理，创建一个产品的工厂接口，把实际的工作转移到具体的子类。大大提高了系统扩展的柔性，接口的抽象化处理给相互依赖的对象创建提供了最好的抽象模式。 public class TestFactoryMethod { public static void main(String[] args) { AnimalFactory af=new DogFactory(); Animal1 a=af.getAnimal(); } } abstract class Animal1{} class Dog1 extends Animal1{} class Cat1 extends Animal1{} abstract class AnimalFactory{ public abstract Animal1 getAnimal(); } class DogFactory extends AnimalFactory{ public Animal1 getAnimal(){ System.out.println("Dog"); return new Dog1(); } } class CatFactory extends AnimalFactory{ public Animal1 getAnimal(){ System.out.println("Cat"); return new Cat1(); } }

一个程序员对设计模式的理解: “不懂”为什么要把很简单的东西搞得那么复杂。后来随着软件开发经验的增加才开始明白我所看到的“复杂”恰恰就是设计模式的精髓所在，我所理解的“简单”就是一把钥匙开一把锁的模式，目的仅仅是着眼于解决现在的问题，而设计模式的“复杂”就在于它是要构造一个“万能钥匙”，目的是提出一种对所有锁的开锁方案。在真正理解设计模式之前我一直在编写“简单”的代码. 这个“简单”不是功能的简单，而是设计的简单。简单的设计意味着缺少灵活性，代码很钢硬，只在这个项目里有用，拿到其它的项目中就是垃圾，我将其称之为“一次性代码”。 --&gt;要使代码可被反复使用,请用'设计模式'对你的代码进行设计. 很多我所认识的程序员在接触到设计模式之后，都有一种相见恨晚的感觉，有人形容学习了设计模式之后感觉自己好像已经脱胎换骨，达到了新的境界，还有人甚至把是否了解设计模式作为程序员划分水平的标准。 我们也不能陷入模式的陷阱，为了使用模式而去套模式，那样会陷入形式主义。我们在使用模式的时候，一定要注意模式的意图（intent），而不 要过多的去关注模式的实现细节，因为这些实现细节在特定情况下，可能会发生一些改变。不要顽固地认为设计模式一书中的类图或实现代码就代表了模式本身。

简单讲下maven的安装步骤： 1.在安装maven之前，先确保已经安装JDK1.6及以上版本，并且配置好环境变量。 2.下载maven3，最新版本是Maven3.0.4 ，下载地址：http://maven.apache.org/download.html 下载apache-maven-3.0.4-bin.zip文件后，并解压到  D:\cloud_cms\maven\apache-maven-3.0.4 3.配置maven3的环境变量：先配置M2_HOME的环境变量，新建一个系统变量：M2_HOME , 路径是：D:\cloud_cms\maven\apache-maven-3.0.4，

笛卡尔积是域上的一种集合运算。 定义 1.2 给定一组域 D1、D2、…、Dn，D1、D2、…、Dn的笛卡尔积是： D1×D2×…×Dn = {(d1 , d2 , … , dn) | di∈Di , i=1,…,n} 笛卡尔积的每个元素(d1 , d2 , … , dn)称作一个 n-元组，元组的每一个值 di叫 做一个分量。 比如给出 2 个域： D1 = 科室集合 = {内科，外科} D2 = 医师集合 = {张医师，王医师，李医师} D1×D2 = {（内科，张医师），（内科，王医师），（内科，李医师）， （外科，张医师），（外科，王医师），（外科，李医师）} 其中：（内科，张医师），（内科，王医师）等都是元组。内科、李医师等都 是分量。

通过java代码规范来优化程序，优化内存使用情况，防止内存泄露 可供程序利用的资源（内存、CPU时间、网络带宽等）是有限的，优化的目的就是让程序用尽可能少的资源完成预定的任务。优化通常包含两方面的内容：减小代码的体积，提高代码的运行效率。本文讨论的主要是如何提高代码的效率。 在Java程序中，性能问题的大部分原因并不在于Java语言，而是在于程序本身。养成好的代码编写习惯非常重要，比如正确地、巧妙地运用java.lang.String类和java.util.Vector类，它能够显著地提高程序的性能。下面我们就来具体地分析一下这方面的问题。

“GIF 图片压缩、逐帧编辑、裁剪、视频转 GIF 等等功能一应俱全，个人最常用的是压缩， GIF 过大无法添加微信表情时很有用。手机上也能用。”

GSM模块，是一个类似于手机的通讯模块，集成了手机的若干功能于一块小电路板上，它可以发送短消息，通话等等，模块虽小，但它具备了很多手机的功能，拥有它等于就是拥有了手机的核心部分了，它在很多应用领域中都有着广泛的应用，GSM模块通过使用AT指令才能控制它，模块可以与电脑RS232串口相连，也可以用单片机来进行控制。具体介绍及应用：http://blog.sina.com.cn/s/blog_4da4ea3c0100qegb.ht...

一个嵌入式系统通常需要通过串口与其主控系统进行全双工通讯，譬如一个流水线控制系统需要不断的接受从主控系统发送来的查询和控制信息，并将执行结果或查询结果发送回主控系统。本文介绍了一个简单的通过串口实现全双工通讯的Java类库，该类库大大的简化了对串口进行操作的过程。

嵌入式系统或传感器网络的很多应用和测试都需要通过 PC 机与嵌入式设备或传感器节点 进行通信。其中，最常用的接口就是 RS-232 串口和并口（鉴于 USB 接口的复杂性以及不需要 很大的数据传输量， USB 接口用在这里还是显得过于奢侈，况且目前除了 SUN 有一个支持 USB 的包之外，我还没有看到其他直接支持 USB 的 Java 类库）。 SUN 的 CommAPI 分别提供了 对常用的 RS232 串行端口和 IEEE1284 并行端口通讯的支持。 RS-232-C(又称 EIA RS-232-C，以下简称 RS232)是在 1970 年由美国电子工业协会(EIA)联合贝尔系统、调制解 调器厂家及计算机终端生产厂家共同制定的用于串行通讯的标准。 RS232 是一个全双工的通讯 协议，它可以同时进行数据接收和发送的工作。

Java提供了 CommunicationAPI(包含于javax.comm包中)用于通过与机器无关的方式，控制各种外部设备。Communications API，是标准的Java的扩展部分，它在JavaAPI中是没有附带的。因此，必须先在SUN公司网站的Java站点(www.java.sun.com)上下载这个扩展类库

Android基础培训，Android系统是由Andy Rubin创建的，后来被Google收购了；最早的版本是:Android 1.1版本 而现在最新的版本是今年8.0 Android Oreo。