你说_-CSDN博客

原创 Linux每次重启network启动都失败

问题描述：刚开始学习hadoop，使用centOS7.0搭建集群，以hdp-node-01为原件克隆了两个副本hdp-node-02、hdp-node-03（mac地址都有重新生成），刚搭建完三个机器都是好的。但是关闭虚拟机重启之后，hdp-node-01机器出现了问题。使用ipcpnfig无法查询到ens33网卡的ip信息：如下图1。查询network的状态显示如下：重启network...

2018-10-12 11:16:22 4726 3

原创猫眼电影

一面自我介绍介绍一下项目项目中的单点登陆怎么实现的，为什么会携带tokenhttp无状态项目中为什么使用zookeeper配置信息同步集群内节点状态快速感知项目中使用redis做了什么使用redis存储用户登录信息使用redis的list结构存储用户订阅的币种信息……说一下Java的特征面向对象，封装、继承、多态封装利用抽象数据类型将数据和基于数据的操作封装在...

2019-03-14 21:04:55 1639

原创腾讯-分布式开发

介绍项目，问了单点登录参考博客为什么项目中使用redis，好处是什么速度快，因为数据存储在内存中支持丰富的数据类型redis是单进程单线程：利用队列技术将并发访问变成串行访问，消除传统数据库串行控制的开销可以设置过期时间项目中的用户表如何设计的，采用什么索引进程和线程的区别进程是资源分配的基本单位。进程控制块 (Process Control Block, PCB) 描述进程...

2019-03-14 21:03:57 400

原创美团Java开发实习生面经

一面概述：一面来说还是比较简单的了，面试官也比较和蔼，问了一些简单的java基础，问了一下项目。int和integer的区别int是基本数据类型，存储到方法区里面，占用了4个字节，初始值为0integer是引用数据类型，存储在堆里面，初始值为null，对于-128到127之间的数，会进行缓存。关于integer的内存，有两种推论，一种把堆分为两部分：一部分为句柄池，另一部分为对象池。每个实...

2019-03-14 21:01:46 935

原创 Hibernate入门（四）

hibernate检索方式分类导航对象图检索方式OID检索方式HQL检索方式QBC检索方式SQL检索方式对象图导航检索根据已经加载的对象，导航到他的关联对象。利用类与类的关系来检索对象。例子：查找一个联系人对应的客户，就可以由联系人对象自动导航到联系人所属的客户对象，前提是必须在对象关系映射文件上配置了多对一关系LinkMan linkMan = (LinkMan) ses...

2018-12-23 17:04:36 123

原创 Hibernate入门（三）

表于表的关系一对多建表原则：在多的一方创建外键指向一的一方的主键多对多建表原则：创建一个中件表，中间表至少要两个字段作为外键分别指向多对多双方的主键一对一建表原则：原则一：唯一外键对应：假设一对一中的任意一方为多，在多的一方创建外键指向的一方的主键，然后将外键设置为唯一原则二：主键对象：一方的主键作为是另一方的主键在hibernate中采用Java对象关系来描述数据表之间的...

2018-12-23 17:03:49 142

原创 Hibernate入门（二）

hibernate持久化类的编写规则hibernate是持久层的的ORM映射框架，专注数据的持久化工作。所谓的持久化就是将内存中的数据永久存储到关系数据库中。持久化类就是指一个Java类与数据库表建立了映射关系，那么这个类称为是持久化类。注意事项持久化提供无参数构造成员变量私有，提供公用的get/set方法访问，需要提供属性持久化类中的属性，应该尽量使用包装类。持久化类需提供oid...

2018-12-23 17:03:04 97

原创 Hibernate入门

概述什么是hibernate？Hibernate框架是当今主流的Java持久化框架之一，由于具有简单易学、灵活性强、扩展性强等特点，能够大大地简化程序地代码量，提高工作效率。hibernate是一个开放源代码地ORM框架，它对JDBC进行了轻量级地对象封装，使得Java开发人员可以使用面向对象地编程思想来操作数据库。ORM：Object Relational Mapping对象关系映射特...

2018-12-23 17:02:10 137

原创 Duplicate entry '30-25' for key 'PRIMARY'

在运行hibernate多对多关系时一直报下图的错误代码实体类public class SysUser { private long userId; private String userCode; private String userName; private String userPassword; private String userSta...

2018-12-23 14:48:18 1608

原创基于java web和echarts的数据可视化项目

EchartDemo项目介绍基于java web和echarts的数据可视化项目主要分析浙江省各市区的gdp和固定资产投资、以及房产数据，数据源浙江省经济社会发展统计，数据经过整理后插入数据库中。主页面：固定资产页面：将excel中的数据导入mysql数据库所需jar包百度云数据库的连接配置在dbcpconfig.properties文件中,注意更换自己的用户名、密码等信息...

2018-12-20 08:44:48 14025 2

原创策略模式

策略模式定义定义了算法族，分别封装起来，让它们之间可以互相替换，此模式让算法的变化独立于使用算法的客户。使用鸭子的故事为例当设计维护时，为了复用而使用继承结局并不完美，会导致代码在多个子类中重复，运行时的行为不易改变；很难知道所有鸭子的全部行为；改变会牵一发动全身，造成其他鸭子不想要的改变设计原则找出应用中可能需要变化之处，把他们独立出来，不要和那些不需要变化的代码混在一起针对接口...

2018-12-07 16:13:52 91

为什么需要 StreamStream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream，也不是 Amazon Kinesis 对大数据实时处理的 Stream。Java 8 中的 Stream 是对集合（Collection）对象功能的增强，它专注于对集合对...

2018-12-07 16:12:48 110

原创 Spark概述

spark概述spark是一个快速的、通用的针对海量数据集的引擎。特性速度快。运行程序在内存上比mapreduce快100倍，磁盘上快10倍使用简单通用性可以运行在任何地方hive执行语句可以转换成：5. mapreduce6. tez7. sparkspark vs mapreduceMapReduceSpark数据存储结构磁盘hdfs文...

2018-11-09 22:18:19 261

原创 HBase学习

介绍简介Big table 的开源版本分布式的、列存储的、高可靠性、高性能的存储系统不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。基于列的而不是基于行的模式能做什么：* 海量数据的存储* 海量数据的查询（速度很快，秒级别）特点HBase – Hadoop Database，是一个分布式存储系统，可在廉价PC Server上搭建起具有高可靠性、高性...

2018-10-25 10:55:04 142

原创 Hive优化

Hive server2wikiHive优化FetchTask<property> <name>hive.fetch.task.conversion</name> <value>more</value> <description> Expects one of [none, mi...

2018-10-22 17:13:04 339

原创 Hive的UDF编程

wiki编程步骤：继承org.apache.hadoop.hive.ql.UDF需要实现evaluat函数，evaluate函数支持重载注意事项：UDF必须要有返回值类型，可以返回null，但是不能为voidUDF中常用Text/LongWritable等类型，不推荐使用Java类型例子pom.xml添加依赖<dependency> <gro...

2018-10-21 20:13:27 230

原创 Hive表导入、导出数据

导入数据LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]eg：//1. 加载本地文件到hive表load data local inpath '/opt/datas/log.txt'into table de...

2018-10-21 19:38:28 174

原创 Hive中数据库Database基本操作

DatabaseCreate DatabaseCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path]//默认在仓库根目录 [WITH DBPROPERTIES (property_name=property_value, ...)];...

2018-10-20 15:36:18 6147

原创 Hive常见属性和交互操作

常见属性Hive数据仓库位置配置default/user/hive/warehouse注意事项* 在仓库目录下，没有对默认的数据库default创建文件夹* 如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹hive.metastore.warehouse.dir/user/hive/warehouse$ $HADOOP_HOME/bin/hadoop...

2018-10-18 18:49:35 262

原创 Linux 常用基本命令

要执行 Linux 命令，首先要打开 Linux 的命令窗口(通常也称之为 Shell 窗口或终端)，在 Shell 窗口中执行命令。例如我们先执行一个最简单的命令 ls，只要在键入“ls”，然后回车，此命令的功能是列出当前目录下的所有子目录和文件。Linux 中命令很多，例如:ls，pwd，cd，rm，ping 等等。1. 命令格式命令的一般格式:command [options] [a...

2018-10-18 15:33:11 969

原创 Linux目录详细说明

“/” : 根目录Linux文件系统的入口.也是最高级，最重要的的目录.除衍生出其它目录，还和系统的开机，还原，系统修复有的，一般要求不要把任务应用程序直接放在根目录下，如果满了，可能就登录不了了（需要注意是否日志输出在根目录下）“/bin”:基本系统所需要的命令,主要是单用户模式下，还能执行的命令。主要有cat，mv,mkdir,cp,bash ,ls“/boot”:内核和加载内核所需要的...

2018-10-18 15:04:45 122

原创 Linux基础配置

Linux基础介绍做数据分析、数据挖掘、大数据方面的知识，为什么要学 Linux?现在大多数的服务器都使用的是 Linux 操作系统，而不是 Windows 操作系统。很多软件工程师开发的软件都运行在 Linux 服务器上，像大数据平台Hadoop 必须运行在 Linux 上，数据处理工具 Datastage，数据分析工具Cognos 也都是运行在 Linux上，所以 Linux已经是数据...

2018-10-17 20:15:49 901

原创 Hive环境搭建

相关文档官网官网文档wiki下载download源码git仓库安装hive 0.13.1要求：jdk1.7以上hadoop 2.0linux（最常安装）安装步骤;启动hdfs服务sbin/start-dfs.shsbin/start-yarn.shsbin/mr-jobhistory-daemon.sh start histo...

2018-10-17 13:45:50 347

原创 Hive初识

Hive由Facebook开源用于解决海量结构化日志的数据统计hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类似sql查询功能构架在Hadoop上的数据仓库：使用hql作为查询接口使用HDFS存储使用mapreduce计算本质是将hql转化成mapreduce程序灵活性和扩展性比较好适合离线数据处理架构图：面试必问HQL...

2018-10-15 18:35:11 106

原创大数据Hadoop学习笔记（六）

HDFS HA背景：在hadoop2.0之前，HDFS集群中的NameNode存在单点故障（SPOF）对于只有一个NameNode的集群，若NameNode机器出现故障，则整个集群将无法使用，直到NameNode重新启动NameNode主要在一下两方面影响集群：NM机器发生意外NM机器需要升级HDFS HA通过配置Active/Standby两个NM实现在集群中对NM的热备...

2018-10-13 14:59:18 390

原创分布式服务框架zookeeper

一个开源的分布式的，为分布式应用提供协调服务的Apache项目提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构目的就是将分布式服务不在需要由于协作冲突而另外实现协作服务服务器节点一般为基数典型的应用场景zookeeper从设计模式的角度来看，是一个基于观察者模式设计的分布式服务管理框架，负责存储和...

2018-10-12 19:31:21 200

原创集群的时间同步

找一台机器做时间服务器所有的机器与这台机器进行定时同步比如：每10分钟同步一次配置时间服务器（hdp-node-01）：可参考博客下载安装ntpvi /etc/ntp.conf注释一下代码在/etc/sysconfig/ntpd文件中添加SYNC_HWCLOCK=yes启动ntpd服务 service ntpd start设置开机启动 chkconfig...

2018-10-12 19:21:18 704

原创大数据Hadoop学习笔记（五）

分布式部署本地模式Local Mode分布式Distribute Mode伪分布式一台机器运行所有的守护进程从节点DN和NM只有一个完全分布式有多个DN、NM在配置文件&amp;amp;HADOOP_HOME/etc/hadoop/slaves中配置三台机器：192.168.220.133 hdp-node-01 3g 1核CPU192.168.220....

2018-10-12 19:13:51 151

原创大数据Hadoop学习笔记（四）

MapReduce运行过程========step1 ：inputInputFormat读取数据转换成<key, value>FileInputFormatTextInputFormatstep 2:mapModuleMappermap(KEYIN , VALUEIN, KEYOUT, VALUEOUT)默认情况下——>K...

2018-10-12 18:51:10 175

原创大数据Hadoop学习笔记（三）

1.HDFS架构讲解2.NameNode启动过程3.YARN架构组建功能详解4.MapReduce 编程模型HDFS架构讲解源自谷歌的GFS论文HDFS：*抑郁扩展的分布式系统*运行在大量普通的链家机器上，提供容错机制*为大量用户提供性能不错的文件存储服务NameNode:单一节点。文件元素据的操作。副本存在位置由namenode决定，读取文件尽量让用户先读取最近的副...

2018-10-12 18:36:41 234

原创大数据Hadoop学习笔记（二）

Single Node Setup官网地址1. 本地模式2.伪分布式模式************************* 本地模式 ****************************. grep input output ‘dfs[a-z.]+’ 运行mapreduce的例子，input是当前目录下的文件夹；output是运行输出结果储存的地方，并且在当前目录下没有...

2018-10-12 18:01:32 391

原创大数据Hadoop学习笔记（一）

大数据Hadoop2.xhadoop用来分析存储网路数据MapReduce：对海量数据的处理、分布式。思想————&amp;gt; 分而治之，大数据集分为小的数据集，每个数据集进行逻辑业务处理合并统计数据结果（reduce）运行模式：本地模式和yarn模式input——&amp;gt;map——&amp;gt;shuffle——&amp;gt;reduce——&amp;gt;outputshuffle：将结果进行排

2018-10-12 17:30:43 342

原创搭建伪分布式环境访问不到NameNode页面

在操作API文档Standalone Operation的例子时，出现了页面访问错误的情况。原因如下：NameNode、DataNode等启动失败。可以使用jps查看启动情况。如图：可能是虚拟机的防火墙开启。虚拟机安装时防火墙默认开启，很多人没有注意这个问题。将防火墙关闭之后可以使用curl ip：50070或者netstat -anp | grep 50070监听端口查看是否访问成功。如下...

2018-09-25 17:19:26 647

原创 python——list and dictionary

list定义:python中的集合是一种容器，可以存储任何数据(在js中一个python的list就是一个array)例如：一个空的集合：empty = [ ]数字集合：nums = [10, 20, 30, 40.4]字符串集合：str = [‘w’, ‘o’, ‘r’, ‘d’]混合类型的集合：anything = [10, ‘hi’, ‘python’, 12.4]一个l...

2018-03-19 11:31:58 1553

原创 python——条件判断

if 语法：if 条件 : 执行语句1 执行语句2 ........if，then 语法：if 条件 : 执行语句1 执行语句2 ........（以上代码为if的代码块如果if条件不满足则直接执行下面的代码）执行语句if，else 语法：if 条件 : 执行语句1 执行语句2 ...

2018-03-13 17:15:16 742

转载用户友好

原文链接Any intelligent fool can make things bigger and more complex… It takes a touch of genius - and a lot of courage to move in the opposite direction什么是对用户友好？我们可以把机器和人看作同一个系统：这个系统有多个模块，包括...

2018-03-12 17:32:21 520

原创 idea中使用git annotate功能显示的中文乱码

在使用idea的过程中我们可能会查看git的开发日志，但会出现中文乱码的情况，如下图：这种时候给开发人员带来很大的不便，那么解决方案是什么呢？答：出现这种情况是因为idea的字体显示是不包含中文的，我们只需要更换一下字体设置就好了。第一步：第二步：现在就不会出现乱码问题了！欢迎大家关注小白菜！ github：yuanyi0510 个人博客：你说_...

2018-03-11 15:42:51 5172 1

原创 python——数据类型和变量

Numbers & Variables数学操作符 +加法 eg：3+5——>8-减法 eg：10-5——>5*乘法 eg：3*5——>15/除法 eg：30/6——>5 //整除 7//2=3立方 eg：2 ** 3——>8负数 eg：-2 + -3——>-5整型和浮点型整型：int是一个整数 eg：32浮点型：浮点数是一...

2018-03-09 20:17:46 145

转载 JAVA字符串格式化-String.format()的使用

转载：原文链接常规类型的格式化String类的format()方法用于创建格式化的字符串以及连接多个字符串对象。熟悉C语言的同学应该记得C语言的sprintf()方法，两者有类似之处。format()方法有两种重载形式。format(String format, Object… args) 新字符串使用本地语言环境，制定字符串格式和参数生成格式化的新字符串。format(

2018-01-22 15:19:23 1196 1

转载 Java中 VO、 PO、DO、DTO、 BO、 QO、DAO、POJO的概念

原文链接PO(persistant object) 持久对象在 o/r 映射的时候出现的概念，如果没有 o/r 映射，没有这个概念存在了。通常对应数据模型 ( 数据库 ), 本身还有部分业务逻辑的处理。可以看成是与数据库中的表相映射的 java 对象。最简单的 PO 就是对应数据库中某个表中的一条记录，多个记录可以用 PO 的集合。 PO 中应该不包含任何对数据库的操作。DO（Do

2018-01-19 18:53:46 145

空空如也

空空如也