- 博客(51)
- 收藏
- 关注
RSS订阅原创 内存溢出oom
面试得时候老是遇上一个问题：你写代码有没有遇上内存溢出？那就写几个例子吧！1.利用list测试堆溢出异常显示：堆异常解决：堆内存储实例对象，没有足够空间去存储新的实例对象。解决办法：（1）优化代码（比如解决例子中的情况）（2）通过在runconfiguration配置-Xms和-Xmx两个参数调整堆内存得大小2.栈溢出，经常出现在没有出口的递归...
2019-04-23 17:41:33
158
原创 List和数组的转换
package dataproject;import java.util.Arrays;import java.util.List;public class TestArray { public static void main(String[] args) { //String[]数组转String类型的集合，当需要使用int，double等集合的时候，需要...
2018-08-20 20:09:04
2945
原创 hadoop11--mapreduce全局计数器
全局计数器计数器是用于记录job运行状态和进度的 类似于job运行的一个报告。 统计job运行过程中的各个参数，包括job的输入数据量 输出数据量，map输入的数据条数，reduce分组数等等。其作用范围是全局的，假设运行3个maptask任务， 计数器统计的是3个maptask任务的总和的内置计数器Hadoop其实内置了很多计数器。我们先看下运行一个mr程序出来的报告。...
2018-08-14 20:01:51
578
2
原创 hadoop10--mapreduce组件之Combiner
CombinerCombiner 是 MapReduce 程序中 Mapper 和 Reducer 之外的一种组件，它的作用是在 maptask 之后给 maptask 的结果进行局部汇总，以减轻 reducetask 的计算负载，减少网络传输。使用Combiner 和 Reducer 一样，编写一个类，然后继承 Reducer，reduce 方法中写具体的 Combiner逻辑...
2018-08-14 19:38:38
233
原创 hadoop08--maptask、reducetask的并行度&数据倾斜问题
maptask的并行度1.maptask：运行map部分的任务，我们就叫做maptask。2.并行度：同时运行的maptask的任务的个数，一个maptask肯定只运行在一台节点上。3.例如文件大小是500M： 存储为三块： blk_1:0-128 blk_2:128-256 blk_3:256-384 blk_4:384-500启动一个maptask合适...
2018-08-14 16:10:50
791
原创 hadoop07--词频统计、级联删除、hdfs的文件读写、mapreduce的wordCount
hadoop中有自带的wordcount/home/hadoop/apps/hadoop-2.7.6/share/hadoop/mapreduce一：统计6个文件的单词和单词总数import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.FileReader;impor...
2018-08-14 14:52:36
625
原创 hadoop06--HDFS四大核心和两大机制
hdfs的四大核心和两大机制1.心跳机制：集群主从模式，主节点namenode，从节点datanode，datanode和namenode是需要通信的，通信通过心跳的方式进行通信的。datanode向namenode定期发送心跳报告，报告自己的存活状态，和自己存储的块信息。如果一个datanode宕机了，namenode怎么判定datanode一定宕机了？10次心跳报告收不到，如果...
2018-08-14 11:42:52
1518
原创 hadoop05-HDFS的api操作
环境配置eclipse配置hdfs的环境hadoop的插件hadoop-eclipse-plugin，放在eclipse的安装目录的plugins下配置本地hadoop的环境解压hadoop安装包配置windows下hadoop的环境变量 新建：HADOOP_HOME=hadoop的解压路径，我的是：HADOOP_HOME=C:\soft\hadoop-2.7.6...
2018-08-14 11:02:45
199
原创 hadoop02--大数据简介&hadoop简介和伪分布式、完全分布式集群搭建
二：大数据简介数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。 数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字,称为数字数据。数据的分类从结构上可以分为 - 结构化数据：如：二维表 - 半结构化数据：如：xml、html、css - 非结构数据:如：图片、音频、视频等数据的来源...
2018-07-14 15:15:28
687
4
原创 hadoop--04--HDFS设计思想&主要框架&常用命令
hdfs：hadoop distributed file system分布式文件系统一、设计思想1.分块存储举个例子，如有有100T文件，存在3个节点，怎么存？100T存在一个节点上吗？直接存储在一台机器上 合理吗？不合理！负载不均衡。我们可以将100T分成多个部分进行存储，分块存储。每个部分（块）应该分很多合适？1T，如果文件只有2T，分成2个块，还是负载不均衡！ 如果...
2018-07-14 11:54:43
409
2
原创 hadoop--03--集群搭建常见问题&集群安装的五种模式
一：搭建hadoop常见问题查看集群启动日志存放集群的日志信息位置在hadoop-2.7.6安装目录下的logs ，比如我的在：/home/hadoop/apps/hadoop-2.7.6/logs 日志文件名字含义：hadoop（进程归属）-hadoop（用户名）-datanode（进程名）-hadoop01（节点）.logstart-dfs.sh获取start...
2018-07-14 11:54:19
314
原创 hadoop--01--hadoop的三个面试题
一：三个面试题面试题一：有一个非常大的文件，一台机器处理不了，存储的是ip每行一个，统计一下出现次数最多的那个ip。如果是小文件1）创建io流对这个文件进行读取，将读取的内容放在map集合中（ip,次数）2）循环遍历map集合，取出value最大的值大文件情况map集合，list集合，数组，set集合——-都是在内存进行操作的，文件过大会造成内存溢出，根本无法...
2018-07-14 11:53:37
220
原创 计算机网络常用缩写词
PSTN 公共交换电话网（public switched telephone network）FPM 频分复用 （frequency division multiplexing）TDM 时分复用 （Time Division Multiplex and Multiplexer）CDM 码分复用 （code division multiplexing）WDM 波复用 (Wavelength...
2018-06-30 10:28:51
2269
原创 mysql第四章——存储程序，视图和索引，数据库设计，数据库优化，备份和还原
一：存储程序什么是存储程序？存储程序指的一组存储和执行在数据库服务器端的程序。存储程序总是在服务器的进程或者线程的内存中执行的。类似于java中的方法，但是它不是在客户端存储，而是在服务器中的进程或者线程的内存中进行的，在客户端去使用。效率快。资源占用率大。存储程序分为：存储过程，存储函数（一） 存储过程类似于方法,有过程名称，参数列表，过程体组成。存储过程...
2018-06-30 10:21:40
257
原创 第三章 mysql高级查询&事务
一、高级查询（一）关联查询（A）内连接1.只有在连接表都存在的记录才能被连接展示在最终结果集中。2.连接后结果条目与连接顺序无关。只是表结构不同###########################内连接#############################-- -- 连接查询 #ename (emp) dname (dept)#查询所有员工的姓名和所...
2018-06-30 10:02:06
250
原创 day3——JavaScript
一、JavaScript介绍什么是JavaScript？JavaScript一种直译式脚本语言，是一种动态类型、弱类型、基于原型的语言，内置支持类型。它的解释器被称为JavaScript引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在HTML（标准通用标记语言下的一个应用）网页上使用，用来给HTML网页增加动态功能。特点直译性（解释器直接执行）安全性（js不能...
2018-06-25 16:37:32
126
原创 day4——JQuery
jQuery介绍什么是jqueryjs的函数库，封装（兼容性比较好）使用jquery到jquery官网下载产品（线上环境）：压缩版；开发：未压缩2.cdn(内容分发网络）1.jQuery语法$(selector).action()$: 核心, jQuery单词简写形式Selector: 选择器Action:动作(html,css,事件)...
2018-06-25 16:10:00
107
原创 day2-----css
1.什么是css层叠样式表(cascading style sheets) 控制html的显示方式。(样式,页面布局)2.Css的引入方式1)内联样式(行间样式): 不建议用aaaa复用性不好;优先级最高;内容和样式没有分离;2)内部样式表选择器{ 声明1;(属性名:属性值) ...
2018-06-25 15:58:46
103
原创 HTML
一：相关概念1.什么是html？答：超文本标记语言。超文本：文字，图片，音频，视频，链接，绘图等html是标记语言：编程语言（包括类型，运算符，流程控制等）；标记语言（由标签组成：写html文档就是在写标签）2.什么是HTTP？答：超文本传输协议，用于浏览器和服务器端html文档传输的应用层协议。http协议是明文传输。默认使用端口是803.什么是https...
2018-06-25 15:38:35
267
原创 mysql第二章(mysql运算符，DML：数据操纵语言（基础部分），函数)
mysql运算符-- 运算符 -- 算术运算 select子句：显示在结果集中的内容 select 1+1; select 1-1; select 1*1; select 1/1; #除法有小数点 select 5 div 2； #取证 select 3/0; #null -- 比较运算符 sel...
2018-06-06 17:15:33
240
2
原创 mysql第一章——(数据库介绍、mysql、sql、DDL-数据定义语言)
数据库和数据库管理系统数据库介绍1.====数据库（Database：DB）==：按照一定的数据结构存储和管理数据的仓库==2.数据模型结构：层次模型、网状模型、关系模型3.====关系模型==：将复杂的关系以简单的二元形式表示。以行和列的形式进行表示（表格）。行叫记录，列叫字段==4.==数据分类==：结构化数据：可以通过统一的结构来进行描述的管理。非结构化数据：...
2018-06-06 14:33:03
269
原创 计算机网络常用缩写词
PSTN 公共交换电话网（public switched telephone network）FPM 频分复用 （frequency division multiplexing）TDM 时分复用 （Time Division Multiplex and Multiplexer）CDM 码分复用 WDM 波复用 ADSL 非对称数字用户线（Asymmetric Digital Subsc...
2018-06-05 19:51:17
3291
3
原创 day12_java内部类
内部类什么是内部类内部类是指在一个外部类的内部再定义一个类。内部类作为外部类的一个成员，并且依附于外部类而存在的。内部类可为静态，可用protected和private修饰（而外部类只能使用public和缺省的包访问权限）。内部类的好处内部类方法可以访问该类定义所在的作用域的数据，包括私有的数据内部类可以对同一个包中的其他类隐藏起来,一般的非内部类，是不允许有 priv...
2018-06-05 09:40:34
117
原创 day20_java网络编程
网络什么是网络一组网线连接起来的计算机作用：资源共享传输信息分布式的计算综合性的服务协议什么是协议：计算机之间通信的规则常用协议IP：网际协议，传输信息TCP：传输控制协议，保证数据的准确传输HTTP：超文本传输协议FTP：文件传输协议SMTP：简单邮件传输协议，发邮件internet：互联网，是一个通用名词，泛指由...
2018-06-05 09:05:56
239
10
原创 day13_java异常处理
异常处理生活中我们会根据不同的异常进行相应的处理，而不会就此中断我们的生活public class TestException1 { public void a(){ b(); } public void b(){ int x =5; int y = 0; int z = x / y; ...
2018-06-04 00:03:59
114
原创 day11_java API String类,StringBuffer类,正则表达式，包装类拆箱和装箱
APIString创建方法不同，存储方式不同public class TestString { public static void main(String[] args) { //创建对象方法一，在常量池中，相同值的地址是相同的 String s1 = "hello"; String s4 = "hello"; ...
2018-06-03 23:38:55
156
原创 day17_java文件与流的应用
文件的操作绝对路径：从盘符到文件，完整的路径表示形式，d:\data\a.txt相对路径：就是指由这个文件所在的路径引起的跟其它文件（或文件夹）的路径关系。即相对某一路径下的路径。比如当前在d：/data，要描述d：/datda下的a.txt文件，只需要写a.txt方法exists() createNewFile() getName() getPath() getAb...
2018-06-03 23:20:06
129
原创 day18_java多线程编程
线程基本概念进程：内存中正在进行的一个程序线程：进程中的一个执行流程多线程：有两个 或者 两个以上并发的执行流程线程的生命周期，线程分为以下五种状态（新建） New Thread();（就绪） start();（运行） run();（阻塞） 暂停执行 sleep（就像我们做总结睡着了），join（让其他人先做，就像做总结时中间让其他人讲话)阻塞...
2018-06-03 16:36:28
224
原创 day19_java反射机制
反射反射是框架设计的灵魂。 JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。 （使用的前提条件：必须先得到代表的字节码的Class，Class类用于表示.class文件（字节码））
2018-06-03 15:40:58
138
原创 day16_集合：Collections,Queue，Map，Stream流，过滤接口
Collectionscollection|Queue| 实现类PriorityQueueDeque 接口 ：双端队列|实现类 ArrayDeque，LinkedListpackage day23;import java.util.ArrayList;import java.util.Collections;import java.util.List;...
2018-05-30 09:11:42
333
原创 day15_java_集合、Collection、List、Set
集合为什么使用集合变量只能存一个数据，数组可以存储很多数据，但是长度固定。而集合可以自动扩容。集合和数组的比较集合和数组都是容器，都可以存储很多数据：1.数组长度是固定的，集合可以自动扩容2.数组可以存储基本，引用数据类型；集合只能存储引用类型3.集合底层有复杂的数据结构支持，效率上不如数组集合树接口，实现类（图）Collection接口，Map...
2018-05-29 09:34:55
155
原创 day14_java泛型，枚举
泛型：参数化数据类型作用于 类，方法，构造器，接口泛型类：在声明类的后面加上类型参数好处语法类名<类型参数> 类型参数可以是一个也可以是多个，多个用逗号分隔用一个大写字母表示，一般用 T-type E—element K—key V—value原生类型：类型后没有 指定具体的类型参数，这样的类型叫 原生类型。泛...
2018-05-25 18:23:47
163
原创 day11_API：String类,StringBuffer类,正则表达式，包装类拆箱和装箱
String创建方法不同，存储方式不同public class TestString { public static void main(String[] args) { //创建对象方法一，在常量池中，相同值的地址是相同的 String s1 = &amp;amp;quot;hello&amp;amp;quot;; String s4 = &amp;amp;quot;hello&a
2018-05-23 09:05:27
166
原创 day10_java抽象类，接口，多态，uml类图
抽象类只约定类所具有的抽象行为，没有具体实现相应的行为为什么要使用抽象类有时候子类不需要抽象化抽象方法时没有方法体的方法语法格式abstract class{常量；变量构造（）；抽象方法；//普通方法；静态方法（）；}abstract class TrafficToo{ int count ; //没有具体的行为实现 ...
2018-05-21 22:02:33
1547
原创 day_9java继承,object,final基本使用；类之间的继承、组合关系
继承继承的概念根据已有类派生出新类的技术。还可以有自己的独特属性。为什么要使用继承？（优势）代码重用便于维护（高耦合，代码之间紧密联系）注意：java类只支持单一继承，不允许多继承：即意味着一个父类可以有多个子类，但是子类只能有多个父类语法：编写父类编写子类：在子类加上 extends 父类名称使用一：继承父类：子类继承父类的 “所...
2018-05-18 23:08:18
192
原创 day8_java访问权限，static静态，单例模式，API之Math类
访问修饰符由低到高访问修饰符 类 同一包中 子类 不同包private 可以默认 可以 可以protected 可以 可以 可以 public 可以 可以 ...
2018-05-18 09:18:26
139
原创 python列表学习
#coding=utf-8#列表打印subjects=['math','English','physical','art']print(subjects)#打印列表中的一个元素print(subjects[0])print(subjects[0].title())#打印列表中的最后一个元素print(subjects[-1])#使用列表的元素massage="my favorite subject...
2018-05-17 14:51:55
318
原创 python之if语句
#if语句subjects=['math','English','physical','art','english']for subject in subjects: if subject=='English': print("We must learn well:") print(subject) elif subject=='art': print("I can not learn it...
2018-05-17 14:51:44
226
原创 python操作列表
#coding=utf-8#for循环遍历整个列表subjects=['math','English','physical','art']for subject in subjects: print(subject)#在for循环中、后的更多操作subjects=['math','English','physical','art']for subject in subjects: print("I...
2018-05-17 14:51:16
759
原创 python变量和简单数据类型
#coding=utf-8#python之禅import this#打印变量massage="hello world python"print(massage)#打印修改后的变量massage="hello world python!"print(massage)#改变字符大小写name="abc sjijwi"print(name.title())print(name.upper())print...
2018-05-17 14:51:06
365
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人