ltylzq-CSDN博客

原创拼多多笔试_探险家冒险和大数问题

import java.util.*; /*有两个用字符串表示的非常大的大整数,算出他们的乘积，也是用字符串表示。不能用系统自带的大整数类型。输入描述: 空格分隔的两个字符串，代表输入的两个大整数输出描述: 输入的乘积，用字符串表示输入例子1: 721065475484731...

2018-04-03 23:01:53 477

原创面试准备---------关于Hadoop

1.Hadoop、spark、storm下产品以及应用场景 hadoop起源于Nutch,目标是为了构建一个大型的全网搜索工具或者说是引擎吧，包括网页的抓取、建立索引以及查询等功能。但是，当抓取的内容量越来越大时，单机存储量严重受限。谷歌的GFS和MapReduce两篇文章给出了可行的方案，其中GFS目的是处理海量数据的存储，而MapReduce目的是处理海量网页的索引计算问题。 ...

2018-03-21 15:36:08 364

原创面试准备3---------树遍历

1.树的基本遍历// 1// 2 3// 4 5 6 7public static void main(String[] args){ Tree<Integer> root = new Tree<>(1); root.left =new Tree<>(2); root.left.left =new Tree&...

2018-03-20 23:32:15 327

原创面试准备2---------

//版本1：恶汉式，直接使用静态属性分配资源，存在资源浪费的问题class Singleton1{ public static final Singleton1 instance = new Singleton1(); private Singleton1(){} public Singleton1 getInstance(){ return insta...

2018-03-20 22:34:24 150

原创 Hive个人学习总结

1> 关于load 数据的时候，如果数据不是在本地，那么是不需要加上local关键字；此时，表示的是数据在HDFS上，可能会问：数据本来就是在HDFS上，那为什么还要load呢？load的目的就是将数据的目录修改，修改指向到/usr/hive/warehouse下面。因此，如果考虑和规划不当，那么会导致HDFS上目录的很大变化。关于overwrite 关键字，一定要小心使用，本人...

2018-03-14 21:57:44 241

1>.[ERROR] Terminalinitialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError:Found class jline.Terminal, but interface was expected解决方法：删除位于$HADOOP_HOME/share/hadoop/...

2018-03-14 19:00:27 513

原创面试准备-------基本算法

一、快排import org.junit.Test;import java.util.Arrays;public class QuickSort { @Test public void test(){ int [] tar = {54,45,87,12,95,56,32,15,0,25}; quickSort(tar, 0 , tar.leng...

2018-03-14 18:01:25 504

原创 java并发容器---个人学习总结

概述： java.util包中的大部分集合容器是不保证线程安全的，因此，若要在实际开发中考虑使用，该包也提供了一个Collections类，该类包含： static <T> Collection<T>synchronizedCollection(Collection<T> c) 返回指定 collec...

2018-03-06 08:19:14 121

翻译 mapreduce参数优化

资源相关参数：应用程序中配置就可以生效：(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用...

2018-03-03 19:38:12 1300

原创 HDFS客户端增删改查操作

方式1： API操作文件的增删改查构造一个配置参数对象，设置一个参数：给出要访问的hdfs的URI // 从而FileSystem.get()方法就知道应该是去构造一个访问hdfs文件系统的客户端，以及hdfs的访问地址 // newConfiguration(...

2018-03-03 10:25:35 691

转载 HDFS元数据手动查看方法、Datanode掉线判断时限参数

可以通过hdfs的一个工具来查看edits中的信息 bin/hdfsoev -i edits -o edits.xml bin/hdfs oiv -ifsimage_0000000000000000087 -p XML -o fsimage.xml仅供参考！！Datanode掉线判断时限参数datanode进程死亡或者网络故障造成datanode无法与namenode通信，nameno...

2018-03-02 23:20:15 839

原创 Spark sql 使用jdbc/odbc Server连接出现新建的数据表多客户端没法共享

当启动多个JDBC/ODBC Server时，经常出现的问题是，连接到其中一个Server的客户端可以看到某个新创建的表，而连接到其他Server的客户端却看不到。这是由于默认的缓存机制导致的，在conf目录下的hive-site.xml配置文件下添加以下配置：<property> <name>datanucleus.cache.level2.type&l...

2018-02-27 19:41:03 429

原创 IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息

将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下方法一：修改log4j.properties文件的内容　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E

2018-01-11 21:42:56 2802 2

ltylzq的博客