- 博客(37)
- 收藏
- 关注
RSS订阅转载 （转）十道海量数据处理面试题与十个方法大总结
原文：https://blog.csdn.net/v_JULY_v/article/details/6279498第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。      首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个232个IP。同样可
2018-10-30 21:33:17
266
转载 （转）为什么八位二进制数表示范围为-128~+127？
原文：https://blog.csdn.net/fenzang/article/details/53500852?utm_source=blogkpcl4首先八位二进制数0000 0000 ~1111 1111，一共可以表示2^8=256位数，如果表示无符号整数可以表示0~255。计算方法就是二进制与十进制之间的转换。如果想要表示有符号整数，就要将最前面一个二进制位作为符号位，即0代表正数...
2018-10-30 10:35:38
1419
转载 （转）Java中的String为什么是不可变的？ -- String源码分析
原文地址：https://blog.csdn.net/zhangjg_blog/article/details/18319521 原 Java中的String为什么是不可变的？ -- String源码分析 2014年01月15日 22:07:12 张纪刚 阅读数：40850 ...
2018-10-25 16:06:39
236
转载 (转).md即markdown文件的基本常用编写语法（图文并茂）
原文链接 序言:很久没有写博客了，感觉只要是不写博客，人就很变得很懒，学的知识点感觉还是记不住，渐渐地让我明白，看的越多，懂的越少（你这话不是有毛病吗？应该是看的越多，懂的越多才对），此话怎讲，当你在茫茫的前端知识库里面东看看，西看看的时候，很快就被海量的知识给淹没了，根本就不知道哪些是对的，哪些是错的，感觉好像这个也懂了，那个也懂了，但是真正写起来，脑子又一片空白，又好像什么都不懂，这...
2018-10-17 10:57:03
231
原创 Ubuntu所有版本设置静态IP最完整教程
说下背景，真的搞得头皮发麻，在Ubuntu上搭建Spark等集群涉及到设置静态IP，于是百度了如何设置，几乎将百度到的前面几个试了个遍，要不就是抄来抄去，关键是抄的还不管用，配置完以后完全上不了网，要不就是纯属扯淡。后面开始用bing搜索英文的，关键字ubuntu static ip，终于解决参考：https://www.howtoforge.com/linux-basics-set-a-s...
2018-09-21 21:06:21
720
原创 Zookeeper停止出错: Syntax error: "(" unexpected (expecting "fi")
title: Zookeeper停止出错: Syntax error: “(” unexpected (expecting “fi”)tags: [Zookeeper]categories: [BigData]date: 2018年9月20日安装好Zookeeper之后，通过命令./zkServer.sh start可以正常启动，也能通过jps 看到运行的相关进程但是当运行....
2018-09-20 16:43:00
2149
原创 使用串行化实现Java深度克隆
Java实现对象克隆主要有三种方式，克隆又分为浅克隆(Shadow Clone)以及深克隆(Deep Clone)，实际工作中应该很少用到浅克隆，这里主要是说明深克隆的实现，具体区别网上很多参考。 首先，创建一个类，这里为了方便理解就以Student类为例：package seriable.deep.clone;import java.io.*;/** * Created by...
2018-09-15 20:29:58
172
转载 （转）如何将本地项目上传到Github
转自：https://blog.csdn.net/chenyufeng1991/article/details/48930471 我在这篇文章中将会详细实现如何把一个你在本地写好的项目（或者正在写的项目）上传到Github进行托管或者多人合作。具体步骤如下：（1）首先在Github上新建一个repository，我命名为NewsClient，其他...
2018-09-06 20:13:11
181
原创 Ubuntu环境maven项目repo配置错误
运行环境Ubuntu16.04 + maven3.5.3 + IntelliJ IDEA 2018.2新建项目因为是为了学习SparkStreaming的项目，所以为了简单起见直接使用了scala-archetype-simple 首先是新建一个maven项目，因为本身新建maven项目时候配置文件路径默认是在~/.m2目录下，而我的maven安装路径是/opt/apach...
2018-09-06 17:07:34
419
原创 SparkStreaming项目实战（二）环境搭建
主要讲解项目中用到的软件，以及介绍软件的安装目录，不会详细的介绍软件如何安装，具体的安装教程网上很多很详细 这里顺便记录一下老师提到，我也觉着很有用的一个学习习惯： 1、记笔记：把每次课程仔细总结为博客 2、阅读官网、英文 + 阅读github官网项目 3、多尝试、多思考，每个都要自己敲出来结果环境配置以一张表格简单记录服务器软件以及对应的版本，因为大数据很多会涉及到版本冲突问题，...
2018-09-04 20:22:46
1830
原创 SparkStreaming项目（一）项目背景
本项目主要是慕课网上实战视频，通过自己实践记录 视频地址： https://coding.imooc.com/class/153.html 记录项目的实践，包括项目过程中的详细步骤以及代码，主要涉及大数据生态实时流处理的知识，包括： Flume分布式日志收集框架 Kafka分布式消息队列 SparkStreaming整合Flume以及Kafka 数据可视化功能实现主要实现俩个...
2018-09-04 19:57:36
650
原创 GeoSpark测试--以Spark yarn模式运行
之前简单了解了GeoSpark的一些基础知识，以及如何运行，但是仅仅在standalone模式运行测试通过，之后拿到集群上进行Spark yarn模式运行一直报错。记录一下填坑历史： 由于时间过去比较久，之前过程也一直没有记录，仅仅是回忆自己部分的调试过程。jar包配置其实到现在我还是不太清楚这部分是怎么更好的解决，希望在我叙述完，知道的同学可以帮我解惑。 因为考虑到项目的本地运行...
2018-08-29 10:13:04
1356
1
原创 VS2017+MySQL8.0+MySQLconnector连接数据库
参考： 官网VisualStudio连接MySQL教程 使用MySQL connector/C++链接MySQL数据库 C++ API方式连接mysql数据库实现增删改查 C++连接mysql数据库的两种方法 【C++】VS2015/VS2017连接Mysql数据库教程 实验室需要使用C++进行数据库应用开发，现将MySQL连接的过程记录如下：...
2018-07-23 11:20:24
12726
1
原创 MySQL数据库备份与还原--mysqldump
参考： mysql备份与还原数据库备份格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –database 数据库名 > 文件名.sql 主机以及端口名可以省略不写 比如我root下有数据库University 可以使用如下命令备份mysqldump -u root -p University>University.sql接下来会提示输...
2018-07-19 19:44:46
494
转载 （转）解决Ubuntu无法从外部应用启动Chrome打开链接的问题
遇到的问题：从外部应用（如WPS Presentation）打开连接后，chrome只显示一个空的标签，不会自动跳转 平台：Ubuntu 16.04 Desktop解决办法：https://askubuntu.com/questions/689449/external-links-are-opened-as-bl...
2018-07-16 15:10:15
607
原创 MySQL+IDEA实现JDBC连接
参考： MySQL JDBC Driver 5.1.33 - Time Zone Issue MySQL Connectors Java下载及使用 win10系统，mysql-installer-community-5.7.21.msi安装环境WIndows10+MySQL8.0+IDEA2017.3EnterpriseMySQL安装这部分详细不多说，详细参考以上所列文章...
2018-07-14 19:59:30
11164
2
原创 浅谈Java中String、StringBuffer、StringBuilder
参考： https://www.programmergate.com/stringbuilder-vs-stringbuffer/ https://blog.csdn.net/rmn190/article/details/1492013 https://droidyue.com/blog/2014/12/21/string-literal-pool-in-java/String 字符串常...
2018-07-12 11:10:26
158
原创 实现俩个整数变量的交换
临时变量通过临时变量实现交换：public class Test { public static void main(String[] args) { int x = 10; int y = 5; int temp; temp = x; x = y; y = temp; ...
2018-06-28 17:11:24
474
原创 DataFrame数据操作以及与RDD互相操作案例
Dataframe基本操作主要对于DataFrame学习的一些简单操作，代码如下：import org.apache.spark.sql.SparkSession/** * DataFrame 基本操作 */object DataFrameApp { def main(args: Array[String]): Unit = { val spark = Spa...
2018-06-14 11:21:07
467
原创 SparkSQL读取json文件简单实现（三）
继上面实践了一些简单的读取文件，简单操作了SparkSQL的入口方法，但是要知道之前的方法都是已经过时了的方法，是Spark1.x中使用的，而最新的2.x版本使用SparkSession作为SparkSQL的入口函数 接下来我们通过简单的代码来在集群操作测试定义基本的使用格式：val spark = SparkSession .builder() .appName("Sp...
2018-06-08 16:18:54
501
原创 SparkSQL读取json文件简单实现（二）
继上一篇文章中简单介绍了如何在本地调试SparkSQL，详细地址，接下来我们测试如何将该功能在集群上实现，毕竟我们生产生活中数据量是很大，需要借助集群来进行相关的功能...
2018-06-08 10:50:25
812
原创 SparkSQL读取json文件简单实现（一）
运行前提： 搭建Hadoop + Spark集群，安装jdk1.8及以上版本，Scala2.11，maven31、新建maven项目 这里需要注意的是我们为了方便，直接勾选Create from archetype，然后从下面列表中选择scala archetype simple 2、填写GAV这里按照个人设置，说白了GroupID就是公司的域名倒过来写 artifactId...
2018-06-07 22:05:00
9058
2
原创 向HDFS提交数据并读取测试WordCount案例
要使用hdfs需要切换到Hadoop安装目录下，然后使用命令bin/hdfs dfs -ls / 可以查看对应节点hdfs文件系统下的目录结构 接着将测试数据放到hdfs上，这里是将数据放到/testdata目录下bin/hdfs dfs -put /word.txt /testdata注意这里的word.txt是自己在namenode根目录创建的文件，内容如下： 查看...
2018-04-28 16:35:38
1195
原创 Spark集群搭建--节点DataNode网页无显示
按照网上教程搭建好Hadoop以及Spark集群后，最开始都可以正常显示，但是有一台节点后面系统重装，再搭建过程出现问题，localhost:50070始终无法看到DataNode信息，找了很多教程试了几种方法没有解决，Spark集群的显示是正常的 最后发现在Hadoop format以及启动关闭过程中/usr/local/hadoop/dfs 目录下生成data文件，网上说里面的version...
2018-04-24 10:49:59
759
原创 Ubuntu+SVN+无法连接服务器
项目要求要用svn，系统在这之前装上了Ubuntu 想着使用svn，最开始很开心的知道Ubuntu软件源有内置的svn，好，从命令行安装成功（这部分自行网上教程） 接着开始按照教程把项目迁到本地svn co [项目地址] 连不上服务器？ 查询了服务器是对的，开始各种搜索，问别人，没有解决 是不是服务器没开？ 主机不存在？ 而且在Windows上输入是可以打开的，可以进...
2018-04-23 17:25:18
1811
原创 Java引用传递
引用传递的实质就是不同栈内存空间可以指向同一块堆内存空间，并对其内容进行修改，以下通过３个代码案例详细介绍案例一class Message{ private int anInt = 10; public Message(int anInt){ this.anInt = anInt; } public void setAnInt(int ...
2018-04-13 22:57:31
133
原创 String实例化的两种方法及其区别
对于Java中String对象的实例化来说，总共有两种实例化方法直接赋值String strA = "Hello World";利用构造方法newString strB = new String("Hello World");String对象的实例化比较简单，但是我们这里主要是深入理解其底层的设计以及在内存中的区别，接下来说一下，通过这两种方法实例化的对象有什么...
2018-04-10 21:13:02
740
原创 一维数组创建的几种方法
数组可以说是对于每种语言学习中的最基础的数据结构之一，几乎是在所有项目中都会涉及到数组的使用，接下来就详细介绍一下数组的声明、创建和初始化以及实例代码解析，以Java语言描述声明数据类型 数组名称[]或数据类型[] 数组名称 //首选的方法这部分来说俩种声明方式的效果是相同的，但是推荐首选第一种方法来声明，因为第一种方法更加直观，更具有可读性，可以通过声明看出是一种引用类型，而...
2018-04-07 22:14:10
8016
原创 简单Java类开发要求
简单Java类的开发应该是所有Java开发过程中最简单也是最基础的一种开发，说白了就是不会涉及到一些循环、判断等结构的Java类开发，比如说简单的一个图书管理系统等等，通常是Java基础学习完成后第一个小的项目。 对于简单开发类，开发要求如下： 1、类名称必须存在有意义，比如说：Book、Empire等 2、类中的所有属性必须使用private封装，封装后的属性必须提供setter和gett...
2018-04-07 19:31:31
290
原创 自增自减运算
Java中，对于初学者来说，很容易混淆的一个知识点就是对于运算符这部分关于自增自减的理解，自增(++)和自减(–)两种运算符，这两种运算符帮助我们在编写程序的时候简化了代码。 这里需要注意的几点如下：public class NumAdd { public static void main(String []args){ /** * 1、这里不管...
2018-04-07 15:12:12
541
原创 GeoSpark学习--初识GeoSpark
背景传统的不足： 数据存储方面： 1、现有的数据存储主要是多依赖关系型数据库，比如Oracle等，但是关系型数据库在海量数据管理、高并发读写以及扩展性方面有很大的局限 2、传统的空间数据存储方式不但难以扩展，而且随着数据的激增读写性能存在极大瓶颈 3、传统的分布式文件系统虽然可以存放在不同的节点上，但这种分布式文件系统所支持的扩展性有限 数据分析方面： 大数据时代的数据是处处连...
2018-04-02 12:13:00
9588
6
原创 Android学习系列——ImageView用法
用Android开发也有一段时间，因为是从一开始就做项目，很多东西就是模仿着做，也没有仔细研究，准备把一些开发过程中遇到的需要注意区分的细节写下来，让思路清晰一些，以后用到也可以看看。ImageView用法ImageView就是Android中用来显示图片的一个控件区分属性android:src和android:background 设置俩个ImageView，分别用不同属性
2018-01-30 11:45:48
434
原创 前言
今天是2018年1月27日，武汉迎来了一场久违的大雪，好久之前就想着搭建博客，写写自己平时的一些心得体会。但是奈何一直沉（mang）迷（yu）学（suo）习（shi），直到上周才断断续续的搭建起最初的版本欢迎访问，后续再慢慢的更新优化。今天也算是博客网站初次搭建好第一次开始写自己的博客，所以还是蛮有纪念意义的。 趁着今天这个日子，写一下自己的一些感想，包括对过去半年的总结，以及对2018年的憧憬
2018-01-28 13:25:21
278
原创 GithubPages+Hexo搭建个人博客
如果是有个人服务器的话，建议选择WP（wordpress）搭建个人博客，可以参考这篇文章VPS+LNMP+WordPress搭建个人网站。没有的话，Hexo确实是一个很好的选择，一来简洁大方，十分优雅，二来能够自己折腾，可以设计的地方很多。 好，话不多说，接下来详细介绍我搭建个人博客的过程。 我的GithubPages+Hexo博客 欢迎访问我的Hexo博客安装环境win10企业
2018-01-27 20:38:03
342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人