( :3 )

原创 util.sh 脚本

#!/bin/bashfor i in zzz@hadoop101 zzz@hadoop102 zzz@hadoop103do echo "=========== $i ===========" ssh $i '/opt/module/jdk1.8.0_144/bin/jps'done/home/zzz/bin目录下touc...

转载 Xshell发送命令到全部会话

转载 IDEA中提示：Warning:java: 源值1.5已过时, 将在未来所有发行版中删除

问题描述：运行Java Web项目时，IDEA中提示：Warning:java: 源值1.5已过时, 将在未来所有发行版中删除解决方法：1. 打开【File】—【Project Structure】，找到以下两个地方：Project Structure->Project里Project sdk以及project language levelProject Struct...

原创 scala惰性函数

惰性计算（尽可能延迟表达式求值）是许多函数式编程语言的特性。惰性集合在需要时提供其元素，无需预先计算它们，这带来了一些好处。首先，您可以将耗时的计算推迟到绝对需要的时候。其次，您可以创造无限个集合，只要它们继续收到请求，就会继续提供元素。函数的惰性使用让您能够得到更高效的代码。Java 并没有为惰性提供原生支持，Scala提供了。介绍当函数返回值被声明为lazy时，函数的执行将被推迟，直到...

原创 HDFS的数据流

HDFS写数据流程剖析文件写入1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。（如果已经存在，会返回already exist）3）客户端请求第一个 Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataN...

原创 HDFS的API操作

准备工作：IDEA > HDFS客户端准备目录文件上传文件下载文件夹删除修改文件名称查看文件详情文件和文件夹的判断完整代码文件上传注意conf.set("dfs.replication","2");的位置，位置不一样，设置的副本数不一样HDFS参数优先级说明（由高到低）：代码中 > resources中的hdfs-site.xml > ...

原创 scala while循环中断

Scala内置控制结构特地去掉了break和continue，是为了更好的适应函数化编程，推荐使用函数式的风格解决break和contine的功能，而不是一个关键字。如何实现continue的效果Scala内置控制结构特地也去掉了continue，是为了更好的适应函数化编程，可以使用if – else 或是 循环守卫实现continue的效果break的应用实例：import...

原创 IDEA > HDFS客户端准备

在此之前：先进行在IDEA 中为Maven 配置阿里云镜像源1、将资料包中的压缩包解压到一个没有中文的目录下（想要这个版本的压缩包可以私聊我）2、配置HADOOP_HOME环境变量3、配置Path环境变量4、创建一个Maven工程HDFSClientDemo5、在pom.xml中添加依赖<dependencie...

原创 在IDEA 中为Maven 配置阿里云镜像源

打开IntelliJ IDEA->Settings ->Build, Execution, Deployment -> Build Tools > Maven注意要勾选上override自己创建一个settings.xml文件，内容如下<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"...

原创 在linux中只将“桌面”修改成“Desktop”而系统仍然使用中文

在安装好centos系统以后，它的Desktop，Downloads等文件夹都是中文的，桌面，下载等，这样在使用cd命令时特别不方便解决方法一：下载一个中文输入法，安装解决方法二：①：修改il8n文件命令：vim /etc/sysconfig/i18n将LANG="zh_CN.UTF-8"修改为LANG="en_US.UTF-8"，重启系统，它会提示你标准文件夹的语言是否修改，...

原创 linux的目录结构

基本介绍：linux的文件系统是采用级层式的树状目录结构，在此结构中的最上层是根目录“/”，然后在此目录下再创建其他的目录。在Linux世界里，一切皆文件（即使是一个硬件设备，也是使用文本来标志）/lib：系统开机所需要最基本的动态连接共享库。几乎所有的应用程序都需要用到这些共享库。/lost+found：这个目录一般情况下是空的，当系统非法关机后，这里就存放了一些文件...

原创 Hadoop运行模式 之 伪分布式运行模式

什么是伪分布式模式？它与本地运行模式以及完全分布式模式有什么区别？伪分布式的配置信息，完全是按照完全分布式的模式去搭建的，但是它只有一台服务器，可以用于学习和测试，真正的开发中不可以使用。etc/hadoop/core-site.xml：指定HDFS中NameNode的地址hadoop.tmp.dir：hadoop运行时产生文件的存储目录...

原创 Hadoop运行模式 之 本地运行模式

Hadoop的运行模式包括：本地模式、伪分布式模式以及完全分布式模式Hadoop官网地址：https://hadoop.apache.org/本次使用的Hadoop的版本是2.7.2官网文档：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html一、官...

原创 Java面向对象三大特征 之 多态性

1、理解多态性：可以理解为一个事物的多种形态2、对象的多态性：父类的引用指向子类的对象（子类的对象赋给父类的引用）3、多态的使用：虚拟方法的调用子类中定义了与父类同名同参数的方法（重写），在多态情况下，将此时父类的方法称为虚拟方法（虚方法），父类根据赋给它的不同的子类对象，动态调用属于子类的该方法，这样的方法调用在编译期是无法确定的。Q：多态是编译时行为还是运行时行为？ A：运行时...

原创 Hadoop运行环境搭建

一、虚拟机环境准备1、克隆虚拟机参考：VMware15克隆虚拟机Centos2、修改克隆虚拟机的静态IP

原创 Linux 用户管理

Linux中有用户、用户组、家目录的概念Linux用户至少需要属于一个组。/home/目录下有各个创建的用户对应的家目录，当用户登陆时，会自动的进入到自己的家目录。目录添加用户指定/修改密码删除用户查询用户信息切换用户查看当前用户/登录用户用户组新增组删除组增加用户时直接加上组信息修改用户组用户和组的相关文件用户配置文件（用户信息） ...

原创 Linux 网络配置

仅仅通过点击的方式连接网络，获取的IP是动态的，有可能重新启动系统之后，IP就变了，所以不能满足开发的需求，所以需要学习网络配置方面的知识。一、查看虚拟网络编辑器二、修改ip地址（修改虚拟网络的ip/vmnet8虚拟网卡）三、查看网关四、在windows中查看VMnet8网络配置1、cmd输入ipconfig2、界面查看右键点击无线网图标 -->...

原创 Hadoop 三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。1. Apache Hadoop官网地址：http://hadoop.apache.org/releases.html下载地址：https://archive....

原创 关联scala源码

查看源码, 选择要查看的方法或者类, 输入 ctrl + b首先需要去官网下载sources将下载好的压缩包拷贝到scala安装的lib目录下，解压ctrl+b以后

原创 eclipse Debug中step into功能失灵的问题

step into 和 step over功能一样，无法进入方法内部，解决方法如下：需要使用jdk中的jre，而不是独立安装的jre再次Debug，当运行到断点的时候，点击step into（F5）就可以看见println函数的源码了public static void main(String[] args) { int[] arr = new i...

原创 VMware15克隆虚拟机Centos

在克隆虚拟机之前，我们需要了解以下文件：1、/etc/udev/rules.d/70-persistent-net.rules这是网卡有关信息的配置文件，我们可以先查看一下master的网卡信息（当然也可以用ifconfig命令查看）要注意的是网卡名称以及MAC地址。MAC地址（产品出产后Mac地址就固定了）用于在网络中唯一标示一个网卡，一台设备若有一或多个网卡，则每个网卡都需要并都会...

原创 win10 VMware15 安装 CentOS6.4 64位（慢慢弄吧，别急）

参考：CentOS 6.4安装（超级详细图解教程）

转载 U盘中毒了？教你如何删除System Volume Information这个顽固文件夹

不得不说cmd命令很好用呢。最近我的U盘中毒了，格式化都删除不了System Volume Information这个顽固的文件夹，真心伤不起哇！还好现在解决了问题。看来以后得好好对待U盘，不能乱用了。本篇文章教大家如何删除System Volume Information这个顽固文件夹。希望对你有用。我的电脑是win10，win+R搜索cmd，启用cmd命令编辑器，并输入以下命令：att...

转载 Pycharm快捷键

1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档F1 Web帮助文档主页Shift + F1 选中对象的Web帮助文档Ctrl + 悬浮/单击鼠标左键 简...

原创 【Python】zip函数

zip()函数用于将可迭代对象作为参数，将对象中对应的元素打包成一个个元组，然后返回这些由元组组成的列表。如果各个迭代器的元素不一致，则返回列表长度与最短的对象相同。利用*号操作符，可将元组解压为列表。>>> a = [1,2,3]>>> b = [4,5,6]>>> list(zip(a,b))[(1, 4), (2, 5), (...

转载 win10+Chrome浏览器截长图方法

本方法亲测可行，操作系统为win10，其他操作系统没有试过。部分内容基于https://blog.csdn.net/ianly123/article/details/80565614并进行修正。打开 Chrome 浏览器，进入需要截图的网站页面。 打开开发者工具：在页面任何地方点击鼠标右键，在弹出菜单中选择「检查」选项。或者使用快捷键组合：Ctrl+ shift+ i。 打开命令行...

原创 【PAT (Basic Level) 】1030 完美数列 (25 分)

给定一个正整数数列，和正整数 p，设这个数列中的最大值是 M，最小值是 m，如果 M≤mp，则称这个数列是完美数列。现在给定参数 p 和一些正整数，请你从中选择尽可能多的数构成一个完美数列。【输入格式】：输入第一行给出两个正整数 N 和 p，其中 N（≤105）是输入的正整数的个数，p（≤109）是给定的参数。第二行给出 N 个正整数，每个数不超过 10^9。【输出格式】：在一行中输出最...

原创 【PAT (Basic Level) 】1028 人口普查 (20 分)

某城镇进行人口普查，得到了全体居民的生日。现请你写个程序，找出镇上最年长和最年轻的人。这里确保每个输入的日期都是合法的，但不一定是合理的——假设已知镇上没有超过 200 岁的老人，而今天是 2014 年 9 月 6 日，所以超过 200 岁的生日和未出生的生日都是不合理的，应该被过滤掉。【输入格式】：输入在第一行给出正整数 N，取值在(0,10^5]；随后 N 行，每行给出 1 个人的姓名（由...

原创 【PAT (Basic Level) 】1025 反转链表 (25 分)

给定一个常数K以及一个单链表L，请编写程序将L中每K个结点反转。例如：给定L为 1→2→3→4→5→6，K为 3，则输出应该为 3→2→1→6→5→4；如果K为 4，则输出应该为 4→3→2→1→5→6，即最后不到K个元素不反转。【输入格式】：每个输入包含 1 个测试用例。每个测试用例第 1 行给出第 1 个结点的地址、结点总个数正整数N(≤10​^5​​)、...

原创 【PAT (Basic Level) 】1024 科学计数法 (20 分)

科学计数法是科学家用来表示很大或很小的数字的一种方便的方法，其满足正则表达式 [±][1-9].[0-9]+E[±][0-9]+，即数字的整数部分只有 1 位，小数部分至少有 1 位，该数字及其指数部分的正负号即使对正数也必定明确给出。现以科学计数法的格式给出实数 A，请编写程序按普通数字表示法输出 A，并保证所有有效位都被保留。【输入格式】：每个输入包含 1 个测试用例，即一个以科学计数法...

原创 【PAT (Basic Level) 】1015 德才论 (25 分)

宋代史学家司马光在《资治通鉴》中有一段著名的“德才论”：“是故才德全尽谓之圣人，才德兼亡谓之愚人，德胜才谓之君子，才胜德谓之小人。凡取人之术，苟不得圣人，君子而与之，与其得小人，不若得愚人。”现给出一批考生的德才分数，请根据司马光的理论给出录取排名。【输入格式】：输入第一行给出 3 个正整数，分别为：N（≤10^​5​​ ），即考生总数；L（≥60），为录取最低分数线，即德分和才分均不低于 L...

原创 【PAT (Basic Level) 】1014 福尔摩斯的约会 (20 分)

大侦探福尔摩斯接到一张奇怪的字条：我们约会吧！3485djDkxh4hhGE 2984akDfkkkkggEdsb s&hgsfdk d&Hyscvnm大侦探很快就明白了，字条上奇怪的乱码实际上就是约会的时间星期四 14:04，因为前面两字符串中第 1 对相同的大写英文字母（大小写有区分）是第 4 个字母 D，代表星期四；第 2 对相同的字符是 E ，那是第 5...

原创 【POJ】3268 Silver Cow Party （将有向图的边反转）

POJ 3268 Silver Cow Party问题链接：http://poj.org/problem?id=3268【问题描述】One cow from each of N farms (1 ≤ N ≤ 1000) conveniently numbered 1…N is going to attend the big cow party to be held at farm #X (1...

原创 【HDU】4706 Children's Day（模拟）

http://acm.hdu.edu.cn/showproblem.php?pid=4706该题没有输入，直接输出不同形状大小的N，在输出不同形状N的时候是要用到26个字母，并且是循环输出#include <iostream>using namespace std;char map[60][60];char a[] = "abcdefghijklmnopqrs...

转载 Jupyter Notebook 快捷键（基本）

Jupyter Notebook 快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter: 转入编辑模式 Shift-Enter: 运行本单元，选中下个单元 Ctrl-Enter: 运行本单元 Alt-Ente...

转载 Markdown基本语法

Markdown是一种纯文本格式的标记语言。通过简单的标记语法，它可以使普通文本内容具有一定的格式。相比WYSIWYG编辑器优点：1、因为是纯文本，所以只要支持Markdown的地方都能获得一样的编辑效果，可以让作者摆脱排版的困扰，专心写作。2、操作简单。比如:WYSIWYG编辑时标记个标题，先选中内容，再点击导航栏的标题按钮，选择几级标题。要三个步骤。而Markdown只需要在标题内...

转载 GitHub怎样fork别人代码到自己仓库并进行贡献

在过程中可能遇到这个问题：https://www.cnblogs.com/q1104460935/p/8275833.html这个博客应该可以解决比如说现在有一个很牛逼的项目，我们进入项目地址，想将这个项目复制到自己的github仓库，然后你还想将仓库中的代码拉取到本地进行修改，修改完你还要将本地的修改后的代码推送到自己的github仓库，更甚至你还想将自己复制过来并修...

原创 【Python】随机函数

import random1、random.random()返回随机生成的一个实数，它在[0,1)范围内2、random.uniform(a,b)用于生成一个指定范围内的随机浮点数，两格参数中，其中一个是上限，一个是下限。如果a>b，则生成的随机数n，即b<=n<=a；如果a>b，则a<=n<=b。3、random.randint(a...

原创 【HDU】3635 Dragon Balls （带权并查集 一）

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=3635【问题描述】有标号为1到n的n个龙珠，分别放在对应标号为1到n的n个城市里。下面有两种操作:T A B表示把A龙珠所在城市的所有龙珠都转移到B龙珠所在的城市中Q A 表示查询A，需要知道A龙珠现在所在的城市，A所在的城市有几颗龙珠，A转移到这个城市移动了多少次,分别输出3个整数...

转载 怎样使用 GitHub？

推荐官方教程：Hello World教程【知乎】如何使用GitHub?1.写在前边的话，为什么要写CitHub?跟朋友在交流的时候听到求职的时候发现有些公司要附Github帐号，一个优秀的 GitHub 账号当然能让你增色不少。自己之前听说过，但没有花时间研究，最后花了时间看了CitHub的文档，还有一些程序员写的的blog，就写下来了。2.GitHub 是什么？gitH...