- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 多台机器比对抽取SFTP数据至hdfs_shell脚本简易版
当SFTP中数据量过大时，一台机器可能抽取不过来，可以利用多台机器抽取，该shell脚本实现的功能有：多台机器比对已下载文件和sftp中文件，下载没有下载过的文件 多台机器不需要通信，简化布置难度 将下载到的大量小文件合并后，将“前缀-日期....”命名的文件上传到hdfs对应的日期目录下 记录下载的文件名、文件大小、文件数量和合并后的文件数量、文件大小 需要用到except组件，请单独安装，except组件可离线安装，请字行百度#!/bin/bash#/home/data/script.
2020-12-09 16:24:27
404
1
原创 CTF-hackme-Misc-slow-解题记录
题目：nc hackme.inndy.tw 7708OMG, It's slow.解题步骤本题采用的是时序攻击，第一次见这种题目，也是参靠了别人的代码做出来的具体原理就是用你输入的flag和数据库中的从第一位开始比对，比对到错误的那一位直接退出。假设每比对一位的耗时是1s，正确的flag前五位一定是FLAG{当输入FLAG{_}时，如果耗时6s，说明第六位_是错的，因为比对到_就退出了，如果耗时7s，则说明_是对的，因为比对到第7位}才退出利用这种原理，可以一位位的破解出flag此题及
2020-10-24 17:27:18
401
1
原创 《hadoop权威指南》辅助排序
MaxTemperatureUsingSecodarySort.java ：package com.hadoop.ncdcdata;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;...
2019-12-18 15:44:33
157
原创 《hadoop权威指南》读书摘要
1、MapReduce执行流程RecordReader->读取文件数据，将数据拆分为kv对map阶段->调用用户定义程序处理kv对，并对数据进行分区（job.setPartitionerClass）后存储到“环形内存缓冲区”， 当缓冲区达到一定阈值时（默认80%），会启动后台线程将部分数据溢出写入（spill）磁盘的临时文件中， 将数据写入文件...
2019-12-18 15:38:45
183
原创 【程序解题】图中有几个三角形
在上看到一道题目，感觉蛮有意思，于是拿来练练编程，打算编写一个可以解决此类找三角形数的通用程序：具体的题目是：数出图中共有多少个三角形：大体思路是先给三角形的点（蓝色）和线（红色）编号：再构建一个二维数组，以每点为一维，元素是经过该点的线；遍历所有三点的组合，判断能否组成三角形，判断条件为：三点两两共线且三点不共线。具体代码：import java.util.Arr...
2019-12-04 18:34:53
10588
原创 Spark SQL解析复杂、嵌套、加密json大文件数据思路（java）
文件gz压缩格式20G，解压后200G左右，每行都是一个json字符串，大概500w行。每行json格式简化后如下：{ "tel": "15311111111111", "mac": "33:D3:B3:43:83:03", "name": "zhongxing", "type1": "140102", "timestamp": "1572735114", "event": {...
2019-12-04 18:04:40
1070
原创 4台虚拟机实现高可用Hadoop集群步骤
目录一、集群安装1、软件版本选择2、机器配置 1）4台机器分配 2）修改hosts 3）免密登录3、软件安装 1）安装jdk 2）安装zookeeper 3）安装hadoop 4）小结二、启动集群1、启动zookeeper2、启动hadoop1）启动journalnode进程初始...
2019-09-26 20:44:55
1463
12
原创 【数据结构与算法经典问题解析】直方图中最大矩形
出自第四章问题24问题24 直方图中的最大矩形： 直方图是由排列在同一基线上的一系列矩形组成的多边形。为了简单起见，假设这些矩形的宽度相等但高度可能不同。例如，下图1给出了一个直方图，其中各个矩形的高度为3、2、5、6、1、4、4，宽度为标准1单位。当给定了一个保存所有矩形高度的数组时，如何找到其中最大的矩形。对于给定的例子，最大矩形如图2阴影部分所示： 图1图2
2016-12-30 15:30:46
858
原创 Hive配置hive-site.xml后启动出错
错误信息：[hadoop@hadoop1 conf]$ hiveLogging initialized using configuration in jar:file:/home/hadoop/happ/apache-hive-0.14.0-bin/lib/hive-common-0.14.0.jar!/hive-log4j.propertiesSLF4J: Class path c
2016-11-16 16:21:35
5650
原创 spring系列知识速记
一、bean注入方式1、设值注入2、构造注入二、bean配置项bean配置项Id标识符Class指定类 Scope作用域Constructor arguments构造器参数Properties自身属
2016-10-25 17:11:59
629
原创 【慕课网Spring系列学习攻略】IOC及Bean容器篇
从慕课网的java工程师路径一路学上来，感觉很顺利，但鉴于Spring系列对新手不太友好，写点我的理解希望对新手有点帮助！慕课网地址：http://www.imooc.com/learn/1961、搭建环境 由于老师用的环境比较复杂，我们暂时不需要那么复杂的环境，可以先搭建一个简单点的！注重对知识的学习即可：在eclipse中新建web工程：填入项
2016-10-20 11:57:13
808
hadoop-2.4.1 64位 libhadoop.so.1.0.0
2016-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人