- 博客(23)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Android App防篡改
App打开时，将哈希值传到后端做比对，返回比对结果。若比对不通过，关闭app。app安卓端获取apk哈希值： /** * 校验完整性 * @return */ public String getCode() { String apkPath = getPackageCodePath(); MessageDigest msgDigest = null; FileInputStream fis = null; try { msgDigest = MessageDigest.ge
2021-08-13 15:57:32
958
原创 curl实例
#### curl soap请求```curl -v -H "Content-Type: text/xml;charset=UTF-8" -H -d --data @stock_request http://127.0.0.1:8080/services/TestSoapHttpSoap11Endpoint/命令当前目录下创建文件：stock_request，内容：<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/...
2021-07-15 17:16:07
759
原创 java启动脚本
PID=$(ps -ef|grep TestMain|grep -v grep |awk '{print $2}')BASE_DIR=/app/test/WEB-INF/codesLIB="/app/test/WEB-INF/lib"for libfile in ${LIB}/*.jar ; doif [ -f $libfile ] ; then CLASSPATH=$libfile:${CLASSPATH}fidoneexport CLASSPATH=${CLASSPATH.
2021-07-15 17:07:08
133
原创 jdbc和java文件处理
import java.io.*;import java.sql.*;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.*;import java.util.Date;public class UserAsyMain implements Runnable { static Connection conn = null; static String path = ..
2021-07-15 17:04:54
91
原创 Windows查看Java内存使用情况
Windows查看Java程序运行时内存使用情况1.在cmd命令窗口输入 jconsole ,弹出Java监视和管理控制台窗口，点击“连接”菜单，选择“新建连接”，弹出选择要查看的进程的窗口。2. 选择查看的进程，并点击“连接”按钮，打开监控窗口，按需求可以查看：内存、进程、类、VM等...
2021-07-08 11:53:14
2101
原创 httpClient5.0简单使用实例
maven引入 <dependency> <groupId>org.apache.httpcomponents.client5</groupId> <artifactId>httpclient5</artifactId> <version>5.0.1</version> </dependency>htt
2021-02-17 20:50:14
5013
原创 httpClient4.5简单使用实例
maven引入<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.12</version></dependency>Java代码import org.apache.http.Consts;import org.apac
2021-02-17 20:41:18
560
1
原创 jsoup简单用法实例
maven工程需要引入： <dependency> <!-- jsoup HTML parser library @ https://jsoup.org/ --> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.13.1&
2021-02-17 19:00:27
182
原创 scala 函数式编程 实例
1、遍历 foreachforeach(f: (A) => Unit): Unitscala> val a = List(1,2,3,4)val a: List[Int] = List(1, 2, 3, 4)scala> a.foreach((x:Int) => {println(x)})1234scala> a.foreach((x:Int) => println(x)) --类型推断，不需要指定1234scala> a.f
2021-02-17 17:21:20
382
原创 Scala 不可变List列表操作
不可变List列表操作创建空列表scala> val list = Nilval list: collection.immutable.Nil.type = List()scala> val list = List()val list: List[Nothing] = List()创建带初始值的列表scala> val list = List("aa", "bb", "cc")val list: List[String] = List(aa, bb, cc)sca
2021-02-17 16:42:23
364
原创 Hadoop HDFS 高可用解决方案
Hadoop官方推荐的解决方案是：Quorum Journal Manager（仲裁日志管理器，简称：QJM）。QJM处理方式：1、使用zookeeper中的ZKFC来实现主备切换；2、使用Journal Node(JN)集群实现edits log的共享达到数据同步的目的；3、使用zookeeper客户端ZK Failover Controller来监控和管理NameNode的健康状态；集群搭建：1、服务器环境免密登录、集群时间同步、JDK、hostname等的配置..
2021-02-04 17:28:39
765
原创 zk集群配置
1、安装录结构root@ZK-405-0109-SEV-HW2288-2U30:/zkapp/zookeeper>lltotal 4drwxr-x--- 3 zkapp zkgroup 63 Dec 19 09:39 zkdatadrwxr-x--- 3 zkapp zkgroup 23 Nov 27 11:36 zklogsdrwxr-x--- 10 zkapp zkgroup 4096 Mar 25 2019 zookeeper-3.4.132、集群节点配置zkd
2021-02-04 17:19:57
604
原创 HDFS白名单和黑名单机制
白名单允许哪些机器可以加入到当前的HDFS集群中。通过在hdfs-site.xml中配置dfs.hosts参数来指定白名单，dfs.hosts默认值为空，表示所有机器都可以加入集群中。白名单配置和启动过程：1、创建 dfs.hosts 文件，并添加白名单的主机名称，每行一个主机文件路径在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下2、在 hdfs-site.xml 配置文件中配置 dfs.hosts 属性<prope.
2021-02-04 16:18:03
1218
转载 HDFS 纠删码 EC
https://blog.csdn.net/zpf_940810653842/article/details/106530221
2021-02-04 15:46:07
134
原创 HDFS负载平衡器和磁盘均衡器
HDFS负载平衡器Hadoop的HDFS集群中DataNode之间很可能会出现分布不均匀的情况，比如新增了集群节点、删除节点等。当数据不均匀时，处理数据时会集中在某一些节点上，可能导致相关node节点的网络带宽消耗到瓶颈，而新增或数据较少的节点处于空闲状况。在上面的情况下，可以通过HDFS的负载均衡器进行调整，使数据平均分布在各个Node节点上，均衡各项资源的性能，从而提升DataNode节点和集群的利用率。balancer配置 命令行说明Usage: hdfs balance..
2021-02-04 15:42:31
1104
原创 HDFS短路本地读取(Short Circuit Local Reads)
在HDFS中，读取操作都是通过DataNode来进行的。因为需要DataNode在中间做一次中转，所以对性能有一定的影响。客户端是否可以跳过DataNode直接对文件进行操作？只有客户端和数据在同一台服务器上，可以通过“短路”本地读取直接读取文件。所谓“短路”读取，就是允许绕过DataNode让客户端直接读取文件，从而提升文件的读取性能。HDFS的“短路”读取是建立在Linux中的Unix Domain Socket技术上的。Unix Domain Socket是一种进程间的..
2021-02-03 18:20:31
1015
原创 HDFS NameNode的安全模式
在安全模式期间，客户端只能浏览HDFS文件系统目录层次结构，但是不能写HDFS（创建文档夹、上传文档、删除文档 都不能操作）。安全模式启动的两种情况：1、自动启动和关闭，当只启动了NameNode或DataNode还未完成块数量的99.9%上报时， NameNode就在安全模式下。2、通过命令手工启动和关闭安全模式。自动启动和关闭安全模式NameNode启动时，会读取映射文件fsimage载入内存，并执行编辑日志edits中的各项操作，这个过程中会更新内存中的元数据，并将内存..
2021-02-03 15:33:58
1594
2
原创 DistCp（分布式拷贝）
DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。DistCp使用Map/Reduce和文件系统API进行操作。对于HDFS来说，源和目的端要运行相同版本的协议或者使用向下兼容的协议。拷贝完成后，建议生成源端和目的端文件的列表，并交叉检查，来确认拷贝真正成功。基本使用方法1、DistCp最常用在集群之间的拷..
2021-02-03 14:43:18
1353
原创 HDFS异构存储简介
企业数据中可分为实时数据、热数据、冷数据、极冷数据，不同的数据在使用频率上存在很大的区别比如实时数据可能是需要实时处理并实施反馈给客户端，而冷数据是不常用可能几周或者几个月才会用到一次。考虑到上面实际情况，HDFS通过异构存储机制将不同需求或者冷热数据存储到不同的介质中，即兼顾了性能又兼顾了成本。HDFS异构存储声明了4种存储类型：RAM_DISK（内存）SSD（固态硬盘）DISK（机械硬盘），默认使用ARCHIVE（高密度存储介质、存储归档历史数据）异构存储的开启需..
2021-02-03 11:23:09
349
原创 Web方式访问HDFS
Hadoop提供了两种Web方式访问HDFS，分别是：WebHDFS和HttpFS。WebHDFSWebHDFS提供了访问HDFS的RESTful接口，是内置组件，并且默认开启，运行于NameNode和DataNode中，对HDFS文件的读写，将会重定向到文件所在的DataNode，并且会完全利用HDFS的带宽。；WebHDFS访问时，首先访问NameNode获知文件所在的DataNode地址，然后重定向到目标DataNode获取文件内容；WebHDFS默认端口是50070和50075.
2021-02-02 16:30:42
9943
原创 Java项目的命令行参数解析器（google-options）
Java项目的命令行参数解析器maven依赖配置<dependency> <groupId>com.github.pcj</groupId> <artifactId>google-options</artifactId> <version>1.0.0</version></dependency>java代码创建扩展和定义的解析器类。import com.google.devtoo
2021-02-02 09:18:34
3011
2
原创 hadoop hdfs基本Api实例
本样例使用maven工程实现。hdfs操作依赖的包<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.1.4</version></dependency><dependency> <groupId>org.apache.h
2021-02-01 17:25:40
75
原创 Windows安装Hadoop3.1.4
1、安装JDK1.8配置环境变量：JAVA_HOME=D:\java\jdk1.8.0_181PATH=PATH;%JAVA_HOME%\bin2、下载Hadoop3.1.4访问下载链接： https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz 下载hadoop-3.1.4.tar.gz，并解压到规划的路径下，如下图：3、下载Windows工具包...
2021-02-01 15:47:29
2336
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人