- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 使用shade插件生成jar
pom配置文件如下 <build> <finalName>testJar</finalName> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId&...
2019-07-09 16:35:29
484
原创 Druid摄取kafka实时流json配置
{ "type": "kafka", //摄取类型 "dataSchema": { "dataSource": "ea-test", //数据源名 "parser": { "type": "string", "parse...
2019-06-04 10:06:51
1140
原创 大数据分析架构本地环境搭建及测试
功能：log日志收集和分析流程：1.应用程序产生本地log文件 2.flume监控文件并收集日志到kafka中 3.sparkStructurestreaming监听kafka获取结构流进行分析，结果输出到DB 4.页面通过查询DB显示结果环境搭建：1.flume（apache-flume-1.9.0-bin）...
2019-05-22 15:12:32
354
原创 Spark demo
这两天公司准备搭建大数据平台以日志分析为例，大概流程是：1.数据分析平台提供接口供其他系统调用写入日志2.flume收集日志用kafka做sink3.spark分析日志，结果输出HBase下面是spark相关的一些简单demo，在此记录maven引入所需包 <dependencies> <dependency> <g...
2019-05-16 17:26:57
868
原创 Java 压缩解压（tar）
使用Apache的commons-compress-1.9.jar实现jar压缩和解压tar文件（1）压缩文件 private static void tarFile(File file, TarArchiveOutputStream taos) throws Exception { TarArchiveEntry tae = new TarArchiveEntry(...
2018-08-09 09:33:55
12110
1
原创 JS中json数组多字段排序方法（解决兼容性问题）
最近项目遇到一个需求，前台获取到一个json数组，用户需要动态的根据自己的选择来对json数据进行排序。由于后台表设计问题所以不能用sql进行排序，这里用到了js的sort方法。如果对单字段排序，那么很简单，一个sort就搞定。对多字段排序时需要用到for，而且需要对在sort中对任意两个元素进行比较，如果前一个字段相同那么才需要进行下一个字段的排序；反之则返回 0。秉承此思路编写代码如下...
2018-07-17 09:43:46
1938
原创 Quartz集群搭建
项目中很多时候要用到定时器，有些时候是用到spring中的@scheduled，有些时候是用到了Quartz。如果是多个节点的时候我们更多会用到集群的概念。由于有时数据具有时序性，比如存储在queue中的操作历史数据。这个时候我们希望Quartz是高可靠的，不是并发处理，而是一台为主，一台backup。这就用到了Quartz的集群。 搭建一个Quartz集群也很简单，比对单机...
2018-04-08 17:25:19
737
原创 搭建springBoot + JPA + mysql 的web项目
说明：此篇文章不算是纯技术文，自己心血来潮想搭建这么一个项目，东翻西找，这看看那看看，写了一个小demo，前后台交互，数据库访问包括事物管控均已测试通过。在此分享，希望初识springboot或jpa的同学能有个基本的搭建思路，也算是给自己留个笔记吧。搭建过程正式开始：1.首先是项目结构，就是正常的一个maven项目的结构2.pom.xml的配置（1）springboot和we...
2018-03-30 16:07:46
4506
转载 Android开发使用SQLite存储数据
在Android中一共提供了5种数据存储方式，分别为： （1）Files：通过FileInputStream和FileOutputStream对文件进行操作。具体使用方法可以参阅博文《Android学习笔记34：使用文件存储数据》。 （2）Shared Preferences：常用来存储键值对形式的数据，对系统配置信息进行保存。具体使用方法可以参阅博文《Android学习笔记35：使用
2014-06-04 09:03:07
848
springBoot+jpa+mysql
2018-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人