- 博客(52)
- 资源 (4)
- 问答 (6)
- 收藏
- 关注
RSS订阅
原创 Spark技术手册
一 总览1.1 spark说明：官方原话：Lightning-fast cluster computing【快如闪电的批处理框架】快速、通用的大数据处理引擎。1.2 spark特点：1）提供 Cache 机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的 IO 开销；2）提供了一套支持 DAG 图的分布式并行计算的编程框架,减少多次计算之间中间结果写到 Hdfs ...
2019-07-03 00:02:58
451
原创 Springbatch源数据建表语句及初始化
Spring batch的运行过程中会将任务状态记录到框架预设的表中，表名有：batch_job_executionbatch_job_execution_contextbatch_job_execution_paramsbatch_job_execution_seqbatch_job_instancebatch_job_seqbatch_step_executionbatch_...
2018-12-21 09:34:03
5141
原创 阿里分布式数据库服务(DRDS)【学习笔记】
关系型数据库服务(Relational Database Service，简称RDS)：是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系，并提供专业的数据库备份、恢复及优化方案，使您能专注于应用开发和业务发展。
2017-01-19 15:10:12
15068
原创 git提交shell脚本格式转换的问题
写在前面git是一种分布式的代码版本管理工具，目前也是主流，广泛应用在大小公司、大小项目中。因为目前大多基于windows平台开发，这里Mac不说，没用过，编写的shell脚本在提交git时有个默认的转换：...
2019-09-02 12:11:48
2374
原创 VS code连接远程主机进行文件编辑的两种方法
写在前面其实，也是最近才开始用VS code读代码的，发现确实牛B，开始是别人给配置上了映射，心里美滋滋，用着很舒心！可是8月19星期一，我开机 code 这个软件竟然没了，我就重装了呗，结果好嘛，最新的版本比服务器的版本高了0.0.1个版本，连不上了，我嘞个去啊，最开始我是不知道咋搞，问了一圈人，查了很多网站，都不是很靠谱，还是自己上手吧，搞了大半天，总结一下今天验证的两种方法：用sftp...
2019-08-19 22:51:14
868
原创 CMake基础-CMakeLists.txt编写指南
写在前面其实CMake在C++编译中是常用的编译工具，简单易上手，学习成不较低，最近我们也在开始用CMake编译，写一点最近项目中学习的一点体会和知识点，作以记录，网上单层级的CMake的例子挺多的，毕竟最终都是用一个CMakeLists.txt进行编译的，这个放在后面写，这个帖子主要写下多层级CMake的使用方法及目录关系：1 多层目录举例工程结构大致分为三层：从编译的易操作性来讲，编译...
2019-08-19 22:32:57
488
原创 NotePad++离线安装NppFTP插件
1. 先安装notepad++，此处不再赘述。2.从github下载FTP插件离线包：https://github.com/ashkulz/NppFTP/releases/tag/v0.27.4Tips:根据安装的NotePad++的版本选择64位 还是 32位的，版本不匹配的话，插件加载不上3.解压安装包，如图所示：Tips：将NppFTP.dll放置NotePad++的插件路...
2019-07-11 10:02:09
517
原创 删除git保存的用户名 密码
运行一下命令缓存输入的用户名和密码：git config --global credential.helper wincred清除掉缓存在git中的用户名和密码git credential-manager uninstall
2019-05-14 17:34:51
675
原创 排序算法
冒泡排序void bubbulingSort(int[] nums){ for(int i = 0; i < nums.length; i++){ for(int j = i + 1; j < nums.length; j++){ if(nums[i] > nums[j]){ ...
2018-12-08 11:42:50
139
1
原创 Java泛型的一个简单应用
Java泛型的一个简单应用泛型的使用一直不太明确，今天写了个例子验证了下，先定义了三个类：Peple类：public class People<T> { String name; int age; List<T> feature; public String getName() { return name; }...
2018-12-07 12:54:07
541
翻译 Springbatch框架系列（1-1）Spring batch介绍
本博文主要从以下几个方面进行介绍：了解当下批处理框架介绍下spring batch的主要特点批处理高效的读写数据用Spring batch实现一个批处理任务Spring batch任务测试Springbatch之所以出现，是因为批处理应用对于写是一种挑战：使得数据的write操作更加容易实现，并且程序处理更加健壮、更加可靠。那么什么是批处理应用呢？批处理任务不在人工介入的情况下...
2018-12-06 09:41:54
559
原创 Springbatch框架系列介绍
Spring batch也是当下比较流行的批处理框架项目组最近在做后台业务重构，根据业务场景选型后，用spring下的springbatch作为批处理框架，进行对现有业务重构。 Spring batch是一个轻量级的、全面的批处理框架，旨在开发对企业系统日常运营至关重要的强大批处理应用程序。Spring Batch提供了可重复使用的功能，这些功能对于处理大量记录至关重要，包括记录/跟踪，事务管理...
2018-11-14 22:28:18
370
原创 Spark on Hive开发demo
public class SparkHiveTest { public static void main(String[] args) { String warehouseLocation = "hdfs://10.1X4.XX2.XX2:9001/home/spark/ive/warehouse/"; SparkSession spark = S...
2018-10-30 12:51:14
1033
1
转载 Hive的metastore及其配置管理
在学习Hive的配置管理参数时，曾将参数分为四类：Hive管理参数、Hive元存储（Metastore）管理参数、与Hadoop交互的管理参数、用于传递运行时信息的参数，当时并没有对Metastore参数进行深入的学习，现在就开始学习这部分的内容。Hive中表和分区的所有元数据都存储在Hive的元存储（Metastore）中。元数据使用JPOX（Java Persistent Objects）对...
2018-10-26 14:10:52
649
转载 F5负载均衡原理
2． 负载平衡典型流程 通过VIP来截获合适的需要负载平衡的流量 服务器监控和健康检查,随时了解服务器群的可用性状态 负载均衡和应用交换功能,通过各种策略导向到合适的服务器 2．1 通过VIP来截获合适的需要负载平衡的流量 在BIGIP上通过设置VIP来截获需要进行负载平衡的流量，这个VIP地址可以是一个独立的主机地址和端口的组合（例如：202.101.112....
2018-10-22 11:11:15
283
原创 docker学习入门小结
公司为了进一步业务的发展需要，组织了为期两天的docker容器化培训，也对该领域的大致概念、发展方向有了一定的了解。针对传统软件开发中存在的诸多问题，docker借助集装箱的成功经验应运而生，docker主要解决了软件生命周期中的快速发布问题，下面对docker的基本概念及部署做简要介绍，目前也在学习中，过程中若有什么问题，还请指出，随后深入学习。 docker的基本框架：docker...
2018-10-22 11:09:38
108
原创 Hadoop下的connect refused问题
Hadoop下的connect refused问题问题产生原因：假设hadoop正常运行中出现这个问题，那有可能在重启hadoop的过程中，hadoop集群出现了异常。解决方法：这个时候jps会发现，有得机器上的服务启动不全， 正常情况下应该是下图中的服务：这是master节点的服务这两幅图是slaves节点的服务： 查看日志：cat had...
2018-10-21 12:58:14
1146
转载 Git创建分支并提交代码
step1，在本地新建分支git branch newbranchstep2：把本地分支push到远程git push origin newbranchstep3：切换到该分支git checkout newbranchstep4：查看本地修改git statusstep5：添加本地修改git add .step6：commit修改git commit ...
2018-08-24 14:59:37
1139
3
转载 Mysql时间函数及格式处理
MySQL 获取当前日期及日期格式 获取系统日期： NOW() 格式化日期： DATE_FORMAT(date, format) 注： date：时间字段 format：日期格式 返回系统日期,输出 2009-12-25 14:38:59 select now(); 输出 09-12-25 select date_format(now(),’%y-%m-%d’); 根据forma...
2018-08-23 15:35:30
714
转载 Maven工程中的pom文件详解
<span style="padding:0px; margin:0px"><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach...
2018-07-26 09:17:44
460
原创 Spark项目开发--Spark sql读写Oracle、Mysql【DRDS】、Hbase数据库--Java实现
Spark sql读写Oracle数据库–Java实现作者也是初入Spark开发没多长时间，在写代码的过程中也是踩了不少坑，毕竟一提到Spark的项目大部分都是Scala实现的，虽说Scala跟Java相似度极高，但是在接口的使用上还是有较大差异的。下面讲一个使用Spark sql读写Oracle的例子使用Spark sql读取Oracle数据：项目地址：https:/...
2018-06-02 09:42:07
4228
原创 Spark项目开发及原理介绍
Spark项目开发入门之WordCounter环境介绍IDEA MAVEN工程Spark2.2.0local模式pom.xml文件配置&amp;amp;lt;?xml version=&amp;quot;1.0&amp;quot; encoding=&amp;quot;UTF-8&amp;quot;?&amp;amp;gt;&amp;amp;lt;proj
2018-03-13 13:49:18
3663
原创 storm项目入门之wordCounter
storm项目入门之wordCounter最近在看storm，先调个小例子吧，后续学习笔记奉上：环境Intellij IDEAStorm1.1.1代码分四部分：pom文件、Spout，Bolt，Topology第一部分pom：pom.xml<?xml version="1.0" encoding="UTF-8"?><projec...
2018-02-28 22:07:14
266
转载 Tuxedo中间件常用命令
官方地址：https://www.oracle.com/cn/index.html*tmboot 启动服务： 参数说明： -l lmid 启动逻辑服务器名为lmcd服务器上的所有进程 -g grpname 启动GROUP名为grpname的所有进程 -i srvid 启动SRVID为srvid中的服务进程 -s aout 启动名aout的服务进程 - o sequence 启动S
2017-10-20 10:52:18
2502
原创 工作一年之后，那些。。。
最近女博士学瑜伽走火入魔，练了一身本领，动不动就对我吆五喝六的，算了，今天我推吧！虽然最近都睡得挺早、起得挺晚。 今天的主题就是标题写的啦，一块聊聊工作以后，那些开心不开心的事，还有那些必须要做的事。 一首好听的歌，给大家解解压。 https://y.qq.com/n/yqq/song/8620822_num.html?ADTAG=h5_playsong&no_r
2017-08-03 08:33:11
357
原创 C++编译报错: undefined reference to clock_gettime
在编译C++代码时有时候会出现报错 undefined reference to `clock_gettime'
2017-07-19 13:07:44
1816
原创 白话kafka（二）
前几天在白话kafka（一）中简单介绍了下kafka的大致构成，对几个关键词进行了解释说明，当然在阐述的过程中也存在很多的漏洞，还请大家多多包涵！最近公司在搞封闭，一直没继续写，刚好新的专题，需要搭建一套kafka集群，下面结合搭建过程，说说kafka搭建中可能遇到的一些问题。 环境：虚拟机三台 安装包：zookeeper，kafka，jdk（1.7及以上）这里先搭建一个zookeepe
2017-07-11 14:02:11
730
原创 白话kafka（一）
kafka是流文件处理平台中可以说是成功的，毕竟现在涉及的领域之大已经不得不让我们多少了解一点。kafka也算是我工作以来接触最多的一项技术了，截止目前也就刚能达到勉强能用的程度。kafka官方给出的定义是：kafka是一个分布式的流处理平台。有高吞吐、高容错、支持发布-订阅的特点。 kafka是个分布式的系统，所以这就决定了这个系统是强依赖zookeeper的，需要一个第三方的管理员来调用kaf
2017-06-09 17:31:15
2539
原创 Jsoncpp在linux中的安装、编译及其简单应用
1. 准备工作Jsoncpp下载：https://sourceforge.net/projects/jsoncpp/ Scons下载：https://sourceforge.net/projects/scons/ Linux：本文以红帽为例2. Jsoncpp介绍 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于
2017-03-14 13:51:41
491
原创 微服务
前段时间做了一个有关微服务的单子，也就大致的学习了一下，不过目前也还不够深入，只是大致知道微服务是在怎么运作。记得看过一个帖子就是说，目前microservice够火，只要跟这个关键词扯点关系就人满为患，不管是培训还是亚马逊的书价，一起看看微服务到底是个什么鬼？微服务 引用块内容微服务正在博客、社交媒体讨论组和会议演讲中获得越来越多的关注，在Gartner的2014 Hype Cycle上它的
2017-01-16 14:18:45
353
原创 docke入门
公司为了进一步业务的发展需要，组织了为期两天的docker容器化培训，也对该领域的大致概念、发展方向有了一定的了解。针对传统软件开发中存在的诸多问题，docker借助集装箱的成功经验应运而生，docker主要解决了软件生命周期中的快速发布问题，下面对docker的基本概念及部署做简要介绍，目前也在学习中，过程中若有什么问题，还请指出，随后深入学习。docker的基本框架
2016-11-30 13:25:17
2670
原创 linux设置环境变量
cd ~ls -alvi .bash_profileexport mypara="*********"source .bash_profile
2016-11-04 09:55:51
263
转载 notepad++快捷键
F11 全屏模式F12 便签模式Ctrl+L 刪除当前行Ctrl+Q 行注释Ctrl+Shift+Q 块注释Ctrl+W 关闭当前文件Ctrl+Enter 单词提示自动完成Ctrl+Alt+F 折叠当前代码层次Ctrl+Alt+Shift+F 反折叠。。。Ctrl-H 打开Find / Replace 对话框Ctrl-
2016-11-03 09:08:24
302
原创 c++语法之冒号（：），双冒号（：：）
CredSedSms::CredSedSms():m_indbCount(0), m_channelCount(0)CredSedSms为声明的一个类双冒号为域操作符：表示声明一个成员函数单冒号后面：为该函数中变量的初始化列表。
2016-10-28 18:31:57
2827
原创 kafka本机搭建、测试及常用命令
折腾了好几天终于实现了kafka本机的搭建，现将一些要点及常用命令贴出来供大家参考：1.下载kafka安装包2.复制到指定文件夹、解压3.下面就是简单的测试了，我用的是0.8版本，基本不用配置什么，解压完就能使用。（1）打开zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties（2）打开ka
2016-10-27 19:58:09
786
转载 linux中的动态、静态库
一、什么是库本质上来说库是一种可执行代码的二进制形式，可以被操作系统载入内存执行。由于windows和linux的本质不同，因此二者库的二进制是不兼容的。Linux操作系统支持的函数库分为静态库和动态库，动态库又称共享库。Linux系统有几个重要的目录存放相应的函数库，如/lib /usr/lib。二、静态函数库、动态函数库
2016-10-19 15:08:35
232
Go语言编程
2017-02-07
kafka安装包
2016-10-28
HTML与CSS入门经典(第8版
2016-08-18
Thinking+in+C+++简体中文第二版
2016-08-18
kafka向zookeeper注册问题
2017-02-16
weblogic启动问题||||||
2016-09-20
Java web开发问题||||找不到模板语言环境zh_cn
2016-09-08
Oracle 如何限制表的生失效时间
2016-08-16
C++小白||请大神指导。。。。。。。。。。
2016-08-11
UltraEdit中的FTP模块乱码求指导！
2016-08-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人