- 博客(32)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Kafka知识点记录
Kafka知识点记录consumer订阅topic之后，当consumer调用poll(Long)方法的时候，会自动加入消费者组，然后Kafka为consumer分配partition，接着Kafka将partion中的消息发送给consumer，consumer接收partition中的消息，提交offset。partition中的消息都有一个offset，offset是patiti...
2019-07-09 16:38:14
152
原创 DataX使用记录
DataX使用记录DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。00特性DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件...
2019-06-29 19:33:27
513
原创 数据传输工具-Sqoop
一、背景在实际开发场景中，数据需要在Hadoop和关系型数据库之间来回传输，可以使用Sqoop工具来实现。例如，源数据存储在MySQL或者Oracle关系型数据库中，需要将源数据抽取到HDFS或者Hive中，又或者结果数据存储在HDFS或者Hive中，需要将结果数据加载到MySQL或者Oracle关系型数据库中，这些场景均可以由Sqoop工具实现。数据抽取的时候涉及到两种方式，一种是全量抽取...
2019-03-07 00:48:40
1003
原创 实时计算组件-flink本地开发环境搭建
本篇记录搭建flink本地开发环境的过程，使用的flink版本为1.5。00 下载安装、启动一、JDK版本要求想要运行flink，JDK版本需要是JDK8+，如果版本低于8，需要进行升级噢。二、下载安装、启动从下载页面下载一个二进制文件，根据自己的实际情况，选择Hadoop/Scala组合版本。如果是使用本地文件系统的话，选择任何Hadoop版本都可以。1.点击flink版本查看fl...
2018-11-25 13:41:53
7251
1
原创 Spark算子常规训练一
应用场景一：统计单词总长度，以及类似场景/** * * 统计单词总长度，以及类似场景 * map应用 * * @author ccc */public class HelloWorldMap implements Serializable { public static void main(String[] args) { SparkConf sparkC...
2018-10-25 23:38:41
246
原创 Storm作为新消费者对接Kafka 0.10.x+版本
Storm应用场景—作为新消费者对接Kafka 0.10.x+版本（一）00 背景随着Kafka版本的升级，Storm作为消费者对接Kafka 0.10.x+版本的方式上，与之前存在差异，现将新的方式记录下来，为以后遇到使用Storm实时处理新版Kafka数据的场景时提供参考。01 架构简介架构如下图所示。使用Flume组件采集数据时，采用双层架构，第一层的作用是采集，第二层的作用是聚...
2018-10-21 01:26:46
2082
原创 任务调度工具之cron
任务调度工具之cron00 背景我们经常需要设置任务在某个时间或每隔一段时间运行。这时候任务调度工具可以解决问题此类定时调度任务场景问题。本篇介绍Linux系统中的cron任务调度工具。01 cron介绍在linux系统中，有一个cron表文件，它存储了执行脚本路径或者命令和执行脚本时间。cron任务调度工具便是通过它来实现定时调度任务。那么如何创建cron任务呢？cron任务是存在于...
2018-10-14 17:14:15
924
原创 从源码看flume采集的数据是如何进入到kafka主题的同一分区
00 背景在实际开发过程中，会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景，为消费者消费数据提供便利，例如，同一会员的消费信息、浏览信息等等。此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区，并且希望能够在为类似需求场景提供解决方案的时候，提供可复制的思路，起到举一反三的效果。01 工具flume官网flume源码kafka集群flume0...
2018-10-07 16:04:48
1736
原创 数据结构学习笔记（一）：概念
数据结构的定义数据结构是计算机中存储、组织数据的方式。 Java及其API中包含的默认数据结构是Java集合框架。常见的数据结构数组（Array）堆栈（Stack）队列（Queue）链表（Linked List）树（Tree）图（Graph）堆（Heap）散列表（Hash）
2017-11-22 15:04:10
259
原创 在虚拟机virtual box 中搭建Linux(centos7)服务器(一)
前言最近自己一直想着搭建一个服务器，然后可以随便在服务器上折腾。正好趁着毕设的机会，模拟开发环境下的流程，需求的确定->数据库表的设计->开发文档的编写->前后端开发->本地测试->部署项目到服务器->测试。 本篇展示搭建的结果，包括数据库MySql，JDK，Tomcat，可以在局域网环境下进行访问。正文远程连接到服务器远程访问MySql，如图所示：访问Tomcat的管理页面结尾初步搭建的
2017-05-01 23:22:44
874
原创 Spring Boot集成MyBatis（一）
前言本篇是初探Spring Boot集成持久层框架MyBatis。 主要介绍： 1.在pom文件中添加mybatis-spring-boot-starter依赖; 2.依赖树；添加依赖通过 maven仓库 进行下载<dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-
2017-04-27 23:26:56
256
原创 centos7下载地址
centos7下载地址 http://101.96.10.26/isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
2017-04-24 10:09:47
740
原创 spring笔记（一）—Modules概述
框架组件Spring框架包含20几个组件，这些组件被分组成Core Container, Data Access/Integration, Web, AOP (Aspect Oriented Programming), Instrumentation, Messaging, 和Test，如下图所示。下一篇 Core Container（三个核心组件：Beans、Core、Context）
2017-04-22 09:46:07
504
原创 java-日志框架
日志框架 Log4j java.util.logging(Java 1.4) commons-logging(Apache基金组织) Log4j 2.0(Apache基金组织) SLF4J Logback 待续…
2017-04-21 23:48:37
217
原创 MarkDown表格
1.MarkDown表格| 标题 | 标题 | 标题 ||:-|:-:|-:||内容左对齐标题|内容居中对齐标题|内容右对齐标题|2.语法 符号 含义 :- 内容左对齐标题 :-: 内容居中对齐标题 -: 内容右对齐标题
2017-04-10 14:51:59
397
原创 git基础命令
git基础命令 命令 注释 git pull 更新 git checkout branch 从当前分支切换到branch分支 git merge branch 将branch分支合并到当前分支 git log 查看提交历史 q 退出git log git add . 添加 git commit -m “commit message” co
2017-04-10 14:00:52
374
原创 sublime text 3 unable to save permission denied
sublime text 3 保存文件时，提示sublime text 3 unable to save permission denied错误
2017-04-09 22:29:09
12200
1
原创 idea java compiler error
运行程序时，报错：Error:java: Compilation failed: internal javacompiler error，如图：根据错误找方法，找到idea中的 java compiler，如图：将Target bytecode version改为1.8，如图：重新进行编译，成功编译。
2017-02-22 22:24:02
747
原创 Java8 default方法
在Java8之前，接口中只允许定义方法，而不能实现方法，接口中的方法必须在非抽象子类中进行实现。public interface InterfaceDemo { void add(); void sub();}public class InterfaceDemoImpl implements InterfaceDemo { @Override publi
2017-02-21 01:12:45
218
原创 Java8 Stream Lambda
1、Stream的聚合操作例子：对集合对象进行排序、取值操作（使用2种实现方式）User liLei = new User(1, "liLei", 28, (short)0);User hanMeiMei = new User(2, "hanMeiMei", 25, (short)1);User zhou = new User(3, "zhou", 30, (short)1);User wu
2017-02-21 01:02:31
387
原创 IDEA中，Maven项目POM文件中的依赖未报错（出现红色波浪线），但Maven Projects中的模块的Dependencies中的依赖却报错
问题描述： IDEA中，Maven项目POM文件中的依赖未报错（出现红色波浪线），但Maven Projects中的模块的Dependencies中的依赖却报错。问题出现的场景： 将本地Maven仓库的地址从C盘更换到其他盘，新仓库中jar包存在。问题分析： 1、由于更换了地址，IDEA中的Maven仓库可能配置错误； 2、jar包可能错误； 3、jar包版本
2017-02-03 17:10:22
51857
7
原创 hello world
package com.ccc;/** * @ProjectName HelloWorld * @Package com.ccc * @ClassName HelloWorld * @Description printing "Welcome to Java world" * @Author ccc * @CreateDate 2017/1/7 * @Updat
2017-01-07 15:03:59
174
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人