- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Kafka学习之怎么保证不丢，不重复消费数据
Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的问题，最常见的就是丢包，重发问题。丢包问题：消息推送服务，每天早上，手机上各终端都会给用户推送消息，这时候流量剧增，可能会出现kafka发送数据过快，导致服务器网卡爆满，或者磁盘处于繁忙状态，可能会出现丢包现象。解决方案：首先对kafka进行限速， 其次启用...
2019-04-17 13:57:14
1095
转载 Spring事务传播属性和隔离
1 事务的传播属性（Propagation）1) REQUIRED ，这个是默认的属性Support a current transaction, create a new one if none exists.如果存在一个事务，则支持当前事务。如果没有事务则开启一个新的事务。被设置成这个级别时，会为每一个被调用的方法创建一个逻辑事务域。如果前面的方法已经创建了事务，那么后面的...
2019-04-02 21:11:22
120
转载 sqoop 根据时间增量导入
sqoop 根据时间增量导入sqoop 的基本功能 大家应该都知道，实现关系型数据库和非关系型数据库的数据转换；官网 http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_incremental_imports；下面一段详细介绍了 sqoop 的增量导入；7.2.7.Incremental ImportsSqoo...
2019-04-01 11:50:01
952
转载 sqoop的增量导入（increment import）
1、import增量导入的官方说明2、测试sqoop的increment import 增量导入在企业当中，一般都是需要经常执行的，如隔一个星期就执行一次增量导入，故增量导入的方式需要多次执行，而每次执行时，又去写相应的执行命令的话，比较麻烦。而sqoop提供了一个很好的工具save job的方式。 测试的方式是通过--incremental来执行 lastmodified 模...
2019-04-01 11:35:43
384
转载 sqoop从mysql到hive实现定时增量导入
1、第一次全量抽取，并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\--username xxx--password xxx\--t...
2019-04-01 11:34:33
962
python3.5.chm( 高清，完整)
2017-09-11
精通Python设计模式.pdf （详细目录，高清，完整）
2017-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人