- 博客(23)
- 收藏
- 关注
RSS订阅转载 hadoop和spark读取GBK编码乱码
转自：http://www.cnblogs.com/teagnes/p/6112019.html首先来看一下为什么会出现这个问题， 下面是一个最简单的spark的wordcount程序，sc.textFile(filePath)方法从文本文件创建RDD，传入文件路径filePath，查看textFile方法， 可以看到，实际上调用了TextInputformat类来解析文本文件，熟悉had
2017-07-27 09:58:17
2153
转载 spring与mybatis三种整合方法
1、采用MapperScannerConfigurer，它将会查找类路径下的映射器并自动将它们创建成MapperFactoryBean。spring-mybatis.xml:xml version="1.0" encoding="UTF-8"?>beans xmlns="http://www.springframework.org/schema/beans" xmlns:
2017-03-21 11:54:36
237
转载 spring,mybatis事务管理配置与@Transactional注解使用
概述事务管理对于企业应用来说是至关重要的，即使出现异常情况，它也可以保证数据的一致性。spring Framework对事务管理提供了一致的抽象，其特点如下：为不同的事务API提供一致的编程模型，比如JTA(Java Transaction API), JDBC, Hibernate, JPA(Java Persistence API和JDO(Java Data Objects)支
2017-03-14 09:35:53
242
原创 elasticsearch（一） 基本知识
1.请求类型增/改 put删 delete查 get/post因为有些不支持get带请求体的场景，所以可以用post做查询。用post做查询请求注意连接最后要带有_search，否则将成为存储数据请求2.重要概念 ES 关系数据库_index 索引---------------库_type类型--------------
2017-03-02 15:44:45
335
转载 elasticsearch查询原理
1.本文阐述了elasticsearch的查询原理和为什么不能使用深度分页http://lxwei.github.io/posts/%E4%BD%BF%E7%94%A8scroll%E5%AE%9E%E7%8E%B0Elasticsearch%E6%95%B0%E6%8D%AE%E9%81%8D%E5%8E%86%E5%92%8C%E6%B7%B1%E5%BA%A6%E5%88%86%E9%A
2017-03-02 15:05:42
602
原创 修复dubbo注册中心警告bug
1.dubbo注册中心服务提供者界面显示警告，点击提示不同服务名注册了相同服务，这是界面显示逻辑bug，源码文件位置：/dubbo-admin/src/main/webapp/WEB-INF/templates/governance/screen/providers/index.vm部分代码如下：#set($providerApplication = "")#foreach($pro
2017-03-01 16:34:04
4963
2
转载 springboot整合mybaitis
转自：https://segmentfault.com/a/1190000004275305?_ea=556953个人喜欢第二种xml方式，更加直接，和传统使用方式类似一、使用mybatis-spring-boot-starter1、添加依赖dependency> groupId>org.mybatis.spring.bootgroupId> artif
2017-02-22 18:52:20
365
原创 基于MapReduce，使用bulkload方式像hbase导入数据
1.依赖，注意hbase和hadoop版本，hbase0.96以前的版本不适用 org.apache.hbase hbase-server 1.2.1 org.apache.hadoop hadoop-common 2.7.2 provided org.apache.hadoop hadoop-mapreduce-client-core 2.7.2 provid
2017-02-15 18:48:54
481
原创 spark 读取avro文件
1.引入依赖 com.databricks spark-avro_2.10 2.0.12.当读取的avro文件SparkConf conf = new SparkConf();conf.setAppName("SparkReadAvroTest");JavaSparkContext sc = new JavaSparkContext(conf);
2017-02-14 09:22:53
2939
原创 apache beam使用spark runner
1.引入依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mave
2017-01-16 12:15:22
2082
原创 开源软件
1.分布式任务调度平台XXL-JOBXXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。特性1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；2、动态：支持动态修改任务状态、暂停/恢复任务，以及终止运行中任务，即时生效；3、调度HA：“调度中心”基于集群...
2016-10-09 09:37:26
113
原创 Java发送https请求
1.证书制作参考：http://394938226.iteye.com/admin/blogs/23264592.示例代码package com.irt.test.invoke;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStream;import ...
2016-09-30 17:32:00
125
原创 ssl双钥的keystore和pem格式证书制作
背景：因为在ssl证书使用时，java中常用的是keystore。而其他环境经常会用到pem格式的 操作：（linux环境下） 服务端： 1.生成keystore，注意CN的值必须是要发布服务的域名，不能是ip keytool -genkey -alias server -dname "CN=www.test.com" -keyalg RSA -k...
2016-09-23 14:55:28
1031
原创 2016年国内镜像汇总
一、站点版（一）、企业站1.搜狐：http://mirrors.sohu.com/2.网易：http://mirrors.163.com/3.阿里云：http://mirrors.aliyun.com/4.腾讯：http://android-mirror.bugly.qq.com:8080/（仅针对APP开发的软件，限流，不推荐）（二）、教育站1.上海交通大学：http://ftp.sjtu....
2016-09-07 16:31:19
285
原创 logback输出mybaits的sql语句日志
1.在mybatis的config配置文件中配置<settings> <setting name="logPrefix" value="mybatis.sql."/> </settings>2.在logback的日志文件中配置<logger name="mybatis.sql" level="DEBU
2016-08-29 09:48:21
1188
原创 mybatis的foreach标签用法
foreach元素的属性主要有 item，index，collection，open，separator，close。 item表示集合中每一个元素进行迭代时的别名， index指 定一个名字，用于表示在迭代过程中，每次迭代到的位置， open表示该语句以什么开始， separator表示在每次进行迭代之间以什么符号作为分隔 符， close表示以什么结束。在使用fo...
2016-08-29 09:42:32
284
原创 springMVC+mybatis+ehcache详细配置
一、 Mybatis+Ehcache配置 为了提高MyBatis的性能,有时候我们需要加入缓存支持,目前用的比较多的缓存莫过于ehcache缓存了,ehcache性能强大,而且位各种应用都提供了解决方案,在此我们主要是做查询缓存,提高查询的效率. 整合MyBatis和ehcache需要的jar包如下：ehcache-core-2.4.4.jarmybat...
2016-08-24 17:55:21
79
原创 线性代数的意义
一篇是《理解矩阵，矩阵背后的现实意义》http://phddreamer.blog.163.com/blog/static/18993409620120239449185/另一篇是《线性代数的几何意义》。
2016-08-23 13:38:59
408
原创 logback环境配置
1.引入slf4j-api.jar、logback-core.jar、logback-classic.jar2.提供logback-test.xml或是logback.xml3.在每个需要执行记录的类里，调用 org.slf4j.LoggerFactory 类的 getLogger()方法获取一个 Logger 实例，以当前类名或类本身作为参数。 <?xml ...
2016-08-15 09:31:05
112
原创 华为的Carbondata
华为独立开发并开源的Carbondata通过Apache基金会的投票，成为 Apache Incubator（孵化器）项目！Carbondata的目标是创建一种新的Hadoop文件格式，只用一份数据，满足多样化的数据查询需求，包括顺序读，OLAP查询，随机读。CarbonData是一个为了更快的交互查询而生的新的Hadoop原生文件格式，用于大数据的快速分析和多维度查询hadoop本地数据...
2016-06-05 22:01:06
438
原创 Apache Arrow
Hadoop、Spark和Kafka已经对大数据领域产生了巨大的影响力，现在多了另一个Apache项目，有望进一步改变这个领域，那就是Apache Arrow。该项目提交代码的人士包括来自其他Apache大数据项目的开发人员，比如Calcite、Cassandra、Drill、Hadoop、HBase、Impala、Kudu、Parquet、Phoenix、Spark和Storm等项目。用...
2016-06-02 17:21:18
370
原创 ApacheHadoop2.x最简安装-----非高可用
1.官网下载hadoop.apache.org ------>左侧导航 Release2.同步机器时间、关闭各节点防火墙、修改hosts、namenode节点免密登录其他节点3.安装jdk4.配置配置文件：[color=red]core-site.xml 、hdfs-site.xml 、mapred-site.xml、yarn-site.xml、slaves、hadoop-e...
2016-05-30 12:12:32
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人