- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark提交jar包流程，spark-stream
拉取代码 https://github.com/wencl/spark_stream_kafka.git mvn clean package 运行spark2-submit --class “org.jrj.wen.spark_stream_kafka.Application” target/spark_stream_kafka-0.0.1-SNAPSHOT.jar 由于本人已经安装好cdh...
2019-09-19 11:08:22
352
原创 spark的操作
scala> import org.apache.spark.sql.SparkSession scala> val sparkSession = SparkSession.builder.appName(“spark session example”).enableHiveSupport().getOrCreate() scala> val catalog = sparkSes...
2019-09-17 11:03:35
132
原创 mysql到hbase的迁移
环境cdh5 1.进入/opt/cloudera/parcels/CDH/jars运行 sudo -u oozie hadoop fs -put -f ./* /user/oozie/share/lib/lib_20190730094906/sqoop/ 这一步是把cdh里面的包放到sqoop的classpath下。不然的话会报hbase的jar包在classpath中找不到 2. 进入HUE新建...
2019-09-09 13:28:28
181
原创 CDH的sqoop2，hue，oozie集成
压缩所有cdh的jar包 操作： jar cv0f cdh-libs.jar -C /opt/cloudera/parcels/CDH/jars/ . 上传到hdfs sudo -u hue hadoop fs -put cdh-libs.jar /user/hue/ 上传mysql驱动到hdfs sudo -u hue hdfs dfs -put mysql-connecto...
2019-09-05 11:40:03
629
原创 cdh随笔
把root设置成hdfs的超级用户 操作步骤如下： 1、在Linux执行如下命令增加supergroup groupadd supergroup 2、如将用户yarn增加到supergroup中，再执行： usermod -a -G supergroup yarn 3、同步系统的权限信息到HDFS： su - hdfs -s /bin/bash -c “hdfs dfsadmin -refresh...
2019-08-30 16:14:34
101
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人