- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 idea开发Spark应用配置pom.xml
pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org
2021-03-06 11:24:51
636
原创 Spark-rapids报错定位:Could not load cudf jni library... | ai.rapids.cudf.NativeDepsLoader.loadNativeDeps
@[TOC](Spark-rapids报错定位:Could not load cudf jni library… | ai.rapids.cudf.NativeDepsLoader.loadNativeDeps(NativeDepsLoader.java:91)java.io.IOException: Error loading dependencies)spark-shell提交任务spark-shell \ --master yarn \ --driver-memory 1G \
2021-02-27 19:41:16
551
原创 MySQL8.0单机器多实例主从安装配置
MySQL8.0单机器多实例主从安装配置MySQL8.0安装配置双实例MySQL8.0安装下载MySQL rpm安装文件，链接https://dev.mysql.com/downloads/mysql/安装mysql前先yum install libaio* -y，不然可能会缺少依赖。解压开有多个rpm文件，仅需安装4个，按顺序安装，记得加–nodeps，不然会报缺少so依赖问题rpm -ivh mysql-community-common-8.0.22-1.el6.x86_64.rpm --no
2021-02-23 10:56:00
363
2
翻译 一条正则表达式同时匹配IP（含有IPv6）和域名
开发中需要对IP（如127.0.0.1）和域名或主机名（如www.csdn.net）同时做校验，查了很多技术博客基本是分别做验证。对IP或域名单独做正则验证可以使用（取自https://stackoverflow.com/questions/106179/regular-expression-to-match-dns-hostname-or-ip-address）：ValidIpAddr...
2018-12-28 11:32:58
3967
3
原创 sqoop将mysql导入hive异常：running import job: java.io.IOException: Hive exited with status 1
搭建hadoop环境遇到一个大坑：hadoop技术栈版本不匹配问题。搭建完hive后，和hdfs之间单独运行测试没有问题。搭建完sqoop后，sqoop和hdfs配合使用也没问题。三者共同使用，执行以下命令，将mysql中的表导入到hive中：sqoop import --connect 'jdbc:mysql://192.168.174.131:3306/ecp?useUnicode=true&...
2018-04-24 13:50:09
2344
原创 【图文】Ubuntu系统源码方式编译安装node.js以及express安装出现找不到命令的问题
初学nodejs，用的ubuntu系统，按照菜鸟网编译安装的教程，发现教程里的安装包地址太旧，度娘搜索出的node中文网的安装包不能编译安装。。。写下安装过程，供初学者参考。第一部分：nodejs安装步骤1：sudo wget https://nodejs.org/dist/v4.5.0/node-v4.5.0.tar.gz若无法获取资源，可打开此链接下载资源：nodejs-4.5.0
2016-08-25 11:34:54
647
mysql-connector-5.1.39，配合sqoop1.4.7和hive2.1.1使用
2018-04-24
node.js-v4.5.0长期稳定支持版官方网站下载
2016-08-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人