- 博客(13)
- 收藏
- 关注
RSS订阅
2原创 Hive Sql/Spark Sql语法
hive字符串转数字：max(CAST(split(split(description,'pdtime=')[1],'\;')[0] AS BIGINT) )
2021-02-26 15:33:51
596
原创 mysql命令启动报错:Can‘t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock‘ (2)
mysql命令启动报错:Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)修改my.cnf文件：在/etc/my.cnf文件中添加如下内容，并重启mysqls服务，即可解决mysql,mysqldump,mysqladmin的“Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'”.
2021-02-25 15:24:22
241
原创 mybatis的#{}和${}
mybatis的#{}和${}${}一般用于传输数据库的对象，如表名、字段名等#{}与${}的区别可以简单总结如下：#{}将传入的参数当成一个字符串，会给传入的参数加一个双引号，#{} 传参在进行SQL预编译时，会把参数部分用一个占位符 ? 代替，这样可以防止 SQL注入。${}将传入的参数直接显示生成在sql中，不会添加引号，就是简单的字符串替换，并且该参数会参加SQL的预编译，需要手动过滤参数防止 SQL注入。#{}能够很大程度上防止sql注入，${}无法防止sql注入一般能用#的就别用
2021-02-25 15:18:18
161
原创 Anaconda安装依赖包报错 CondaHTTPError: HTTP 000 CONNECTION FAILED for url
网络使用代理的情况下，修改配置文件 .condarc为如下内容channels: - defaultsshow_channel_urls: trueproxy_servers: http: http://109.123.97.11:8080 https: https://109.123.97.11:8080ssl_verify: false
2021-02-25 15:11:02
69
原创 MySQL互为主从配置
master slave互为主从思路：hive客户端及元数据库 mysql安装在一台服务器上(master)，为防止单点故障，选取slave作为备份节点，作为小spark集群的master节点，安装hive客户端及元数据库master节点与slave节点均安装mysql作为各自hive客户端的元数据库，两mysql互为主从节点，互为备份节点。配置过程如下:mysql命令行界面，在两台机器上添加一个用于从机访问的帐号， 赋予REPLICATION SLAVE权限.为hive用户赋予任何数据库中
2021-01-26 16:22:39
528
转载 大数据框架Hadoop和Spark的异同
2分钟读懂大数据框架Hadoop和Spark的异同谈到大数据，相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop 和 Apache Spark 两者都是大数据框架，但是各自存在的目的不尽相同。
2015-12-30 17:50:31
518
原创 常用hive命令
命令1.hive表中数据导出到MySQL表/home/queue_ziyan/sqoop-1.4.3.bin__hadoop-1.0.0/bin/sqoop export -Dmapred.job.queue.name=queue_chengmai --connect "jdbc:mysql://10.95.196.207/reportdb?useUnicode=true&characte
2015-12-29 17:36:08
487
转载 MySQL触发器
触发器(trigger)：监视某种情况，并触发某种操作。 触发器创建语法四要素：1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete) ~~语法~~CREATE TRIGGER --触发器必须有名字，最多64个字符，可能后面会附有分隔符.它和M
2015-09-15 11:19:13
290
原创 VMware虚拟机RedHat 5 系统下ftp服务器的安装测试
ftp服务器安装： 验证是否安装ftp[root@localhost root]# rpm -qa|grep vsftpd[root@localhost root]# 表示没有安装安装： linux第二张镜像文件放到虚拟光驱里，挂载；在/mnt下新建文件夹cddrom，挂载读取光盘文件命令：mount /dev/cdrom /mnt/cddrom
2015-07-08 11:13:15
1165
原创 常用linux命令总结
在Linux系统中，从技术角度讲，文件后缀没有任何意义1.Linux系统终端 [su123@localhost~]$ 用户名：Su123 主机名： Localhost 当前目录：~ 用户级别：$-命令行指示符（1）$普通用户 （2）#表示系统用户root2.常用命令：（1）配置主机名查看当前系统主机名：hostname1）设置主机名
2015-06-18 10:04:52
361
原创 hadoop-2.6.0伪分布式安装详细步骤
本文详细介绍在虚拟机VMware中linux上单机部署hadoop-2.6.0的过程；假设虚拟机及linux系统已安装完成；本文从jdk的安装开始一直到完成Wordcount测试。配置简介：1. 虚拟机 VMware workstation 102. 操作系统 Red hat linux 5.0 版本 32bit3. jdk版本 jdk-8u40-linux-i586.rpm
2015-06-17 10:34:16
689
原创 hadoop-2.6.0伪分布式安装后启动服务及测试
hadoop启动启动方式1.逐一启动2.分别启动dfs，yarn，如下：sbin/start-all.sh 启动所有进程 用jps查看sbin/stop-all.sh 停止所有进程3.全部启动hadoop1.x使用，2.x中保留了该功能，但使用会报错sbin/start-dfs.sh sbin/start-yar
2015-06-17 10:04:54
989
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人