chunyangwu-CSDN博客

原创 cdh5.14重启hdfs报无法创建/tmp/.cloudera_health_monitoring_canary_files 解决办法

[root@masternode ~]# sudo -u hdfs hdfs dfsadmin -safemode leaveSafe mode is OFF 上述命令可能会报：Error: JAVA_HOME is not set and could not be found.解决办法：[hadoop@masternode ~]$ sudo -i[root@mastern...

2018-10-13 16:59:31 2710

原创 hadoop用户增加sudo权限

1、root用户下执行命令：visudo2、添加一行：hadoop ALL=(ALL) NOPASSWD:ALL保存即可

2018-09-03 11:33:01 2613

原创 mysql SQL语句限制长查询超时限制

mysql 5.6 及以后，有语句执行超时时间变量，用于在服务端对 select 语句进行超时时间限制； mysql 5.6 中，名为： max_statement_time （毫秒） mysql 5.7 以后，改成： max_execution_time （毫秒）超过这个时间，mysql 就终止 select 语句的执行，客户端抛异常： 1907: Query execut...

2018-09-01 14:17:23 14029

原创 impala haproxy 代理设置

1、yum install haproxy2、编辑配置文件 vim /etc/haproxy/haproxy.cfg删掉后面没用的部分，添加如下部分，重启即可 systemctl restart haproxy.servicelisten impala *:25003 mode tcp option tcplog balance roundrobin ...

2018-08-28 17:11:41 722

原创 MySQL 查询所有外键的表

select distinct TABLE_NAMEfrom INFORMATION_SCHEMA.KEY_COLUMN_USAGEwhere TABLE_SCHEMA ='database_schema' and CONSTRAINT_name != 'PRIMARY'

2018-08-20 16:56:07 6283

原创 centos7时间同步和时区设置

安装ntp服务的软件包yum install ntp将ntp服务设置为缺省启动systemctl enable ntpd.service修改启动参数，增加-g -x参数，允许ntp服务在系统时间误差较大时也能正常工作vi /etc/sysconfig/ntpd启动ntp服务 systemctl restart ntpd.service将系统时区改为上海时间 ...

2018-08-16 08:54:27 475

原创 centos7 安装单机版kudu

1.安装ntp　　yum install ntp -y2.启动ntp　　systemctl start|stop|restart ntpd.service3.添加安装包yum源　　[cloudera-kudu]　　# Packages for Cloudera's Distribution for kudu, Version 0, on RedHat or CentOS 6 x86...

2018-08-15 23:09:19 1568

原创 impala日志目录过大

目录名称：audit lineage解决办法：进入cdh平台，点击impala，找到配置里面，搜索：Impala Daemon 日志目录把/var/log/impalad 修改为：/data/log/impalad即可

2018-08-13 16:26:32 2793 1

原创 cdh集群，DataNode换个内存重启后，kudu的Tablet Server报错无法正常启动解决

错误如下：F0810 11:20:27.422596 4258 tablet_server_main.cc:80] Check failed: _s.ok() Bad status: Service unavailable: Cannot initialize clock: Error reading clock. Clock considered unsynchronized解决办法：...

2018-08-10 13:04:22 2637

原创 myeclipse8.5 每次启动需要手动切换工作空间的解决办法

myeclipse8.5不论是在代码提示，还是功能上都是前所未有的强大，可以说它是MyEclipse的一个里程碑。但是myeclipse8.5仍然有一些不尽人意的地方，比如每次启动的时候都需要手动切换一下工作空间才能进入用户自定义的工作空间。下面就用最简单的方法来解决这个问题。 1. 代码MyEclipse的D:\Program Files\Genuitec\MyEcli

2014-03-07 08:28:05 1138

原创 eclipse 去等号、空格自动补全，改tab补全设置（附上myeclipse8.5修改方法及改后的文件）

打开 Eclipse -> Window -> Perferences找到Java 下的　Editor 下的　Content Assist ,　右边出现的选项中，有一个Auto activation triggers for Java:会看到只有一个"."存在。表示：只有输入"."之后才会有代码提示先把上图中"."的地方输入几个随便的字符，例如"dsfd"，点最下面的"OK"来保存设置

2013-12-11 11:15:27 7789 4

原创 ORA-03113 解决办法

2013-11-27 14:03:12 8596

原创彻底挖掘mysqlbinlog数据内容

平时工作需要查询mysqlbinlog里面哪个库，哪个表在什么时间更新了什么数据，而通过mysqlbinlog转义过来的文件里面数据太乱，很多注释，而且也没有表结构相关字段，都用@1，@2等类似的方式显示，就想到通过python开发一个这样的功能。先说下脚本的原理：先通过mysqlbinlog转义二进制日志binlog文件，保存为一份临时文件（执行完后删除）脚本连接数据库，查出对应

2013-11-21 15:05:02 3594

原创 python提取百万数据到csv文件

今天有需求，需要把系统所有用户注册的id和邮箱等信息导出来提供给他们，在mysql里面count了下，大概有350万左右就尝试了下用python实现，顺带练习下python写csv的功能，本来想用工具的，但想了下速度会很慢，整个导出过程大概就3分钟左右，还是蛮快的，毕竟有三百多万，导完后有150M左右下面是我的脚本deal_csv.py,由于需要连接mysql数据库，脚本依赖MySQL

2013-11-15 11:25:30 3660

原创 python获取上一个月第一天0点的unix时间戳

这两天做统计，需要用到当月第一天0点0分0秒的unix timestamp，上个月第一天0点的unix时间戳，三个月前月第一天的0点的Unix时间戳，六个月前当月第一天的0点的Unix时间戳，现在整理如下，看代码和执行的结果，凑了半天的结果。__author__ = 'chunyang.wu'# -*- coding: utf-8 -*-import timeimport datet

2013-11-08 16:18:26 4587

原创 mint安装cx_Oracle拓展

采用easy_install来安装，整个过程见下面：（注意，切换到root下进行，否则报各种错误）dba@dba ~ $ suPassword: dba dba # cddba ~ # pwd/rootdba ~ # whoamirootdba ~ # echo $ORACLE_HOME/usr/lib/oracle/11.2/clientdba ~ # easy_ins

2013-11-05 14:21:30 1052

原创 mint下安装oracle instance client

昨天在我把本本上把ssd格了，安装了个mint版linux进去，打算把他搭建成工作环境来使用，下面是安装oracle instance client的过程，后面可能还要安装cx_Oracle,MysqLDB等拓展。首先从官网下载oracle instance client客户端软件，这里我的系统所32位的，所以下载了32位到客户端，共4个rpm包，由于没有现成到deb包，只能自己转

2013-11-05 12:43:09 1688

转载 MySQL批量SQL插入性能优化

对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。1. 一条SQL语句插入多条数据。常用的插入语句如：

2013-11-04 11:36:20 796

转载 MYSQL数据丢失讨论

目录 MySQL数据丢失讨论……………………………………………………………………………………… 1目录……………………………………………………………………………………………………………….. 31. 概述…………………………………………………………………………………………………………. 42. 问题定义…………………………………………………………

2013-11-04 10:36:29 1789

转载 ORACLE数据库管理员的职责

ORACLE数据库管理员的职责ORACLE数据库管理员应按如下方式对ORACLE数据库系统做定期监控：(1). 每天对ORACLE数据库的运行状态,日志文件,备份情况,数据库的空间使用情况,系统资源的使用情况进行检查,发现并解决问题。(2). 每周对数据库对象的空间扩展情况,数据的增长情况进行监控,对数据库做健康检查,对数据库对象的状态做检查。

2013-10-31 13:07:24 1418

原创 Linux文件实时同步，可实现一对多

说明：该功能服务端安装sersync2，客户端安装rsync，原理就是服务端主动推送设定目录下的所有更新的文件到各个客户端rsync接收。rsync大家都知道，是Linux自带的数据同步工具，而sersync2是google大神的开源项目http://code.google.com/p/sersync/下面给出具体的实现步骤，实现的详细原理大家可以去上面的开源网址，上面说的很详细

2013-10-30 22:20:03 2904

原创 libclntsh.so.11.1不能识别，解决办法

安装了oracle instance client，64位，在路径下/usr/lib/oracle/11.2/client64生成了一些libclntsh.so.11.1文件，写的python脚本需要连接oracle，调用cx_Oracle模块，需要调用该链接库文件，提示不能识别。折腾了一上午，在设置了.bashrc ,/etf/profile,.bash_profile等文件后均

2013-10-30 21:55:11 14097

原创 Centos 6.2 开启 VNC远程桌面

服务器放在机房，常会有需要使用Linux桌面的需求，把过程写下来，系统Centos 6.2一、查看是否安装 VNCcentos 6.0 以后VNC名字由 vnc 改成 tigervnc[root@xen ~]# rpm -qa|grep tigervnctigervnc-1.0.90-0.17.20110314svn4359.el6.x86_64tigervnc-s

2013-10-30 21:50:44 1665

转载 cx_Oracle 中文乱码问题解决

cx_Oracle 中文乱码问题解决在使用cx_oracle模块读取Oracle数据库中的中文记录时，返回值皆为?号，后google得此佳文，遂问题得以解决，特于此记之。======================================================================oracle数据库版本是10g，字符集是AL32UTF8.编写

2013-10-30 21:34:25 4090

原创通过淘宝接口，采集统计访问用户ip对应地区

废话不多说，直接上代码，ip是前一天访问的用户数据存在数据仓库里面的。#!/usr/bin/python# -*- coding:utf-8 -*-# urllib_test.py# author:chunyang.wu import cx_Oracleimport simplejson as jsonimport urllib2import time def ha

2013-10-30 21:32:22 1435

原创 mysql主从复制原理和注意事项

mysql主从复制大体分3个步骤：在主库上把更新的数据写入到二进制日志binglog文件里面；备库把主库的二进制日志复制到自己的relay_log中；备库读取relay_log并将里面的数据重放到数据库。上述步骤在主从之间涉及到3个线程，a：主库上面的数据写入binglog线程，b：从库上面启动的I/O数据同步线程，该线程在主库上启动一个特殊的二进制转储线程，去读取binglog文

2013-10-29 10:18:02 1828

原创 shell统计网卡流量速度

[root@orabi opt]# ifconfig eth0eth0 Link encap:Ethernet HWaddr 00:1D:09:08:A3:BB inet addr:192.168.1.197 Bcast:192.168.1.255 Mask:255.255.255.0 inet6 addr: fe80::21d:9ff

2013-10-28 17:49:17 1609

原创 shell脚本监控mysql主从（主主）并发送189邮箱

脚本原理很简单，先连到mysql里面，并把数据库同步的状态字段Slave_IO_Running，Slave_SQL_Running的值取出来，如果不是"YES"，则同步出现问题，后用mail实现邮件发送功能。若手机开通139或189邮箱，则可实现短信提醒功能。代码如下：#!/bin/bashusername='root'password='123456'host1="192.

2013-10-28 11:22:21 5238

原创 mysql自定义表自增id步长

今天有个兄弟有个需求，需要单个表的自增id，增长步长为4，之前配置主主环境的时候有两个参数控制步长和偏移量auto_increment_increment=2，auto_increment_offset=1，但这个是全局的并写在配置文件里面现用下面的方法，实现session级别的自增id步长自定义先看到，系统全局环境的自增情况，默认为1mysql> SHOW VARIABLES

2013-10-25 16:48:30 8378 1

原创 centos下oracle11g精简版客户端32位安装（简单5步）（64位下换成相应的64位）

先下载客户端rpm包并安装[root@app224 script]# ll -rt总计 92628-rw-r--r-- 1 root root 792165 09-13 14:26 oracle-instantclient11.2-sqlplus-11.2.0.3.0-1.i386.rpm-rw-r--r-- 1 root root 1564153 09-13 14:27 or

2013-10-25 14:30:39 2254

原创 mysql 一条命令直接加载主库数据到备库

如果只包含innoDB表，则可使用如下语句直接加载主库数据到备库$mysqldump --single-transaction --all-databases --user=root --password=pass1 --port=3306 --host=server1|mysql --host=server2 --user=root --password=pass2 --port=330

2013-10-25 11:21:16 841

原创 python2.4升级到2.7后，解决安装json后模块不识别的问题

yum -y install python-simplejson上述命令执行后，json模块默认还是被安装到了python2.4下面，python2.7环境无法使用解决办法yum安装的json模块默认被安装到了/usr/lib64/python2.4/site-packages下的simplejson文件夹下面只需把simplejson文件夹拷贝到python2.7

2013-10-25 11:03:17 3801

原创 python连接oracle，把计算结果存入本地excel并发送带附件邮件

1、首先是主工作脚本，连接oracle，计算后保存到本地excel中，work.py代码如下__author__ = 'chunyang.wu'# -*- coding: utf-8 -*-from openpyxl import Workbookfrom openpyxl import load_workbookfrom openpyxl.cell import get_colu

2013-10-25 10:31:38 4263