- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 oozie web_ui中文化处理过程
oozie web_ui中文化处理过程 mysql数据默认latin1,修改成utf8的 如下步骤： 1 做一个数据库全库。 全库备 mysqldump --all-databases > all.bak.sql 单库备： mysqldump db_name > backup-file.sql 2 做一个不带数据的表备份（建表语句） ...
2018-11-16 16:36:59
353
1
原创 Pandas读Excel写oracle
#!/usr/bin/python# -*- coding: utf-8 -*-# File Name: test# Created on 2018/11/6 0006# @author: Ethanimport osimport pandas as pdfrom common import databaseimport timestart = time.time()d...
2018-11-07 18:11:36
821
原创 cx_Oracle链接oracle数据库
#!/usr/bin/python# -*- coding: utf-8 -*-# Created on 2018-1-20# @author: Ethanimport base64import osimport cx_Oracleimport writelog_get_abs_path = lambda path: os.path.normpath(os.path.join...
2018-11-07 18:05:54
331
原创 Sqoop抽取数据
#!/bin/bash:<<EOF程序运行参数：1：数据库密码2：开始日期3：截止日期create table Hive数据库名.表名( id int, name string)PARTITIONED BY(dt string)ROW FORMAT DELIMITED;ALTER TABLE 数据库名.表名 ADD IF NOT EXISTS...
2018-10-18 17:33:12
892
原创 shell编程学习
#!/bin/bash:<<EOF多行注释EOFhello="Hello"echo "===================================${hello} World! \"hello\"长度="${#hello}===================================# 数组测试array_test=(1 2 "3")echo '打...
2018-10-18 17:07:32
83
原创 MapReduce测试数据计算补全
package xxx.hadoop;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.util.HashMap;import java.util.Iterator;import java.util.Set;import or
2017-03-28 12:55:11
273
原创 Hadoop练习wordcout+多文件输出
package xxx.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop
2017-03-25 14:39:56
331
原创 Hadoop的配置
package xxx.bigdata.common;import java.io.FileNotFoundException;import java.io.IOException;import java.util.Properties;import org.apache.hadoop.conf.Configuration;/** * Hadoop连接配置
2017-03-25 14:32:04
231
原创 Pycharm+Spark开发配置
1.安装py4j: pip install py4j。2.python安装目录下site-packages下新建pyspark.pth文件，内容为：C:\spark-1.6.2-bin-hadoop2.6\python\。3.配置环境变量：SPARK_HOME，值为“C:\spark-1.6.2-bin-hadoop2.6”。重新打开PyCharm。既能运行Spark
2016-10-21 19:00:40
340
原创 Mvn工程解决severlet版本冲突问题
ERROR spark.SparkContext: Errorinitializing SparkContext.java.lang.SecurityException:class"javax.servlet.ServletRegistration"'s signer information does notmatch signer information of other class
2016-10-14 13:15:35
589
原创 用Pydev快速搭建Django应用
<br />一、安装Python2.6<br />二、配置Pydev<br />三、安装Mysql，创建空数据库mystie<br />四、安装MySQL-python-1.2.3.win32-py2.6.exe<br />五、下载并安装Django<br />六、前面都是为了配置开发环境的，接下来是步入正题——用Pydev快速构建Django应用：<br /> <br />1.创建工程：打开Eclipse，选择File->New->Project->Pydev->Pydev Django Project
2010-09-26 14:58:00
1253
原创 IP地址批量查询
<br /> <br /><br /><br /># E:/devspace/python/test/spider/ip.py<br /># -*- coding: GBK -*-<br />from binascii import b2a_hex<br /> <br /># Hex to int<br />def Hex2Int(data):<br /> i0 = int(b2a_hex(data[0]), 16)<br /> i1 = int(b2a_hex(data[1]), 16)<br
2010-09-20 11:32:00
3119
ckeditor的数学公式编辑插件
2011-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人