Jeremy726-CSDN博客

原创 Python中正则表达式多行匹配的方法

根据网上搜寻,虽然没找到答案，但经过反复尝试，终于找到了多行匹配的方法，我只用单行然后详细解释，基础语法省略掉。想弄明白多行匹配的初衷是因为想取的数值是变参，并且单行无其他可以参考可以获取的没有特点的文本。target_character = re.findall(r"出球顺序.*</td>.\n.*<td>.\n.*</td>",res_str,re....

2018-01-09 09:40:13 7684

原创实用的sql顶层优化方案

SQL调优为什么要调优?sql命令执行不当的情况下,本地会导致CPU和内存负荷非常大,在企业的生产环境中,硬件资源是非常昂贵的,那么更可怕的做法是远程调用全表扫描回传到本地,在剧烈消耗服务器资源的同时,还大量占用网络资源或导致网络阻塞,风险和成本都非常高.怎么调优?对于大数据的行业来说,顾名思义,数据量非常大,sql优化说穿了就是尽量避免一切全表扫描的情况发生,在相同达到目的的情况下使用使...

2019-07-14 10:06:06 162

原创 flume安装,配置与使用

flume-****-cdh.tar.gz解压配置文件flume-env.shJAVA_HOME=$JAVA_HOME监听本地机器44444端口配置文件telnet的配置文件 flume-telnet.conf# Name the components on this agenttelnet.sources = r1telnet.sinks = k1telnet.chann...

2019-07-03 23:50:40 229

原创 sqoop:配置-操作-使用

解压到cdh下env文件改名修改内容export HADOOP_COMMON_HOME=/opt/modules/cdh/hadoop-2.5.0.cdh5.3.6/export HADOOP_MAPRED_HOME=/opt/modules/cdh/hadoop-2.5.0.cdh5.3.6/export HIVE_HOME=/opt/modules/cdh/hive-0.13.1-c...

2019-07-02 22:58:07 219

原创 hive建库建表语法和相关语法单词记忆

建库:create database jeremy;use jeremy;建表:create table t1( id int, name String, sex String) row format delimited fields terminated by '\t';创建一个表字段以制表符为分隔符的t1表,字段分别有整形字段id,字符型字段name,字符型字段sex....

2019-06-22 17:32:09 226

转载 mysql-8.0.13-linux-glibc2.12-x86_64.tar.xz 安装步骤

https://blog.csdn.net/weixin_42109071/article/details/89375748不会转载,收藏用

2019-06-21 18:30:38 497

原创 .xz的解压方法

tar.xz的压缩格式是一种更高效的压缩格式.扩展:https://baike.baidu.com/item/xz/1522437解压命令:xz-dfilename.tar.xz得到filename.tartar -zxvf filename.tar完成解压....

2019-06-21 16:28:02 16730 2

原创 Linux执行脚本命令时提示$'\r': command not found错误的解决方法

今天写bash脚本,运行时报$'\r': command not found错误,经过查找,原来是windows和Linux的换行符不同(windows是\r\n,而Linux是\n)导致的,找了好久答案:有说装dos2unix的,失败原因是找不到软件源,最终放弃.有的说vim的命令行模式下使用%s/^M//g的,没效果,放弃.最终找到了解决方法:https://blog.csdn.n...

2019-06-21 09:26:09 18035 3

原创 hadoop HA高可用（high available）部署一——HDFS集群配置

目前状况：namenode是整个hdfs系统的核心，集群中只存在一个namenode节点，如果namenode挂掉，整个系统将进入瘫痪状态，目前我的集群namenode、ResourceManager、secondNamenode分配在三台服务器上为了防止单点namenode挂掉导致整个系统瘫痪，传统的做法就是做namenode的备份节点，定期备份namenode的数据，恢复时间长，反应迟钝。...

2019-04-30 16:47:03 245

翻译 is not in the sudoers file

使用sudo命令，提示“hadoop is not in the sudoers file.”时：1.使用root用户登录：su - root2.打开/etc目录：cd /etc3.为root用户授权/etc/sudoers文件的写权限：chmod u+w /etc/sudoers4.编辑sudoers文件：vim /etc/sudoers5.通过?root命令找到root A...

2019-02-20 10:22:39 325

原创 abstract用法

修饰作用关键字，“抽象的”。1.修饰类时，该类不可被实例化。2.修饰方法时，该方法所在类必须也是抽象类。3.抽象类里可以没有方法，但是抽象方法所在的类必须是抽象类。4.抽象类的子类必须实现抽象类中所有的抽象方法。5.abstract关键字不能与private/final/static同时出现。具体解释见案例注释。abstract class Person{ St...

2019-02-11 11:10:31 1093

原创 final用法

起修饰作用的关键字，“最后的、最终的”。在修饰类时不能被继承。在修饰方法的时候方法不可被重写。在修饰属性时属性不可被修改，且必须在在创建时或构造器中进行初始化（赋值）。例：class Person{ String name; public void sleep(){ System.out.println(name+"is sleeping."); ...

2019-02-10 18:12:13 126

原创结合正则表达式多行匹配并优化双色球期数取双色球所有期数开奖号码顺序导入数据库

话不多说，直接源代码了，跟昨天了区别不大，增加正则表达式多行匹配、优化的双色球期数。#!/usr/bin/python27#coding=utf-8__author__ = 'Jeremy'import urllib2import reimport pyodbcfor i in xrange(3,19): if len(str(i))==1: i =

2018-06-12 09:50:20 750

原创数据分析之路——第一天

初始numpy、pandas：#!/usr/bin/python27#coding=utf8__author__ = 'Jeremy'import numpy as npimport pandas as pd#迭代建立字典，用DataFrame方法建立二维数组数据框dic_1 = {}dic_str = 'asdqwezxcr'for i in xrange(10):

2018-01-15 14:49:09 192

原创 Python文件读取处理插入数据库

今天是为了工作，顺便深入学习文件内容处理相关知识。#!/usr/bin/python27#coding=utf-8__author__ = 'Jeremy'import reimport jsonimport pyodbcfo = open('.\***.TXT','r')lines = len(fo.readlines())print linesfo.seek(0)i

2018-01-12 09:38:00 1656

原创筛选双色球开奖结果并插入数据库

2018-1-8 星期一发现了一个比较好筛选的一个双色球开奖结果公布网站（http://kaijiang.500.com/shtml/ssq/18003.shtml）,页面代码逻辑超级简单，我就选择他辣。取所有开奖结果直接insert到sqlsever数据库中。#/usr/bin/python#coding=utf-8__author__='jeremy'import rei...

2018-01-08 16:52:39 653

li_1303999的博客