- 博客(22)
- 收藏
- 关注
RSS订阅原创 datax安装部署及测试
1.datax安装下载路径：https://github.com/alibaba/DataX安装要求： 1.具备python2环境； 2.具备jdk1.8环境（亲测jdk1.6会报错）。2.datax测试 将下载的datax解压，进入到datax_home/datax/job新建job2.jsonjob2.json配置如下：配置的意思是从localhost 中mydb库的customers表同步指定字段到local...
2020-08-02 21:20:21
1020
原创 linux shell 标准输出和错误输出定向问题
我想实现脚本的标准输出到一个文件run.log，错误输出到一个文件err.log，脚本如下：. /etc/profile. ~/.bash_profile#打印hello worldecho "hello world"#ls一个不存在的文件ls abc.txt正确写法错误输出（2）和重定向（>）不能有空格，标准输出（1）和重定向（>）不能有空格，如下:nohup sh test.sh 2> err.log 1> run.log &期间犯了错误
2020-06-17 23:20:08
444
原创 mysql limit 0,100 和limit 10000000,100 差别
使用子查询和筛选条件能够很好地避免这个问题首先我们有个需求，从10000000 万数据量的orders_test表里取出100条数据，至于怎么取没有要求。表结构如下：CREATE TABLE `orders_test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `o_date` date DEFAULT NULL, `c_id` varchar(50) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=In
2020-06-03 21:56:05
8388
1
原创 Pandas提速方案
Pandas提速方案1.read_csv 的engine设置为c：pd.read_csv(filename, engine='c')使用的分析引擎。可以选择C或者是python。C引擎快但是Python引擎功能更加完备。2.read_csv 的usecols指定：在数据分析过程中有些表字段对我们来说是没有用的，不必要加载，这样可以提升pandas文件速度。3.处理加载文件...
2020-04-06 11:32:35
956
原创 python 通过输入来获取到指定的年月
python利用time和datetime模块获取当前月份的前N个月和后N个月首先获取当前时间戳，将当前时间戳转化为YYYY 、MM，转化为相应的月份之后再将时间戳转化为月份import timeimport datetimedef get_YYYYMM(mon): ''' I:mon 0：默认为上个月账期 1：当月账期 ...
2019-11-16 23:01:38
1280
原创 c/c++ typedef 和 define的区别
typedef 是用来定义一种类型的新别名的，它不同于宏（#define），不是简单的 字符串替换。它的新名字具有一定的封装性，所以新命名的标识符具有更易定义变 量的功能，它是语言编译过程的一部分，但它并不实际分配内存空间。 而 #define 只是简单的字符串替换（原地扩展），它本身并不在编译过程中进行， 而是在这之前（预处理过程）就已经完成了。因此，它...
2019-10-31 18:01:37
141
原创 python 正则表达式之\b、\B
\b被称为单词边界，\B被称为非单词边界,\b与\B是非的关系。python里面字母和数字有边界这一说，与英文单词的边界类似。一个英文单词一般空格、换行、标点符号或者特殊符号来表示边界。例如：my name is lucy!my的边界是空格和句子开头，name的边界也是空格，is的边界也是空格，lucy的边界有两个一个是空格一个是！用\b匹配my和匹配lucy的代码如下：...
2019-10-12 23:14:18
2351
原创 c/c++重复定义（multiple definition of `XXXXXX'）问题的解决
一般这种工程代码我们都会使用#ifndef _PTHREAD_TEST_H#define _PTHREAD_TEST_H#endif //_PTHREAD_TEST_H使用测试代码如下：pthread_test.h#ifndef _PTHREAD_TEST_H#define _PTHREAD_TEST_H//使用互斥量解决多线程抢占资源的问题#include <...
2019-08-25 22:48:44
2022
原创 linux调试段错误（吐核）gdb调试
使用源程序如下，该程序需要输入两个参数才会报段错误吐核：/******************************************************************* Author: wanglei...
2019-08-22 16:40:28
1714
原创 linux调试段错误（吐核）设置
linux编译c/c+程序会出现段错误，单单是出现段错误什么也没留下的话，调试就比较麻烦。为了解决这个问题，我们可以设置段错误吐核。这种设置有两种一种是当前shell有效，另一种是永久有效。第一种当前shell有效：首先ulimit -a查看是否设置段错误吐核，如下图中core file size大小为0，这是属于没设置吐核的ulimit -c 100设置吐核文件...
2019-08-22 15:58:53
4364
原创 source insight 4.0 显示中文乱码解决办法
source insight这款软件使用起来非常方便，尤其是对项目代码分模块写的那种，查看代码非常方便。但是他也有个弊端，他没法自己知道代码中的中文注释是哪种编码，这就非常不方便了，一般显示的是乱码，如下图：有款软件使用起来比较好，我也比较喜欢使用，notepad++在文件编码这里它比source insight好使，他可以自己获取文件的编码。他有个弊端，他查看模块类型的代码不方便。我...
2019-07-28 16:04:31
2629
原创 MYSQL可视化工具SQLYOG使用异常情况
查看mysql存储过程时，按照如下操作然后，就可以看到存储过程的代码这部分代码看到不知所云，进行如下操作:就可以看到正确的代码：
2019-07-16 16:27:35
633
原创 MYSQL存储过程之异常处理exit、continue
exit遇到错误就会执行特定语句continue遇到错误会忽略错误继续执行创建表的代码如下：CREATE TABLE `_t1`( `id` INT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY, `val1` VARCHAR(20) DEFAULT NULL, `varl2` INT(11) DEFAULT NULL)ENGINE=INNO...
2019-07-06 16:13:40
1083
原创 linux shell 条件判断及文件文件夹判断
-eq （equal）相等-ne （inequality）不相等-gt （greater than）大于-lt （less than）小于-ge （greater equal）大于或等于-le （less equal）小于或等于-d （directory）判断文件夹-f （...
2019-07-01 10:29:10
590
原创 MYSQL相关使用之group_concat排序（易出错点）
准备数据如下：#数据表介绍#--1.学生表#Student(SId,Sname,Sage,Ssex)#--SId 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别#--2.课程表#Course(CId,Cname,TId)#--CId 课程编号,Cname 课程名称,TId 教师编号#--3.教师表#Teacher(TId,Tname)#--TId 教...
2019-06-25 15:24:19
1291
转载 Linux 下 ls -l 命令执行显示结果的每一列含义
转自：https://blog.csdn.net/zhuoya_/article/details/77418413
2019-06-13 18:29:10
166
原创 linux中cat和more的使用不同点
以打开.bash_history文件为例more打开.bash_history文件的一部分，剩余的部分需要按enter键我们才能看得到more .bash_historycat .bash_history则是将.bash_history里面的内容全部打开他两的区别在于当循环处理文件的时候，more命令就不合适了，cat适合。...
2019-06-12 17:28:35
686
原创 文件路径/、./和../的区别
/ ：表示当前路径的根路径。./ ：表示当前路径。../ ：表示父级路径，当前路径所在的上一级路径。以上就是三者的区别
2019-05-21 21:12:49
9840
1
转载 MySQL的练习
这是我从网上找到的MySQL练习题，这个还比较全面DROP DATABASE IF EXISTS test2;CREATE DATABASE test2;USE test2;CREATE TABLE student(sno VARCHAR(20) NOT NULL PRIMARY KEY,sname VARCHAR(20) NOT NULL,ssex VARCHAR(20)...
2019-05-02 14:48:31
117
原创 VMware系统错误： 无法启动此程序，因为计算机中丢失 MSVCR120.dll 尝试重新安装该程序以解决此问题
我安装的是vmware workstation pro14在网上找了好几种解决办法。第一种：DirectX修复工具V3.2增强版更新包。该方法我试着没用还是报这个错误。第二种：下载一个MSVCR120.dll放到/Windows/SYSTEM32下该方法依旧没用，还是报这个错。/Windows/SYSTEM32下的MSVCR120.dll本来就没有丢失。第三种：重新安装...
2019-04-14 10:45:37
6826
原创 linux调试有关kafka的错误
kafka上的消息只能被处理一次。今天调试有关kafka写入和读取的程序时，我一直能读到kafka前面写入已经被处理过的消息，很是郁闷，不清楚怎么回事，后来多方咨询后知道，kafka上面有个bug，可能是由于网络延迟也可能其他原因造成的。写入kafka数据后让程序等待一段时间，这个时间给kafka去提交数据，问题就解决了。...
2019-03-28 23:24:19
204
原创 linux调试段错误（吐核）问题小结
段错误吐核一般都是和内存有关系，出现这种问题一般都要编译能通过。我总结了一下几点原因：1.使用地址变量时没有带取址符；2.字符串为空时：使用字符串要求不为空时，而使用时忘记赋值。3.程序中出现中文符号：出现该问题需要“扫地僧”级别来看，一般情况下很难很快看出来问题所在。4.缺少标点符号。这个有时候编译器会提示，有时候不会。编译器很古老的类似cc会出现程序有错误也给你编译通过...
2019-03-27 23:18:25
5507
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人