- 博客(84)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Datax 支持增量 oracle writeMode update
Datax 支持 oracle updatedatax介绍支持增量 oracle update修改 OracleWriter.java修改WriterUtil.java修改CommonRdbmsWriter.java效果源码datax介绍DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之
2020-06-21 10:05:43
9855
19
原创 Datax 支持增量 postgresql writeMode update
Datax 支持 postgresql updatedatax介绍支持增量 postgresql update修改 PostgresqlWriter.java修改WriterUtil.java源码datax介绍DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。支持
2020-06-20 19:56:13
6152
7
原创 Mac下面的MAMP-php7使用mongodb
一、MAMP安装下面是MAMP3.5.2的地址，内附破解码。二、安装mongodb1、安装brew install mongodb2、启动mongod --config /usr/local/etc/mongod.conf三、安装php扩展1、安装php扩展brew install homebrew/php/php70-mongodb2、修改
2020-06-03 19:31:07
3626
1
原创 MySQL高级十八——监控
一、为什么使用MySQL监控随着软件后期的不断升级，myssql的服务器数量越来越多，软硬件故障的发生概率也越来越高。这个时候就需要一套监控系统，当主机发生异常时，此时通过监控系统发现和处理。二、简单的监控1、监控mysql是否提供正常的服务。 mysqladmin -uroot -proot -hlocalhost ping如果结果输出：mysqld is alive2、
2017-04-26 12:23:22
495
原创 Centos安装lnmp(php7.0)+mongodb数据库
Centos7.3 minimal配置网络1、首先使用root登录服务器，输入nmcli d我们发现网卡是处于禁用状态。2、打开网络管理器界面，再终端输入nmtui打开界面如上，使用tab键进行选择，使用enter进入，这里我们选择第一个编辑网卡。3、然后进入网卡选择4、进行选择编辑5、选择IP
2017-04-26 00:17:58
1174
原创 PHP底层的运行机制与原理
PHP是一种适用于web开发的动态语言。具体点说，就是一个用C语言实现包含大连组件的软件框架。是一个强大的UI框架。了解PHP底层实现的目的是什么？动态语言要像用好首先得了解它，内存管理、框架模型值得我们借鉴，通过扩展开发实现更多更强大的功能，优化我们程序的性能。一.PHP的设计理念及特点1、多进程模型：由于PHP是多进程模型，不同请求间互不干涉，这样保证了一个请求挂掉不会对全盘服
2017-01-20 23:12:51
6119
原创 Ubuntu 16.04 LTS (LEMP) 安装 Nginx/PHP 7/MySQL 5.7
1、基本说明我所安装的环境是ubuntu 16.04 LTS，安装nginx、PHP 7.0和MySQL，搭建Nginx服务器，后面我会加上php0-redis的扩展，在此仅供参考；我的IP地址是192.168.1.101，请大家稍微注意一下就行；我在root权限下面运行的，省去了每次sudo命令；2、安装MySQL 5.7运行命令：apt-get -y install m
2017-01-03 22:37:06
3368
原创 mac virtualbox ubuntu ssh链接
一、首先Ubuntu中安装ssh服务器Ubuntu 下安装 OpenSSH Server 是无比轻松的一件事情，需要的命令只有一条：sudo apt-get install openssh-server然后确认sshserver是否启动了：（或用“netstat -tlp”命令）ps -e | grep ssh如果只有ssh-agent那ssh-server还没有启动，需要/etc
2017-01-03 21:14:18
1938
原创 Ubuntu使用VGA27寸
输入以下命令就会解决!xrandr --newmode "1920x1080_60.00" 173.00 1920 2048 2248 2576 1080 1083 1088 1120 -hsync +vsyncxrandr --addmode VGA1 "1920x1080_60.00"xrandr --output VGA1 --mode "1920x1080_60.00"
2016-10-23 18:03:21
541
原创 ubuntu安装Node.js和npm
本文仅仅是简单地介绍如何在Ubuntu/Debian系统上安装Node.js(任何版本)和npm(Node Package Manager的简写),其他类Linux系统安装步骤和这个类似。一、更新系统sudo apt-get updatesudo apt-get install git-core curl build-essential openssl libssl-dev二、安装N
2016-10-23 13:47:09
445
原创 Ubuntu版微信
安装linux微信：git clone https://github.com/geeeeeeeeek/electronic-wechat.gitcd electronic-wechatnpm install && npm start
2016-10-23 13:38:33
427
原创 Linux搭建站点-域名虚拟多个主机
利用Apach或者Tomat来搭建，也可以使用Nginx,本章咱们说的是apache的多个主机的搭建！找到http.config文件第一步：把NameVirtualHost *:80取消注释并在文件尾部加上Include /etc/httpd/conf/vhosts/*.conf第二步：在 文件夹conf中加入vhosts目录在vhosts目录下建立
2016-10-13 15:01:49
1284
原创 Centos 安装lamp环境(php5.6)
一、安装Apache1、安装apacheyum -y install httpd2、开机自动启动chkconfig httpd on3、启动http服务service httpd start4、安装apache一些扩展yum -y install httpd-manual mod_ssl mod_perl mod_auth_mysql二、安装配置MySQL#
2016-10-12 09:54:30
730
原创 JS闭包的使用
一、关于闭包 1、闭包：一个拥有许多变量和绑定了这些变量的环境表达式（通常是一个函数），因而这些变量也是该表达式的一部分。 2、闭包的特点： 1）、作为一个函数变量的一个引用，当函数返回时，其处于激活状态。 2）、一个闭包就是当一个函数返回时，一个人没有释放资源的栈区。 javascript允许使用内部函数——即函数定义和函
2016-07-29 15:49:27
513
原创 Git使用
基础命令1、git init 创建git版本库2、git add 把文件添加到仓库（可以反复使用添加多个文件）3、git commit -m "提交的信息" 用命令告诉git、把文件提交到仓库4、git status 用命令查看git的状态和结果5、git diff 查看文件与上次提交修改的内容6、git log 查看git 日志信息：加上 --pretty=oneli
2016-07-26 00:44:08
269
原创 python 版本控制及django，git的使用
一、安装pyenv安装pyenv首先安装好python编译需要的rpm包环境：yum install readline readline-devel readline-static -yyum install openssl openssl-devel openssl-static -yyum install sqlite-devel -yyum
2016-07-14 13:39:50
1926
原创 ruby on rails使用
建议：学习使用ruby最好使用unix或者linux系统，比如：Mac、Ubuntu以下我们以Ubuntu系统作为使用案例。一、安装rubysudo apt-get update 下载ruby最新版：http://www.ruby-lang.org/en/downloads/我下载的Ruby 2.3.1，进入下载目录tar zxvf ruby-2.3.1.tar.gzcd r
2016-07-12 10:31:33
331
原创 Centos6.5搭建Django-1.8.3+mod_wsgi+Apache环境
一、Django1.8.3环境安装(下载地址：http://pan.baidu.com/s/1gf0kIaB)1、安装组件yum -y updateyum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-develreadline-devel tk-devel python-devel mysql-dev
2016-07-10 17:42:16
2065
原创 Linux（一）——文本模式指令
文本模式登入后所取得的程序被称为壳(Shell)，这是因为这支程序负责最外面跟使用者(我们)沟通，所以才被戏称为壳程序！
2016-03-05 22:48:10
545
原创 Nginx配置文件详解
###定义nginx运行的用户各用户组user nginx nginx;###nginx进程数，建议设置与cpu核心数一致worker_processes 1;###全局错误日志定义类型[ debug | info | notice | warn | error | crit ]#error_log logs/error.log;#error_log
2016-02-28 22:44:45
328
原创 VM虚拟机centos中的网络站点、主机访问
一、关闭防火墙1、 永久性生效，重启后不会复原开启： chkconfig iptables on关闭： chkconfig iptables off2、即时生效，重启后复原开启： service iptables start关闭： service iptables stop查询TCP连接情况： netstat -n | awk '/^tcp/ {++S[$NF]
2016-02-28 22:41:09
478
原创 动态网站访问过程——php语言
网站主要分为静态页面和动态页面，下面是动态网站访问过程。一、用户端访问服务器端的html文件1、通过本机配置好的DNS域名服务器地址寻找DNS服务器，将网站URL中烦人web主机域名解析为web服务器所在的Linux操作系统（Apache通常与Linux操作系统结合使用）中对应的IP地址。2、通过HTTP协议（超文本传输协议）去链接上述IP地址的服务器系统，通过默认80端口请求
2016-02-27 20:45:43
2720
原创 Centos编译安装PHP7+Nginx1.9+MySQL5.7
一、MySQL编译安装1、卸载旧版本使用下面命令检查系统是否安装MySQL Serverrmp -qa | grep mysql假如存在通过下面的命令来卸载rmp -e mysql //普通卸载方式rmp -e --nodeps mysql //强力删除方式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除2、安装boos
2016-02-27 18:38:21
2913
2
原创 MySQL高级十七——MySQL账号权限赋予
一、作用和意义mysql权限系统主要用来对连接到数据库的用户进行权限的验证，以此来判断此用户是否属于合法的用户，如果是合法的用户，如果是合法用户则赋予相应的数据库权限。二、查看当前数据库的用户mysql> select host,user,password from user;+-----------+------+--------------------------------
2016-01-16 21:31:31
389
原创 MySQL高级十六——内存优化
一、MyISAM内存优化MyISAM存储引擎使用key_buffer缓存索引模块，加速索引的读写速度。对于MyISAM表的数据块，mysql没有特别的缓存机制，完全依赖于操作系统的IO缓存。1、key_buffer_size设置key_buffer_size决定MyISAM索引块缓存分区的大小。直接影响到MyISAM表的存取效率。对于一般MyISAM数据库，建议1/4可用内存分配给ke
2016-01-15 22:18:43
523
原创 MySQL高级十五——表的分区
1、为什么要采用分区？当数据量过大的时候（通常是指百万级或千万级数据的时候），这个时候需要将一张表的数据划分几张表存储。一些查询可以得到极大的优化，这主要是借于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内，这样在查找时就不用查找其他剩余的分区。2、查看一下mysql是否支持分区通过以下命令去查看mysql是否支持分区？？show variables like '%p
2016-01-13 20:57:24
248
原创 MySQL高级十四——表的优化
一、优化1、定期分析表：analyze table woitems;+---------------+---------+----------+----------+| Table | Op | Msg_type | Msg_text |+---------------+---------+----------+----------+| caiwu.wo
2016-01-12 19:28:35
303
原创 MySQL高级十三——通过索引优化SQL
一、概述二叉树——>索引文件：效率log2N检索10次：2的10次方。1024条记录。索引带来的开销查看数据的文件（安装目录下的data目录），会发现三个文件，.frm：表示表的结构.myd：表示数据.myi：表示索引的文件索引带来的问题：会导致insert，update，delete的效率更新频繁的字段不适合创建索引。唯一性比较差的字段不适
2016-01-11 22:12:41
279
原创 MySQL高级十二——索引
create procedure p_addsaloary(in v_empno int)begindeclare adds int;case v_empnowhen 1 thenset adds = 1;when 2 thenset adds = 2;when 3 thenset adds = 3;elseset adds = 4;end case
2016-01-11 21:34:20
318
原创 MySQL高级十一——慢查询
MySQL记录下查询超过指定时间的语句，我们将超过指定时间的SQL语句查询称为慢查询。1、查看时间限制show variables like '%long%';就会看到：+---------------------------------------------------+-----------+| Variable_name
2016-01-11 21:05:20
285
原创 Python Scrapy安装
一、安装Python下载Python3.4.3并安装修改环境变量路径二、安装pip下载piphttps://bootstrap.pypa.io/get-pip.py用python执行python get-pip.py修改环境变量路径三、安装Scrapypip install Scrapy注意：可能会出现： Using build con
2016-01-11 01:04:21
352
原创 MySQL高级十——事务的应用
一、什么是事务为什么要使用事务这个技术？现在很多软件都是多用户，多课程，多线程的，对于同一个表可能同时有很多人在用，为保持数据的一致性，所以提出了事务的概念。1、查看数据库下面是否支持事务（InnoDB支持）？show engines;2、查看mysql当前默认的存储引擎？show variables like '%storage_engine%';3、
2016-01-10 20:58:24
437
原创 MySQL高级九——MyISAM表锁（共享读锁）
锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，数据也是一种供许多用户共享的资源。如何保证数据访问的一致性、有效性是所有数据库的一个问题，锁冲突也是影响数据库并发访问性能的一个重要的因素，从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。MySQL锁概述相对其他数据库而言，MySQL的锁机制比较简单，其最显著的特点是不同的存储引擎支持不同的锁机制。比如，MyI
2016-01-10 20:16:31
1321
1
原创 MySQL高级八——触发器的使用
触发器是一种特殊的存储过程，它在插入，删除或者修改特定表中的数据时触发执行，它比数据库本身标准的功能有更精细和更复杂的数据控制能力。它具有这样的特征：监视地点：一般就是表名监视事件：update/delete/insert触发时间：after/before触发事件：update/delete/insert他不能直接被调用，是由数据库主动执行。exampl
2016-01-09 23:44:16
511
原创 MySQL高级七——视图的使用
1、视图的使用条件如果某个查询结果出现的非常频繁，就是要经常拿这个查询结果来做子查询，使用视图会更加方便。2、使用视图的好处a、简化查询语句b、可以进行权限控制把表的权限封闭，但是开放相应的视图权限，视图里只开放部分数据列。c、大数据表分表的时候，比如某张表的数据有100万条，那么可以将这张表分成四个视图。按照对id取余计算3、创建视图creat
2016-01-09 17:14:42
701
原创 MySQL高级六——函数创建和使用
1、查看是否能创建函数show variables like '%fun%';如果为OFF，表示不能创建函数2、修改数据库能创建函数set global log_bin_trust_function_creators = 1;这样就修改为ON了，就能创建函数了3、创建函数(机制和创建存储过程差不多)create function fun_add(a in
2016-01-09 16:54:00
618
原创 MySQL高级五——存储过程的管理
1、查看数据库的存储过程如：show procedure status where db='caiwu';2、查看当前数据库下面的存储过程的列表如：select specific_name from mysql.proc;3、查看存储过程的内容如：select specific_name,body from mysql.proc;4、查看某个存储过程的内容如
2016-01-09 16:43:21
1113
1
原创 MySQL高级四——自定义条件和处理
语法：declare continue handler for sqlstate '错误代码值' set 变量=变量值如：create procedure p_insertDome()begin declare continue handler for sqldate '42S02' set @x=1; insert into userinfo2(uid,name,passwor
2016-01-09 16:41:40
356
原创 MySQL高级三——循环语句
1、where循环create procedure p_addnum()begindeclare i int default 1;declare addresult int default 0;while i <= 100 do set addresult = addresult + i; set i = i + 1;end while;select addresult;en
2016-01-09 16:39:42
1483
原创 MySQL高级二——流程控制语句
一、MySQL流程控制语句——选择语句1、只有一个判断delimiter $$;create procedure p_showage(in age int)beginif age >= 18 then select '成年人';else select '未成年人';end if;end$$;修改mysql结束符；delimiter ;
2016-01-09 16:34:42
415
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人