jazwoo-CSDN博客

原创 subprocess.Popen() close_fds问题 OSError: [Errno 12] Cannot allocate memory

使用subprocess.Popen() 来调用命令时竟然发现response确实是返回到客户端了，但是服务器端和客户端的http连接竟然还连接着，一直不断。python的文档，发现：http://docs.python.org/library/subprocess.html cmd = 'ps aux | grep "memcached .* %s"' % port

2016-04-08 10:16:58 7748 4

原创 django UnicodeEncodeError

出现 UnicodeEncodeError: 'ascii' codec can't encode characters in position 53-60: ordinal not in range(128)一般解决是import sysreload(sys) sys.setdefaultencoding('utf-8') 但是用nginx +

2016-04-01 16:53:07 1789

转载分布式哈希表DHT和一致性哈希

分布式哈希(DHT)两个key point：每个节点只维护一部分路由；每个节点只存储一部分数据。从而实现整个网络中的寻址和存储。DHT只是一个概念，提出了这样一种网络模型。并且说明它是对分布式存储很有好处的。但具体怎么实现，并不是DHT的范畴。一致性哈希：DHT的一种实现。本质还是一个哈希算法。回想平时我们做负载均衡，按querystring签名对后端节点取模是最简单也是最常用

2015-12-17 17:00:23 8927

原创 django migrations

在1.6之前, Django只支持添加新的model到数据库, 而无法编辑或修改已经存在的model. 在当时, 这些Django缺失的功能可以通过South实现.1. 新的命令Django 1.7 为我们带来了三个新命令:migrate: 用于执行迁移动作makemigrations: 基于当前的model创建新的迁移策略文件sqlmigrate: 显示迁移的SQL语句

2015-11-13 17:36:49 1266

转载 Linux下安装Apache并以mod_wsgi方式部署django站点

首先下载Apache源码压缩包，地址为http://mirror.bit.edu.cn/apache/httpd/继续下载apr和apr-util压缩包，地址为http://mirror.bit.edu.cn/apache/apr/下载pcre压缩包，地址为http://ftp.exim.llorien.org/pcre/l 安装arptar -zxf

2015-11-10 15:47:23 1087 1

原创 Django的单元测试

Django的单元测试使用python的unittest模块，这个模块使用基于类的方法来定义测试。类名为django.test.TestCase,继承于python的unittest.TestCase。1234567891011121314from d

2015-11-05 19:09:26 1830

原创 django-crontab定时任务

django-crontab实现定时任务1 django-crontab安装django-crontab安装：pip install django-crontabdjango-crontab加入：只需要将django-crontab加入到settings.py的INSTALLED_APPS即可。如下代码：INSTALLED_APPS = ('django_

2015-11-05 19:07:26 5753

原创 linux下core文件设置, Core Dump

什么是Core Dump?Core的意思是内存, Dump的意思是扔出来, 堆出来.开发和使用Unix程序时, 有时程序莫名其妙的down了, 却没有任何的提示(有时候会提示core dumped). 这时候可以查看一下有没有形如core.进程号的文件生成, 这个文件便是操作系统把程序down掉时的内存内容扔出来生成的, 它可以做为调试程序的参考.core dump又叫核心

2015-10-20 10:07:59 641

原创 linux下mysql的root密码忘记解决方

1．首先确认服务器出于安全的状态也就是没有人能够任意地连接MySQL数据库。因为在重新设置MySQL的root密码的期间，MySQL数据库完全出于没有密码保护的状态下，其他的用户也可以任意地登录和修改MySQL的信息。可以采用将MySQL对外的端口封闭，并且停止Apache以及所有的用户进程的方法实现服务器的准安全状态。最安全的状态是到服务器的Console上面操作

2015-10-14 10:01:43 458

原创 mysql插入数据过大， Lost connection to MySQL server

Out of memory (Needed xxx bytes) 解决的方案是这样的内存不足，可以适当修改以下参数：（my.ini，my.cnf中的【mysqld】）key_buffer_size =128Mtable_cache =256sort_buffer_size =2Mread_buffer_size =2Mread_rnd_buffer_size =2M

2015-10-09 22:17:18 2127

转载设置mysql允许外部IP连接的解决方法

设置mysql允许外部IP连接的解决方法 mysql默认情况下，只允许localhost连接，如果需要外部IP连接到mysql，需要向mysql数据库里的“user”表里添加相关授权。例如：让newuser用户使用newpwd密码从IP：192.168.1.3主机链接到mysql服务器具体步骤： mysql>GRANT ALL PRIVILEGE

2015-10-08 17:55:20 932

原创 samba安装，启动遇到的问题

很奇怪的是启动samba ./smbd -D./nmbd -D发现进程都在，但是还是无法连接到samba服务器查看log.smbd检查日志[2006/08/10 23:12:37, 0] smbd/server.c:main(798) smbd version 3.0.14a started. Copyright Andrew Tridgell a

2015-10-08 14:20:36 5464

原创使用gdb和core dump迅速定位段错误

一、什么是core dump core：内存、核心的意思； dump：抛出，扔出； core dump：前提：当某程序崩溃的一瞬间，内核会抛出当时该程序进程的内存详细情况，存储在一个名叫core.xxx（xxx为一个数字，比如core.699）的文件中。二、更改生成的core文件的大小限制可见，core文件是内核生成的，那某一个进程

2015-10-01 15:35:01 760

转载 $.getJSON()跨域请求

1，同一域名下和其他的请求可以是一样的js: var url="http://localhost:2589/a.ashx"; $(function(){ $.getJSON(url,function(data){ alert (data.Name); })

2015-09-20 21:49:04 812

转载数据库Sharding的基本思想和切分策略

数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案数据库分库分表(sharding)系列(四) 多数据源的事务处理数据库分库分表(sharding)系列(三) 关于使用框架还是自主开发以及sharding实现层面的考量数据库分库分表(sharding)系列(二) 全局主键生成策略数据

2015-09-08 20:06:00 1136 1

转载 linux的sendfile

服务器响应一个http请求的步骤如下： 1 把磁盘文件读入内核缓冲区 2 从内核缓冲区读到内存 3 处理（静态资源不需处理） 4 发送到网卡的内核缓冲区（发送缓存） 5 网卡发送数据数据从第一步中的内核缓冲区到第四步的内核缓冲区白白绕了一个圈，没有任何变化浪费了时间而sendfile系统调用就是来解决这个问题的。sendfile省略了上面的 2、3步，磁盘文

2015-09-06 19:43:33 425

转载 select函数的并发限制和 poll 函数应用举例

一、用select实现的并发服务器，能达到的并发数，受两方面限制1、一个进程能打开的最大文件描述符限制。这可以通过调整内核参数。可以通过ulimit -n来调整或者使用setrlimit函数设置，但一个系统所能打开的最大数也是有限的，跟内存大小有关，可以通过cat /proc/sys/fs/file-max 查看2、select中的fd_set集合容量的限制（FD

2015-09-02 19:30:31 576

转载中断和轮询 VS select和epoll

一。 select和epoll首先我们来定义流的概念，一个流可以是文件，socket，pipe等等可以进行I/O操作的内核对象。不管是文件，还是套接字，还是管道，我们都可以把他们看作流。通过read，我们可以从流中读入数据；通过write，我们可以往流写入数据。现在假定一个情形，我们需要从流中读数据，但是流中还没有数据，典型的例子为，客户端要从socket读如数据，但是服务

2015-09-02 19:05:43 2136

转载 FFplay 使用详解

1. ffplay 是什么？简单的说，ffplay 是一个使用了 ffmpeg 和 sdl 库的、一个简单的可移植的媒体播放器。2. ffplay 使用方式命令行： ffplay [选项] ['输入文件']3. ffplay 可使用的选项3.1 常用选项'-L' 显示 license '-h, -?, -help, --help [arg]'

2015-09-01 16:51:29 7136

原创安装使用ffmpeg

文件包有时候下载不下来，可以直播官网手动下载安装ffmpeg及其依赖包：++++++++Yasm+++++++++++wget http://www.tortall.net/projects/yasm/releases/yasm-1.2.0.tar.gztar zxf yasm-1.2.0.tar.gzcd yasm-1.2.0./configuremake && make ins

2015-09-01 10:56:31 791

转载 FFMPEG详解

认识FFMPEGFFMPEG堪称自由软件中最完备的一套多媒体支持库，它几乎实现了所有当下常见的数据封装格式、多媒体传输协议以及音视频编解码器，堪称多媒体业界的瑞士军刀。因此，对于从事多媒体技术开发的工程师来说，深入研究FFMPEG成为一门必不可少的工作，可以这样说，FFMPEG之于多媒体开发工程师的重要性正如kernel之于嵌入式系统工程师一般。几个小知识：FFMP

2015-09-01 10:40:29 961

转载 Nginx RTMP 流媒体直播

1. RTMP协议介绍 RTMP(Real Time Messaging Protocol)实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的私有协议。它有三种变种：1)工作在TCP之上的明文协议，使用端口1935；2)RTMPT封装在HTTP请求之中，可穿越防火墙；3)RTMPS类似RTMP

2015-09-01 10:30:45 1846

原创安装成功的nginx如何添加未编译安装模块

原已经安装好的nginx，现在需要添加一个未被编译安装的模块举例说明：安装第三方的ngx_cache_purge模块（用于清除指定URL的缓存）nginx的模块是需要重新编译nginx，而不是像apache一样配置文件引用.so1.wget http://labs.frickle.com/files/ngx_cache_purge-2.0.tar.gz

2015-08-28 18:10:30 590

原创 crontab启动shell，环境变量问题

为了定时处理一些工作，使用crontab来启动shell命令，但是发现手动测试执行shell都是正常的，crontab启动之后就是不正常了实际是crontab执行的系统环境没有加载用户初始化的环境变量，所以一开始shell需要加上环境一般是 /etc/profile ~/.bash_profile使用crontab注意事项1.crontab与环境变量不要假定cron知道所需

2015-08-19 20:53:52 1097

转载如何在shell中处理异常

前言似乎好像大概有句话是这么说得，好程序与坏程序之间的区别就在于它的鲁棒性,也就是在异常情况下该程序是否还是在可hold住状态，能否不死，不崩溃，或者不做出一些超出预期的事情。那要做好这些，自然而然就要学会如何去处理异常。平时写php或者java程序等等的时候，很多人都会去注重对于异常的处理，比如try..catch等等，但往往在写一些脚本的时候，忽视了对于异常的判断。本文主要就是写如何在

2015-08-18 10:14:29 56000 2

转载编写健壮的Bash shell脚本

使用set -u使用set -e防御型编程 – 未雨绸缪注意文件名中的空格设置trap(Setting traps)保持原子性(Be atomic)延伸阅读许多人都能很快的码出一些shell代码来完成简单的任务，而且这种写法将会一直持续下去。问题是编写的shell脚本经常会包含着许多足以导致脚本运行失败的细小的缺陷(subtle effects)。本文中我就将解释编

2015-08-18 10:03:40 1122

原创 mysql进程SHOW PROCESSLIST

遇到很奇怪的一个bug是页面突然卡死，发现是cgi一致处于pending状态，进而发现是数据一致插入不了数据。然后手动执行sql的写入，都是pending状态。Mysql运行状态分析，登陆mysql数据库系统中,用show processlist分析查看当前运行状态。查进程 show processlist删除进程 kill ID查完整sql show full

2015-08-17 18:36:36 628

转载 svn常用命令行和批处理

svn的命令行的详细使用，这篇文章讲得比较详细：http://www.open.collab.net/scdocs/ddUsingSVN_command-line.html.zh-cn，但是一般开发人员用不了这么多，下面简单介绍我常用的5-6个： 1、help，查看有你当前的svn版本支持哪些命令，在控制台下输入svn help，回车，显示如下：[cpp]

2015-08-17 18:22:57 2356

转载 DNS负载均衡与负载均衡器两种方案的选择

web应用服务器集群系统，是由一群同时运行同一个web应用的服务器组成的集群系统，在外界看来，就像是一个服务器一样。为了均衡集群服务器的负载，达到优化系统性能的目的，集群服务器将众多的访问请求，分散到系统中的不同节点进行处理。从而实现了更高的有效性和稳定性，而这也正是基于Web的企业应用所必须具备的特性。　　　　高可靠性可以看作为系统的一种冗余设定。对于一个特定的请求，如果所申请的服务器不

2014-09-04 16:51:25 689

转载 mysql workbench导入，导出数据库 (二次开发数据库分析工具)

mysql workbench用的不多，前段时间装了一下，然后用了一下，感觉操作比dbdesigner4要更人性化一点。其中二个方面做了改进，让我觉得很爽。第一，就是端口可以修改了，以前就是定死3306第二，dbdesigner4导入xml时，只能是erwin xml,这样用mysqldump导出的xml根本无法导入到dbdesigner4中。现在不一样了，mysql workbe

2014-09-01 11:15:29 1166

转载 boost 中使用线程池threadpool

Boost的thread库中目前并没有提供线程池，我在sorceforge上找了一个用boost编写的线程池。该线程池和boost结合的比较好，并且提供了多种任务执行策略，使用也非常简单。下载地址： http://threadpool.sourceforge.net/ 使用threadpool：这个线程池不需要编译，只要在项目中包含其

2014-08-06 10:07:23 4062

转载 C++ Boost Thread 多线程

0 前言标准C++线程即将到来。CUJ预言它将衍生自Boost线程库，现在就由Bill带领我们探索一下Boost线程库。就在几年前，用多线程执行程序还是一件非比寻常的事。然而今天互联网应用服务程序普遍使用多线程来提高与多客户链接时的效率；为了达到最大的吞吐量，事务服务器在单独的线程上运行服务程序；GUI应用程序将那些费时，复杂的处理以线程的形式单独运行，以此来保证用户界面能够

2014-08-05 15:11:07 994

原创 samba 安装配置

1、安装samba：这个我还是比较喜欢用命令行安装，当然也可以直接用系统自带的Synaptic package managersudo apt-get install samba smbfs smbclient system-config-sambasamba 提供共享服务system-config-samba用来创建，修改，删除samba共享（界面）smbfs 一

2014-08-05 11:37:33 665

Controllers are responsible for responding to events that occur within your app. If your app contains a Logout button that your user can tap on, a Controller would listen to the Button's tap event and

2014-07-21 17:27:52 636

转载 Sencha Touch 2 （一）搭建

Sencha被翻译成“煎茶”，Sencha下有很多优秀的项目比如Complete 、Extjs、Touch、Animator、GXT 、Architect等其它相关产品。Sencha Touch 2 作为一种高性能的 HTML5 移动应用程序框架，是 Sencha HTML5 平台的基础。这里将简要介绍如何使用 Sencha Cmd创建Touch项目。一、准备工作下

2014-07-21 11:17:10 716

原创微信开发 POST接收不到数据

微信公众平台上自定义菜单的事件推送，文档上说会POST这些个数据xml>ToUserName>ToUserName>FromUserName>FromUserName>CreateTime>123456789CreateTime>MsgType>MsgType>Event>Event>EventKey>EventKey>xml>但是我把log打出来看，POST里什么数据

2014-07-18 09:59:55 3131

原创解决clearsilver 渲染cs_render慢

在使用 clearsilver去渲染模板的时候，数据大了之后会明显慢很多，

2014-07-17 13:03:48 1434

转载 linux 生成和使用动态链接库和静态链接库的Makefile编写

生成和使用动态链接库和静态链接库的Makefile编写1. 概述介绍linux下生成和使用动态链接库和静态链接库的Makefile的编写方法。2. 生成动态链接库的Makefile首先要有一个c或c++等工具编写出来的库函数文件，也就是里面写了一堆可以被别的函数调用的函数。比如：aaa.cpp#include void pf1

2014-07-16 17:21:43 1089

转载 heatmap.js 一个用canvas画热力图的利器

heatmap.js可以使用canvas画出来一张漂亮的heatmap。更重要的是它支持数据的动态添加。比如，上图的演示就是一个利用mousemove事件生成heatmap的例子。它会自动的刷新canvas，实时显示鼠标运动的heatmap。打开heatmap.js发现里面的代码并不多，但是真的很精悍。页面代码请点击这里[heatmap.js]，下面我做一个code的分析吧，看了那

2014-07-11 17:55:36 2409 1

转载 pip 安装python环境及打包

0.安装虚拟环境pip install virtualenv virtualenv env1 source env1/bin/activate 1. 将包依赖信息保存在requirements.txt文件pip freeze > requirements.txt 2.根据依赖文件安装依赖pip install -r requirements.txt

2014-07-11 12:02:51 1767