int_gavin-CSDN博客

原创 pymssql操作sqlserver报错的一次处理： Unclosed quotation mark after the character string

通常遇到这个错是因为 sql 字符串中少了一个单引号的原因，但是还有一个类特别隐蔽的问题：sql的值中的字符串里边带有 \x00 和 \u0000的截止符。这类符号会导致 pymssql 处理不到后边的单引号。解决方法是去掉这类的字符： try: decrypt_data = decrypt_data.rep

2017-05-25 11:47:50 8044 1

原创 sql server 大批量写入的一次尝试

因为公司业务需要，有大搞10亿条左右的历史数据需要插入到sql server 中，插入脚本使用的是python。需要注意的是，数据中有重复的部分需要过滤掉。尝试1：跟线上一样中规中举的插入。步骤类似下面：解析数据选择哪些被插入： select * from in ()insert into...此时的插入非常慢，慢到不可接受，几乎需要一个月。在分析了上面步骤的耗时之

2016-11-01 15:04:27 2015

原创 sql server的执行效率的一次优化

场景：有大概上亿的数据需要插入，其中会有 select 和 insert 操作基本方法：利用 sql server 的 select in 和 insert values （），（）进行批量的查询和插入当表中的数据量超过1000万条的时候出现发现性能太慢，在公司内部的业务下1万多个记录的插入的时候（不止一张表，有多张表的插入，所以插入记录超过1万多），时间需要花费25秒的

2016-07-20 11:37:25 481

原创 python中list 和 dict 效率的一次实践

业务场景：有上亿条的数据入库解析并且入库到sqlserver中去，所以每次优化一秒钟，可能对入库的性能就能提升一天。 python语句的优化，里边有对list数据去重的代码如下： object_id_set = [] remove_objects = [] for object in objects: try:

2016-07-20 09:55:15 2672

原创 ELK的搭建实践

ELK搭建1. 日志服务的架构图2. 下载解压logstash下载：wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz解压：tar vxf logstash-2.3.4.tar.gz Redis下载：自己去网上下吧，这里用的是3.2.0解压：tar vxf ……

2016-07-18 14:44:10 382

原创 sql server的一些常用 sql 语句

查询系统连接数SELECT * FROM[Master].[dbo].[SYSPROCESSES] WHERE [DBID] IN ( SELECT [DBID]FROM [Master].[dbo].[SYSDATABASES]WHERE NAME='fb_data')order by cpu desc需要修改数据库的时候可以修改where里边的东西

2016-06-23 15:29:52 284

原创记录一款软件

有一个需求去导出数据库的表结构到word文档中，手动搞也太麻烦，几十张表。万能的度娘上面有一款动软代码生成器里面居然可以直接生成，而且可以管理一些sql代码。目前只试了文档生成器，还没有使用其他的生成器，感觉应该还不错。

2016-06-21 09:59:07 306

原创 pycharm的使用心得---持续更新

首要：记得保存自己的配置 Code 菜单中的 Reformat Code可以格式化代码，还不错 File->Setting->Editor 中 Code Style可以设置一些python的风格， File and Code Templates中可以设置新建文件的模板当发现右上角的编译器告警标签以后，级别高的一定要消除，有一些消除不了的使用 ALT + ENTER 的组合键可以过滤，选

2016-06-15 10:29:22 2734

原创 python 在 windows下文件名 cropto模块导入失败编译error

IOError: [Errno 22] invalid mode ('r') or filename:这种错误的出现是在使用built-in函数file()或者open()的时候。或者是因为文件的打开模式不对，或者是文件名有问题。前者的话只需要注意文件是否可读或者可写就可以了。后者则是与文件路径相关的问题，需要在文件名前加r或者R转义，如：file(r"e:\Test.txt",'r').或者

2016-06-13 18:22:43 628

原创 pymssql的字符集问题

在往sql server中插入数据的时候，报错 "Unclosed quotation mark after the character string".从插入数据本身上看没有问题，但是分段调试后发现当字符中包含了 \U0001f606 的字符的时候就会报错。原因是因为 pymssql 使用的freetds需要打一个patch： freetds-patched.tgz 来支持这样的

2016-05-19 14:53:32 1406

原创 pykafka的消息队列的使用

项目当中用到了pykafka，所以需要对代码进行查看。在异步producer的时候肯定会需要在client端缓存队列的，就来看看它都干了些啥。producer.py中的start函数就是准备工作、连接工作做完之后的发起者咯： def start(self): def queue_reader(): while self.running:

2016-05-13 12:01:46 4790

原创试试博客

从tornado自带的helloword例子出发：import tornado.httpserverimport tornado.ioloopimport tornado.optionsimport tornado.webfrom tornado.options import define, optionsdefine("port", default=8888, help="

2016-04-29 15:21:21 304

hh289211972的博客