- 博客(176)
- 收藏
- 关注
RSS订阅原创 python2 json中写入中文后dumps后转为gbk编码
数据库中某个表中的某个字段比如opt 是json 格式 该表的编码是gbk另外一个数据库的某个表格式是utf8的，comment字段也是json的那么 如何将comment字段中的 某个key的值 取出来 存进opt中，并且 查看以gbk格式查看opt能够正常显示汉子对opt 进行操作 该opt是gbk格式 需要解码的时候 使用对应的编码格式jopt = json.loads(opt,en...
2019-07-02 17:13:21
1748
1
原创 docker学习笔记（二）
第七章端口映射实现容器访问1. 从外部访问容器应用 在启动容器的时候， 如果不指定对应参数， 在容器外部是无法通过网络来访问容器内的 网络应用和服务的 通过-P或-p参数来指 定端口映射 -P 随机映射一个49000-49900 的端口 到内部容器开放的网络端口： -p 指定要映射的端口 并且，在一个指定端口上只可以绑定一个容器。 格式：IP:HostPort:ContainerP...
2019-06-13 17:19:22
270
原创 docker初步学习笔记（一）
用了几天晚上时间、学习一下docker首先先去官网下载windows docker 的一键安装包 https://www.docker.com/支持win10 然后 一路下一步安装即可、最后会要求重启、开启虚拟化操作、还要硬件开启虚拟化、开机进入bios进行cpu开启虚拟化操作 每个电脑 的开启方式 百度即可然后官网有带你入门体验的例子，可以跟着走一遍 理解一个大概、跟着操作就行。然后 ...
2019-06-13 17:18:04
298
原创 go的字符编码、strings.Builder、Reader
unicode与字符编码1、go使用的编码Go 语言采用的字符编码方案从属于 Unicode 编码规范。更确切地说，Go 语言的代码正是由 Unicode 字符组成的。Go 语言的所有源代码，都必须按照 Unicode 编码规范中的 UTF-8 编码格式进行编码。Go 语言的源码文件必须使用 UTF-8 编码格式进行存储。如果源码文件中出现了非 UTF-8 编码的字符，那么在构建、安装以及运...
2019-06-05 16:51:05
929
原创 go test 基本知识理解
go test 笔记测试代码链接：https://github.com/hyper0x/Golang_Puzzlers/tree/master/src/puzzlers/article20https://github.com/hyper0x/Golang_Puzzlers/tree/master/src/puzzlers/article21go程序编写三类测试：功能测试test基准测...
2019-06-04 16:13:29
1000
原创 goland常用快捷键操作
goland 常用快捷键 操作1、查询快捷键CTRL+N 查找类 CTRL+SHIFT+N 查找文件 CTRL+SHIFT+ALT+N 查找类中的方法或变量 CTRL+B 快速打开光标处的类或方法 CTRL+ALT+B 找所有的子类 CTRL+SHIFT+B 找变量的类 CTRL+G 定位行 CTRL+F 在当前窗口查找文本 CT...
2019-05-22 15:34:43
811
原创 mysql group by top N 问题
mysql group by top N 问题 下面链接有例子 用到了临时变量这个链接例子很好，比较详细，值得一看http://www.sqlines.com/mysql/how-to/get_top_n_each_group首先先按照country, population 进行倒叙排列，然后 增加一列序号，按照分组进行 排序号SELECT city, country, populati...
2019-05-17 18:41:25
838
原创 python BitMap实现
假设有20亿个int类型不重复非负数的数字，而我们只有4G的内存空间，如何将其排序？一个int类型数据占据4个Byte，而1个Byte占据8个bit位。20亿个int大概需要7.45GB的内存。那么4G的空间是决计不够的我们可以用1bit来存储一个int的目的，只要遍历一下这个bitmap，就可以自然地得到数字序列的排序。并且理论上它所占用的空间只有原来的1/32，20亿个数字，现在只需要23...
2019-04-24 18:49:16
1350
原创 python GIL锁问题
学习内容来源于《流畅的python第17章内容》，我觉得讲的挺清楚的CPython 解释器本身就不是线程安全的， 因此有全局解释器锁（GIL）确保线程操作安全 ，所以一次只允许使用一个线程执行 Python 字节码。 因此， 一个 Python 进程通常不能同时使用多个 CPU 核心。这是 CPython 解释器的局限， 与 Python 语言本身无关。 Jython 和 IronPytho...
2019-03-15 18:52:14
211
原创 python json.loads 解析 遇到特殊字符 错误时
json中含有一些特殊字符 比如 \r \n 等时候，在进行json.loads(data)解析时 会出错，解决方法： 可以先对josn的字符串 进行特殊字符的转义 也就是 \r -> \\r \n->\\n 等json_data = json.loads(data.replace('\n', '\\n')) json_data = json.loads(replace...
2018-10-29 16:32:38
6644
原创 python读取表中的json再重新写入会出现中文变成unicode码
有一个表中的字段 是gbk格式，比如该字段是comment：这是人和公园的西门然后 将该字段 要插入另一个表(utf8)中的某个字段：该字段是个json，往该json中添 加一个新的字段comment。操作步骤：读取json，添加comment字段，json.dumps(data),写入表中。发现表中是unicode编码， 且所有中文都变成字符串形式u8fd9u662fu4ebau54...
2018-10-29 16:26:42
1046
原创 emeditor文本编辑器 秘钥
https://zh-cn.emeditor.com/download/秘钥 DMAZM-WHY52-AX222-ZQJXN-79JXH
2018-10-25 18:43:26
1906
1
原创 rediss实战 学习笔记1
redis 实战学习笔记1redis:数据文件存储在dump.rdb中第一章： 1、redis的持久化：数据存放问题 （1）时间点转储：指定时间段内指定数量的写操作执行 （2）将之追加写入设置为 从不同步，每秒同步，每写入一个命令就同步一次 2、数据结构类型： string、list、set、hash、zset （1）string字符串：键-值 命令：get ...
2018-10-19 18:56:16
160
原创 python concurrent.futures 并行执行
concurrent.futures 并行任务包 ThreadPoolExecutor() ProcessPoolExecutor()这里写代码片执行器对象class concurrent.futures.Executor提供异步执行调用的方法的抽象类。它不应直接使用，而应通过其具体子类使用 submit(fn, *args, **kwargs) map(...
2018-09-07 18:46:21
702
原创 python multiprocessing
官方文档：https://docs.python.org/3.7/library/multiprocessing.html#using-a-pool-of-workers# multiprocessing — Process-based parallelism 基于进程的并行性# introduction multiprocessing多处理# multiprocessing ...
2018-09-07 16:45:23
3107
原创 往mysql中插入 字符串数据时 包含一些特殊字符时的处理，防止sql注入
比如：address字符串中 包含 \ ' " 时候 在拼接sql语句时，必须在这些字符前加上转义字符 \ 才可以不影响sql语句，可以用字符串处理函数将对应的字符替换成带有转义的字符即可address = address.replace("\\","\\\\")address = address.replace("'","\\'")address = address.replace('...
2018-09-06 18:47:44
24058
1
原创 'gb18030' codec can't decode byte 0x80 in position 10: incomplete multibyte sequence
‘gb18030’ codec can’t decode byte 0x80 in position 10: incomplete multibyte sequence 出现这种报错的问题原因是：我们要解码的数据不符合我们期望的类型，所以有时候我们知道数据的编码格式，但是其中有一些其他格式的数据，这样我们就要将其他的格式数据进行忽略，否则解码会报错，程序运行不下去,在decode 中添加’ign...
2018-09-06 11:17:17
27416
原创 IOError: [Errno 32] Broken pipe
Traceback (most recent call last): File "/usr/local/app/anaconda2/lib/python2.7/multiprocessing/process.py", line 267, in _bootstrap self.run() File "/usr/local/app/anaconda2/lib/python2.7/mul...
2018-09-05 18:13:07
5990
原创 mysql 按天 按月 按日 按年 选取数据
select DATE_FORMAT(create_time,'%Y%m%d') as day,count(*) from table_test group by day;select DATE_FORMAT(create_time,'%Y%u') as week,count(*) from table_test group by week;select DATE_FORMAT(creat...
2018-09-05 17:17:32
430
原创 python在使用pool时候Can't pickle type 'NoneType'
在python中使用multiprocessing中pool的时候 报错：Traceback (most recent call last): File "street_order_data_detail_into_db.1.py", line 500, in <module> get_result = [res.get() for res in multiple_re...
2018-09-05 17:00:54
916
原创 python3 的并行执行的解释及例子
class threading.Thread(group=None, target=None, name=None,args=(), kwargs=None, *, daemon=None)target= 线程调用的函数name = 线程名字 默认 thread_Nargs = () 函数参数tulpl.start() # 线程启动.run() # 线程任务运行.join(timeo...
2018-08-24 17:06:31
1873
原创 python3中的random模块函数例子
random模块import randoma = random.random() # [0,1) 返回floatprint(a)b = random.uniform(10,11) #[10,11) #返回floatprint(b)c = random.sample(range(10000),10) # 抽样，从0~9999 抽取10个唯一元素 返回listprint(c)d =...
2018-08-23 17:48:29
328
原创 python json解析报错 'unicode' object has no attribute 'has_key'
python 中 json解码时候 解析数据会报错： 报错 ‘unicode’ object has no attribute ‘has_key’ 这是因为我们在使用python的 json.loads() 时候. 会将json的string类型转换为 python的unicode类型，这个不是重点 重点是 json数据中某一项的值为None就是为空，这个时...
2018-08-22 16:46:40
16008
原创 python报错问题
1、Python中’Nonetype’ object is not iterable的问题 None 值被赋给了多个变量，如下 a, b = None 该对象的值为None，可能被赋值的时候出现问题（源数据为None） *当一个函数没有return语句，函数会返回None，此时如果将函数返回值赋给多个变量，则容易出现上述错误。2、TypeError: c...
2018-08-20 16:25:16
625
原创 解决Linux关闭终端（SSH）后程序自动停止的问题
解决Linux关闭终端（SSH）后程序自动停止的问题 终端会在一定时间后自动结束（相关下的进程也会被结束） 1)使用 nohup python poiid_list.py & [1]30278 (这个为该程序的运行时进程id)如果想在关闭ssh连接后刚才启动的程序继续运行怎么办，可以使用nohup。但是如果要求第二天来的时候，一开ssh，还...
2018-08-20 16:21:25
1055
原创 vscode配置python扩展插件，以及双环境配置
1、插件列表2、setting.json文件配置用户设置{ "window.zoomLevel": 0, "[python]": {}, "workbench.colorTheme": "One Dark Pro", // By default, create file username "fileheader.Author": "dab.
2018-08-20 15:59:33
13455
原创 python 时间和日期
Python时间和日期操作需要用到datetime和time标准库模块。 计算当前时间： delete_time = str(time.strftime("%Y-%m-%d 00:00:00", time.localtime(time.time()))) "可选YmdHMS"一、time模块 1.time模块表...
2018-08-20 15:37:50
243
原创 python的日期迭代
获取一段时间的列表import datetime# 获取一段时间的列表def get_range_date(): start_time = datetime.date(2018,1,1) end_time = datetime.date(2018,1,10) day_range = list() for i in range((end_time - s...
2018-08-20 15:29:05
1264
原创 python中的列表推导式、字典推导式 对文件使用
@字典推导式#city_rate.txt 存储数据如下110000 0.88120000 0.65130100 0.65130200 0.65130300 0.65#将文件中的数据转换成 字典（键值对）方法#这个方法在python3中可用，在python2.7中用不了会出错code_to_rate = {k:v for k,v in [line.strip().spli...
2018-07-04 17:37:35
399
原创 python 函数内部修改全局变量
有一个全局file_content 的list，在函数内部向其append数据，是可以的，不需要加global 修饰， 但是当 在函数内部进行对其 赋值操作时，需要用global修饰该全局变量，因为赋值操作默认作为局部变量， 对全局变量进行赋值修改，需要进行显示global声明 每一次读取file_content时候，读取完或者开始读取的时候要重新对该list清空， 防止每次读取都会将上一...
2018-06-12 11:26:05
19406
原创 mysql 关于时间函数
-- MySQL日期时间处理函数 -- 当前日期：2017-05-12（突然发现今天512，是不是会拉防空警报） SELECT NOW() FROM DUAL;-- 当前日期时间：2017-05-12 11:41:47 -- 在MySQL里也存在和Oracle里类似的dual虚拟表：官方声明纯粹是为了满足select ... from...这一习惯问题，mysql会忽略对该表的引用。 ...
2018-05-13 21:57:56
453
原创 python 文本数据处理
未完待续import selectorsimport csvimport collectionsimport operatordef csv_test(filename): with open(filename, mode="r", encoding='utf-8') as f: try: f_csv = csv.reader(f) ...
2018-05-10 00:23:09
545
原创 进程间IPC通信方式和同步方式
1、进程间通信方式：不同进程间各种消息传递的方式 管道pipe(亲缘关系父子进程使用)、 FIFO(有名管道) 消息队列 信号量 共享内存 socket套接字 远程过程调用RPC2、进程间同步方式：防止多个进程同时修改同一资源临界区 互斥锁、条件变量、读写锁、记录锁、信号量3、IPC对象的持续性： 随...
2018-03-21 10:46:43
1084
原创 C++11简单整理
C++11中 静态成员构造的时候线程安全的：static Database database; 1、static_assert静态断言发生在编译期，发现错误，(模板中使用较多，或者一些常量) static_assert(sizeof(a) == sizeof(b), “parameters must have same width”) 2、noexcept修饰函数不抛出异常，编译器为...
2018-03-21 10:17:29
196
原创 TCP的TIME_WAIT状态
TIME—WAIT：存在的理由：1、可靠的实现TCP全双工连接的终止 2、允许老的重读分节在网络中消失第一个理由：（最终的ACK丢失）主动关闭socket的一端最终的ACK丢失，则服务器将重新发送它的最终FIN， 因此客户端必须维护状态信息，以允许它重新发送最终的ACK。 如果TCP打算彻底终止某个连接上的两个方向的数据流（全双工关闭），那么它必须正确出列连接终止序列4个分节...
2018-02-20 00:17:26
154
原创 c++11 <4>多生产者多消费者模式
4、多生产者多消费者模式：- 该模型可以说是前面两种模型的综合，程序需要维护两个计数器，分别是生产者已生产产品的数目和消费者已取走产品的数目。另外也需要保护产品库在多个生产者和多个消费者互斥地访问。 #include #include #include #include #include using namespace std;static const int kIte
2018-02-01 18:09:30
653
原创 c++11 <3>多生产者单消费者模式
3、多生产者单消费者模式：- 与单生产者和单消费者模型不同的是，多生产者-单消费者模型中可以允许多个生产者同时向产品库中放入产品。所以除了保护产品库在多个读写线程下互斥之外，还需要维护生产者放入产品的计数器#include #include #include #include #include using namespace std;static const int k
2018-02-01 18:08:43
2053
原创 C++11 <2>单生产者多消费者模式
2、单生产者多消费者模式：与单生产者和单消费者模型不同的是，单生产者-多消费者模型中可以允许多个消费者同时从产品库中取走产品。所以除了保护产品库在多个读写线程下互斥之外，还需要维护消费者取走产品的计数器，代码如下: 在多个消费者消费的情况下，我们要确保消费的个数不要超过仓库生产的个数，多个消费要确保消费计数器的互斥#include #include #include #incl
2018-02-01 18:07:29
1997
1
原创 c++11 <1>单生产者单消费者模式
注意：向标准缓冲区输出字符串时，由于是多线程的，所以需要使用读写锁来同步使用了一个deque的队列作为仓库缓冲区，尾部存放头部取出当单单模式变成多多模式时，只是针对单变多的某一方多添加一个读写锁需要用到C++11中的 互斥锁、条件变量确保多线程间的数据同步1、单生产者单消费者模式：顾名思义，单生产者-单消费者模型中只有一个生产者和一个消费者：生产者不停地往产品库中放入产品
2018-02-01 18:06:18
319
原创 MySQL必知必会复习笔记
Mysql：apt-get install mysql-client-5.7 apt-get install mysql-server-5.75.检查mysql是否启动 1.查看mysql进程是否运行 ps -ef | grep mysql 2.查看msyql 监听端口 netstat -tap | grep mysql 6. msyql服务停止
2017-12-18 15:54:24
550
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人