- 博客(21)
- 收藏
- 关注
RSS订阅翻译 （摘抄）python之——pickle文件骚操作
这两天微信推送一篇文章看了标题挺有兴趣，打开-收藏-关闭一顿三连操作，到了周末懒癌发作想着睡觉一直搁着，最后还是留下了没技术的泪水默默打开看了，越看越觉得有意思，尤其是提到了关于文件对象如何pickle，这里也只讲如何pickle文件，这是本人最关心的，要是有兴趣的同志可以自行看完整文章。以下都是摘抄自原文章，因为觉的太棒了得分享出来！原推送文章阅读之前默认读者是知道什么是pickle的，在此不多介绍。其实操作很简单，但是一直没有这种思路，之前的进程间共享数据的问题导致项目暂停了好久没进展最后.
2021-05-30 21:48:18
323
原创 MySQL对数据库databases和table数量有没有限制？
最近有个开发设计，数据预估50年内过千万亿，想分表设计，于是好奇mysql对于表数量有没有限制。百度搜出来一堆复制粘贴的文章，建议全都拉出去毙了，逼逼赖赖。搜一下mysql官方文档很难吗？5.6说明5.7说明8.0说明总的来说没什么限制，取决于系统，像databases主要受限于文件夹数量，tables主要受限于文件数量，不过这个取决于系统设置，怎么设置另外搜索去，这属于linux管理范畴。特别一点是引擎有限制，InnoDB限制表数量40亿，能到这量级表我反正不敢想，另寻他
2021-05-24 00:57:46
598
2
原创 腾讯企业邮箱开发（非官方开发文档方式
**之前项目系统中包含了一个邮箱下载模块，其中对接的是腾讯企业邮箱，这个模块前后也维护了不短时间，想写下这篇文章来聊聊具体问题，如果有需要对接腾讯企业邮箱的需求，同时官方给予的开发文档无法满足需求，希望本篇文章可以作为参考。网络上有不少对邮箱进行开发的文章，但都简略的太多了，远不能处理实际情况。文章也说明了腾讯企业邮箱开发中的很多坑。**先谈谈前提吧需求是需要从邮箱中下载所有的数据（数据用于分析等等，whatever，总之需要down下来腾讯企业邮箱给开发者们提供了详细的企业邮开发文档，
2021-01-16 19:26:19
2603
翻译 搭建Django项目
以下基于python2.7、CentOS7搭建所有资料源于 编写你的第一个 Django 应用也可以认为这是对资料的翻译，但文档基于python3 (django==3.0)，而我这里实际运行为python2.7(django=1.11.27)以下执行基于django已安装前提下第一步：确认当前环境——django版本$ python -m django --version或者$ django-admin --version # 这需要在安装了Django的前提下执行，django-a
2020-07-29 14:21:38
136
原创 Crontab使用
时间字符串格式分为五个部分：参数说明详细说明第1个参数分钟0-59分钟值或者*每一分钟第2个参数小时0-23小时值或者*每一小时第3个参数日期1-31日值或者*每日第4个参数月份1-12月值或者*每月第5个参数星期0-7星期值或者*一周的每一天，0和7均代表星期天时间字符串必须包含每个部分属性值。每部分设值可以利用斜杠/来...
2020-02-12 10:06:17
115
原创 zipfile模块解压zip文件中文乱码
在python2.7当中使用zipfile模块解压包含中文文件名的zip文件会出现奇奇怪怪的ASCII码拓展当中的字符为此写了一个实现用于解决这一问题，主要是python2.7，由于2和3的编码问题，Python3应该不会这个问题（没具体测试过3解压中文会怎么样）以下是实现，具体可以看看zipfile源码当中对于数据流的处理，很容易写出来以下代码是从本人项目当中抽取出来稍作修改过后的，没有经...
2019-12-07 11:16:30
1036
原创 python pandas.DataFrame KeyError: '[nan] not found in axis'
pandasversion：0.23.4raise KeyError('{} not found in axis'.format(labels))在处理表格数据的时候遇到这个问题，只要是无效的列我都要drop删了，但突然来了这个问题，不管哪搜都搜不到有效的处理方式，甚至在源码里边debug也没找出个所以然来 （对，因为我菜）。但是错误信息也很明显说为什么报这个错，列里边没有nan这一项，就...
2019-11-24 22:48:44
12309
2
原创 Vim + NERDTree + molokai
刚步入工作时不久公司给了一台HK的服务器，种种原因，导致这玩意不能图形化(其实就是公司网络问题运维死不承认)，在大学的时候Pycharm一直是我的得力助手，服务器不能图形化就不能用了，导致各种问题，其中最直接的就是只能用编辑器作为IDE了，最终我选择了vim作为IDE(当然emacs也可以，但是我先选择了vim)。我个人不太喜欢花里胡哨的东西，只要看的舒服顺眼，基本功能做到了就行，看很多人安利yo...
2019-08-11 13:39:59
298
原创 JetBrains产品的文件系统大小写敏感开启方法
写这个是因为和之前写的 Windows文件(名/夹)大小写敏感识别方法 这篇文章相关我是做python数据开发，主要在公司的linux服务器上做开发，linux文件系统对文件名大小写是敏感(case-sensitive)的，但是有时候不想去公司加班，想在家做，于是scp到本地的windows机器上，可scp过后很多文件会缺失。公司的脚本作用要主要体现在文件名上，但是有时候有几个版本的开发脚本，...
2019-07-21 20:20:52
1355
原创 Windows文件(名/夹)大小写敏感识别方法
在linux上做开发，linux万物皆文件，对大小写敏感，但是scp转到window上编写测试就麻烦了，文件缺失什么的就来了。那么怎么让windows对文件大小写敏感这下面一切的操作都有一个前提itemdesOSwindows10OS version>=17110ToolPowerShell,WSL(windows for subsystem Li...
2019-07-20 15:49:23
5562
4
原创 自工作以来遇到的那些坑——Python开发者
18年11月大四的我，一路跌跌撞撞，好不容易找到一份Python开发工作，也是我的第一份工作。当初会些JavaSE基础，Python能对大多数普通网站数据爬取，其实很多也还不会，挺感谢现在这家公司当初收留了我。现在在公司做数据处理工作，这也半个年头了，想写一篇文章来记录自己工作以来遇到的那些坑(其实就是我不会的东西，多数与Python相关).记录自己从哪些地方学习到的，一个Tag对应一个ur...
2019-06-01 22:34:00
371
原创 selenium动态抓取数据
动态网页数据抓取Ajax(Asynchronouse JavaScript And XML)异步JavaScript和XML。在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新，意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重新加载整个页面。过去网页在传输数据格式方面，使用的是XML语法。因此叫做Ajax。现在数据交...
2019-04-18 07:41:04
561
原创 Python多线程爬虫学习及其问题
threading模块在python中threading模块专门提供用来做多线程编程的模块，threading模块当中最常用的类是thread。多线程为了同步完成多项任务，通过提高资源使用效率来提高系统的效率创建线程：theading.Thread(target)“target” is the callable object to be invoked by the run() metho...
2019-04-17 03:22:17
228
1
原创 python中的深浅拷贝
学习python要有一个很强的面向对象思维，用python，那万物皆对象。今天想写写深浅拷贝的一点基础理解，以list来作为例子解释。LIST_SOURCE= [ [[1, 1, 1, 1], [11, 11, 11, 11], [111, 111, 111, 111]], [[2, 2, 2, 2], [22, 22, 22, 22], [222, 222, 222, 222]]...
2019-03-27 16:26:42
124
原创 python根据类的字符串名获取对象以启动类
有这样一个需求：我有多个脚本，但是我需要将这些脚本打包成进程去运行，但是我不能知道每个Module中的类是什么，这时候该如何去获取每个Module当中的类对象以便于启动这样一个脚本。模拟问题：我有三个py文件，里边各自对应有一个类，我需要将这些类run起来"""Module1.py"""class A: def run(self): do something"""Mod...
2019-03-21 10:22:14
2441
1
原创 CentOS7安装python3.7.1
CentOS7安装python3.7.1CentOS不要没事瞎卸载python2.xCentOS不要没事瞎卸载python2.xCentOS不要没事瞎卸载python2.x重要的事情说三遍,至于为什么问google这里只说安装及安装过程中出现的问题1.获取安装包：Index of /ftp/python/wget https://www.python.org/ftp/python/3....
2018-12-03 01:34:26
277
原创 关于MySQL5.77版本中修改密码的改动
刚装个Ubuntu虚拟机，懒得下包就用apt直接装了个MySQL，默认安装了5.7版本的，安装也没提示说设置密码，登陆也就在root用户下就能直接登陆了。想着给设置个密码吧，就进user表修改，修改了半天提示我password不存在这一列desc表结构一看，找不到[password]这一列了，只有[authentication_string]，在MySQL5.7中[user]表中[passw...
2018-11-20 22:10:58
82
原创 安装scrapy错误:error: Microsoft Visual C++ 14.0 is required
在安装scrapy的时候如果出现错误提示：error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools这时候很明显在告诉我们缺少Microsoft Vis...
2018-11-14 20:25:42
145
原创 python利用socket实现TCP通讯
python利用socket实现通讯以前网络安全课应老师要求，且要现实TCP或UDP通讯，实现远程操作，并且消息加密。当时正入门python，就想着用python来实现，这里采用的是TCP。消息加密方式才用的是经典加密方式纯属菜鸟操作，还请见谅经典加密（不是自己写的忘了当时从哪个网站荡来的了-_-|||）import stringlowercase = string.ascii_lo...
2018-11-14 18:10:24
432
原创 爬虫post提交数据时遇到name属性值相同该怎么处理
爬虫遇到name属性值相同该怎么处理在前些天大伙在群里聊天有人问到，爬虫过程中post提交表单数据时发现Form中有多处name属性值相同，该如何处理。在多数情况下提交表单的data数据字典如下：data = { "name": "village head", "sex": "girl", "age": &
2018-11-10 00:21:26
1221
2
原创 Pycharm中快速设置headers为字典类型数据
Pycharm中快速设置headers为字典类型数据在每次爬虫时总是要写请求头，从浏览器中复制一大段headers数据，而复制过来以后又要每段数据加上引号将其设置成字典类型，像这样：看了想必都难受，又要一行一行去找，去加引号。我也是这没想的，于是上网上看看有没有可行的解决方法。于是在简书上【转载】pycharm请求头一键转换为字典这一文章看到pycharm自带一个正则替换功能，而作者的正则...
2018-11-09 23:37:02
4841
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人