- 博客(46)
- 收藏
- 关注
RSS订阅转载 lambda的一个语法，三个特性，四个用法
lambda语法lambda的三个特性lambda的四个用法将lambda函数赋值给一个变量，通过这个变量间接调用该lambda函数将lambda函数赋值给其他函数，从而将其他函数用该lambda函数替换例如，为了把标准库time中的函数sleep的功能屏蔽(Mock)，我们可以在程序初始化时调用：time.sleep=lambda x:None。这样，在后续代码中调用time库的sleep函数将不会执行原有的功能。例如，执行time.sleep(3)时，程序不会休眠3秒钟，而是什么都不做。将lamb
2022-06-12 12:25:19
127
原创 项目部署-
wsgi1.1 什么是wsgiwsgi全称是web server gateway interface，是一套接口标准协议/规范，指定了web服务器和python web应用或框架之间的标准接口，以提高python框架在服务器之间的移植性。官方文档我们可以将wsgi分成两个组件：server:常见的又uWSGI,gunicornApplication:Django,Flask等中实现的application1.2 wsgi有什么用web应用处理请求的具体流程：用户通过浏览器将请求发送至服
2021-05-10 23:39:58
165
原创 2021-05-08
1.登录时 post请求变成get请求1.问题描述1.事情发生的条件接口path('login/', MyTokenObtainPairView.as_view())请求方式是一个post请求settings.py配置文件中 APPEND_SLASH = True（这个作用是当请求路径最后是 / ，如果请求时没有斜杠自动补全斜杠）2. 发起请求报错发起请求，请求路径http://admin.business.infinities.com.cn/login首先，django中间
2021-05-08 20:05:45
212
原创 复制生成器
复制生成器def test(): for i in range(10000000): #一个生成器函数 yield iaa = test()from itertools import teex,y = tee(aa, n=2) #将生成器复制为独立的两份(n表示复制的份数）
2020-11-10 15:00:25
252
原创 安装python包的四种方式以及不同
安装python包的四种方式以及不同方式一：pip install安装pip install xxx方式二:whl包安装先去寻找 whl 进行下载（官方网址或者 https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml）然后在cmd中切换到包的位置进行安装pip install xxx.whl方式三：tar包进行安装先去寻找 tar或者tar.gz进行下载然后在cmd中切换到包的位置进行安装pip install xxx.tar方四：pyt
2020-11-08 14:08:18
564
转载 Python垃圾回收与内存泄露（转载）
转载自：https://blog.csdn.net/fragmentalice/article/details/84983516转载下以备自己以后用时查看。原文讲的很好，讲了引用计数、能解决循环引用问题的垃圾收集器：引用计数：某个对象被引用的次数，当变量被del删除，或者离开变量所在作用域时，对象的引用计数器会减 1，当引用次数为0时，这个对象被解释器销毁。垃圾收集器：当容器对象（比如list、class、deque、dict、set等）互相引用，产生循环引用的时候，无法及时回收引用对象，可
2020-11-06 21:34:47
190
转载 Flask-Login中@login_manager.user_loader
转载自：https://www.jianshu.com/p/8772c99ecd1a
2020-11-02 16:18:15
324
原创 python @property
在python源码中经常见到这个@property，例如这个类：class UserMixin(object): ''' This provides default implementations for the methods that Flask-Login expects user objects to have. ''' if not PY2: # pragma: no cover # Python 3 implicitly set.
2020-11-02 15:05:39
123
原创 mysql DATE_FORMAT函数出错
在写一个语句的时候，一直select不出数据，后来发现DATE——FORMAt函数的参数 把%Y(四位）写成%y（两位）。详细参数见 菜鸟教程：https://www.w3school.com.cn/sql/func_date_format.asp
2020-10-29 23:51:40
1746
原创 mysql查询某个表的列数
select count(*) from information_achema.‘COLUMNS’ where TABLE_NAME = 表名information_achema.‘COLUMNS 中存储了所有表中行对应的信息。
2020-10-27 17:26:24
645
原创 二叉树-算法题
前话： 二叉树的深度优先搜素和广度优先搜索：1、广度优先搜索（BFS) 宽度优先搜索写为BFS,其过程检验来说就是对每一层节点依次访问，访问这一层浸润下一层，而且每个节点只能访问一次。对于上面的例子来说，广度优先遍历的结果是：3->9->20->15->7。 宽度优先遍历各个节点，需要使用队列这种数据结构，queue的特点是先进先...
2020-01-05 20:00:15
221
原创 动态规划-算法题
题目：来源leetcode 70.爬楼梯 假如当前有n阶台阶，在n-2阶和n-1阶有两种选择，方法等于n-2阶和n-1阶的方法之和： class Solution: def climbStairs(self, n: int) -> int: a = [] a.append(1) a.append(2)...
2020-01-04 12:37:47
222
原创 指针-算法题
1、来源：力扣（LeetCode）第88题：合并两个有序数组 解法1：双指针从前往后 对于有序数组可以通过双指针法达到O(n + m)的时间复杂度 最直接的算法实现时将指针p置为nums1的开头，p为nums2的开头，在每一步将最小值放入到输出数组中，由于nums1是用于输出的数组，需要将nums1中的前m个元素放在其他地方，也就需要O(m...
2020-01-04 12:17:49
300
原创 python中遇到错误总结（持续更新ing)
1、问题-Pyinstaller 打包 python程序成exe：用Pyinstaller 打包xxx.py生成exe,cmd命令是pyinstaller -F xxx.py -w,点击生成的exe时无反应，不报错，用pyinstaller -F xxx.py命令生成exe,现此错：Py_initialize:unable to load the file system codec LookupE...
2020-01-01 21:25:40
994
原创 pandas DataFrame存入到excel中和从excel中读取出来时的不同
在写一个自动化小程序的时候，遇到了一个小bug，找了老半天也没找到问题在哪里，后来才发现问题出现在pandas从excel中读存取数据时。 例如，一个excel文件是这样的： 用Python pandas模块将excel中数据读出来是这样，会将表中的所有数据作为columns中的数据，并自动的给DataFrame添加一个从0-n-1(n为数据的行)...
2019-05-17 20:18:41
9545
原创 主成分分析（pca的两种实现）
主成分分析（Principal Component Analysis，PCA）。在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以...
2019-05-09 00:17:27
3316
1
原创 自动化脚本获取数据 one and two
最近写了一个自动化脚本，用来从网站上和mysql数据库中获取数据，进行处理之后将其插入到excel表格之中，但是速度很慢，之后换了一种思路，速度提高了75%，现在记载一下，以顾后期回顾： 思路一：1、爬虫下载邮政和寄件的数据（表格形式）将其储存在文件夹中。 2、然后分别从文件夹中将三个总对总数表格和邮政以及寄件的excel表格插入到exce...
2019-04-25 23:32:40
1112
原创 python基本数据结构：栈、队列、双端队列、链表和二叉树
一、栈1.1、什么是栈 栈（有时称为“后进先出栈”）是一个项的有序集合，其中添加移除新项总发生在同一端。这一端通常称为“顶部”。与顶部对应的端称为“底部”。栈的底部很重要，因为在栈中靠近底部的项是存储时间最长的。最近添加的项是最先会被移除的。这种排序原则有时被称为 LIFO，后进先出。它基于在集合内的时间长度做排序。较新的项靠近顶部，较旧的项靠近底部。 栈的例子...
2019-04-09 22:08:45
521
原创 初涉协程asyncio爬虫
我最近需要爬取93个表格进行分析，因为表格较多，所以想着用异步的方法速度可能会很快，所以尝试了一下异步爬虫，最后发现这个速度和单进程爬虫时间差不多~因为我的每个表格都很小而且基本不会阻塞~异步还是很有用以后接着学习哈~先放协程的代码：import asyncioimport jsonimport osimport timeimport chardetimport panda...
2019-03-27 23:32:18
206
原创 Python（selenium）爬取拉勾网招聘信息并可视化分析-附代码
我的工作和数据分析相关，刚好最近也接触点爬虫，也想看看招聘网站的数据分析的要求是什么，就用爬虫爬下来分析分析接触爬虫不多，什么代理池，cookie池还没有接触过，这个以后肯定要了解。 1、分析页面先分析下拉钩的页面，是通过ajax方式动态显示的，提交的参数是页数，通过post方式进行提交，代码验证最后返回来的是：{'success': False, 'msg': '...
2019-03-19 22:35:12
4086
10
原创 python if elif else 的简化写法（用在列表、字典推导式以及lambda函数中）
最近写程序经常需要在列表推导式中添加判断条件，有时候在lambda匿名函数中添加判断条件，或者有时候写程序写的太长了，需要判断语句的时候不想在写成多行了（显得很啰嗦），这些时候用了一下if elif else的简化用法（这个时候可读性就差），现在我总结一下这个用法：1、if elif else的一行写法一般写法：a = 5if a <10: print('小于...
2019-03-19 18:09:30
12501
5
原创 python实现自动化报表2
自动化一个报表，用到的知识点和上一篇的知识点是一样的，但是有一个点需要注意：注意点：我们的自动化报表是先从公司网站上将数据下载下来之后，填充到excel（报表模板）中相应的sheet之中，然后运用excel的公式自动化处理数据并呈现成图，实现报表的自动化，但是有一点需要注意，将从网站爬取得数据（DataFrame）插入excel的某个sheet的过程中，excel模板中的将数据呈现为图的一块...
2019-03-03 00:14:56
1667
原创 python实现自动化报表1
公司每天需要做一个报表，其中步骤也很简单，就是从网上上下载三个不同的表，然后分别将三个表中的数据塞到一个单独的表中，用这个单独表中写好的公式将这三张表的数据进行处理之后就是我想要的结果，熟练之后整个过程只需要5分钟，但是既然学了python，就想着用python实现以下：实现了之后用代码也是5分钟，但是这个期间自己可以去干点其他的事情，啦啦啦~~~整个过程的需要的知识点实际上也是十分简单，...
2019-02-26 21:44:14
4859
原创 pandas 中apply、map 和 applymap 三者之间的异同
用pandas进行数据分析，对行或者列操作用的比较多的函数是apply,map和applymap:'''这三个方法的作用范围： 如果是作用于每一个元素的话 推荐使用applymap 如果是作用于单列（也是一个Series）的话推荐使用 apply 或 map, 如果是作用于列于列之间的运算的话 推荐使用 apply 这三个方法的作用对象： applymap的作...
2019-01-24 17:52:56
783
原创 selenium 爬取ajax动态网页
公司用了一个投票网站调查了一些用户的相关信息，但是天呐个撸的调查信息中的 接受调查者的 地址信息居然不能 下载，没有办法只能爬虫了 分析发现这是一个ajax动态网页，通过各种抓包，各种分析网页结构就是不能发现这个post提交的参数出现规律 没有办法，只能通过 selenium模拟人工进行操作了，代码如下：import jsonimport osimport re...
2019-01-18 17:10:20
1134
原创 selenium + BeautifulSoup 验证码 爬取 静态网页
公司内部的网站 里面的数据居然不能下载 天那个噜啊，只能自己爬了，还好是静态网页比较简单，只是绕过验证码稍微麻烦些，代码如下：import reimport requestsfrom bs4 import BeautifulSoupfrom selenium import webdriverimport timeimport pandas as pdfrom tqdm im...
2019-01-18 00:01:08
961
原创 pandas 三种柜机类型 投件率差别分析
通过观察我们发现，一代柜、二代柜和易邮柜三种柜机直接的投件率存在较大的差别，故此分析一下差别的由来 第一步：从数据库中提取数据并将其保存在 excel中#one 提取数据# con = create_engine('mysql+pymysql://xxx@xxx:3306/xxx')# data_sql2 = pd.read_sql_query("SELECT `经分-设备大表`...
2019-01-10 23:22:00
221
原创 pandas 检查疑似刷达标率的那些网点
有 n 天的数据，每天的数据在一个excel文件中，每天都有新激活的设备，达标率的定义是：激活的四十天之内，任意连续十天（包括连续5天每天投件率达30%以上）平均投件率达30% 及以上定义为达标先选取 60-70天之前的那些激活设备，所有的设备数据都在total.csv 这个文件中。第一:选取激活时间在 60-70天之前的那些设备#two 读取 并选择 在 70天-80天前激...
2019-01-02 16:40:02
157
原创 分组并计数
对一个大文件中的某列进行分组并对其他列计数和求和import pandas as pdimport numpy as npimport osdata =pd.read_csv(r'C:\Users\lenovo\Desktop\12\total.csv').drop_duplicates(['快递员电话'])#去重data_1 =pd.read_csv(r'C:\Users\len...
2018-12-28 17:46:07
799
原创 修改模板并检查是否修改
通过传过来的模板对原模板进行修改，检查完之后通过匹配规则匹配是否修改，如果没有修改好，则将没有修改完善的网点ID等相关信息放入到一个excl中import pandas as pdimport numpy as npimport sys,os,refrom pandas import Series,DataFramefile ={} #设置列表用于存储 不正确的 模板所对应的...
2018-12-24 11:19:50
238
原创 用pandas读取csv文件出现问题
读取csv文件first = pd.read_csv(r'C:\Users\lenovo\Desktop\广州.csv',encoding="utf-8")second = pd.read_excel(r'C:\Users\lenovo\Desktop\网点规则调整申请表_20181219_紧急需求.xlsx')# first = first[['']]print(first.colu...
2018-12-21 14:03:39
3943
原创 对excl文件选择某些列并根据行的内容进行排序
收到一个不包括文件，需要根据文件中每行的信息进行调整，现将需要的列给摘出来，然后按照相同的行给排在一起import pandas as pdimport osFolder_file =r'E:\全国规则调整\需要调整的表格' #文件夹的名字path = r'C:\Users\lenovo\Desktop\test.xlsx'excel_files =Folder_file +'\\'...
2018-12-20 12:54:41
512
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人