正心全栈编程

原创 windows 安装 mongodb 数据库

访问官方的下载地址： https://www.mongodb.com/try/download/community ，然后选择对应的版本进行下载。还有其他的方式可以启动数据库，例如配置环境变量、配置 windows 服务等等，这里我就不再演示了。然后输入服务器地址、用户名、密码，再点击测试进行链接。进入到 data 目录下，创建一个叫 db 的空目录，的选项，取消勾选，不然会安装非常久。先点击右侧的数据库图标，然后点击 + 号，点击。5、查看数据存储的目录，不修改，下一步。7、再点击安装，然后慢慢等待。

原创 flask官网文档——信号

Flask 框架中的信号基于 blinker，其主要就是让开发者可是在 flask 请求过程中定制一些用户行为安装：pip3 install blinkerflask 内置信号是 flask 内置就提供了很多的信号，导入之后就可以直接监听到。信号官方文档：https://dormousehole.readthedocs.io/en/latest/signals.html内置信号：https://dormousehole.readthedocs.io/en/latest/api.html#core-

原创 Python 批量给图片添加水印小工具

使用 python 编写一个批量添加水印的工具，采用 pillow、

原创 使用 mpl_finance 库绘制K线图

在使用 python 做量化金融时经常需要绘制 K 线。关于绘制 K 线的方式有很多种，接下来介绍一下使用 `mpl_finance` 绘制 K 线。

原创 记一次GitHub提交出错

问题描述Win10 WSL安装 Git 后修改提交项目，配置 ssh 秘钥之后，提交需要验证账号密码切失败。报错信息如下xxp@DESKTOP-7B9JVLI:/mnt/f/notes$ git push origin masterUsername for 'https://github.com': pyxxpPassword for 'https://[email protected]':...

原创 2018年12月总结

这一个月我认真工作，将自己全身心地投入到工作中去了，结果发现回报自己的是更多的工作量以及没有任何回报。并且在我快速接上的时候发现团队伙伴有点跟不上，反而有点阻扰我进步。因为他们每天就只是工作，却从来没有想做如何去更好地工作。同时因为自己的努力，在任务量差不多的情况下，自己的任务完成量超过了大多数同事。但是给我的回报却是薪资（5k）比同事的低，且把我仅剩的一点点提成都给砍掉。我瞬间就感觉世界好黑暗...

原创 2018年年度总结，展望2019

我们似乎总会在某一年，爆发性地长大，爆发性地觉悟，爆发性地知道某个真相，让原本没有什么意义的时间刻度，变成了一道分界线。无论如何，此时，你都要把掌声献给自己，为自己加油鼓劲。过去一年的你，无论是繁花似锦，烈火烹油；还是落魄不堪，陷入低谷，至少我们都走到现在了。生活需要一剂猛药击碎你的幻想，无论是好的还是扎心的话，也许从中你能找到你的人生方向。那些闪闪发光的人绝对不仅仅读着鸡汤往前走的，内...

原创 2018年11月总结

今天是2018年十二月2日，距最开始写每月一个flag已经过去十一个月了。这最近这一个多月来是我今年最忙的时候了，同时也是没收获的时候了。往事如烟因为十月份有点事情，所以选择在长沙找一份工作，打算度过几年就再回广州深圳找工作。所以一开始我要求工资的时候就随便要了一点，因为没有想着做太久。但是现在就非常尴尬了，因为公司发展不错，如果能待个两三年，混个小管理是没有太多问题的。但是现在问题就来了...

原创 2018年10月总结

匆匆忙忙，又一个月过去了，转眼间就到十一月了。今年就剩下两个月了，而我的目标的也随着自己不断成长而在变化。这个月先是从广州到长沙，国庆节期间找工作确实很是麻烦。还有就是裸辞确实很危险，在找工作，投了N份简历出去之后，却得不到面试。我一度怀疑自己是否能力有问题，并且还想转行去做其他事情。不过还好是找到了一份与python相关的工作，虽然不是专门做技术的，但是我也很满意。只要自己努力学，总有一天...

原创 JavaScript入门

原创 filter函数用法

filter(function, iterable)function 为 true 时从 iterable 的那些元素构造一个迭代器。 iterable可以是序列，支持迭代的容器，也可以是迭代器。 如果function为None，即删除所iterable的元素。In [1]: list(filter(lambda x: True if x else False, [1, None, 2]))...

原创 2018年9月总结

这个月说来还是蛮惨的，从九月十号被辞之后，就一直找不到工作。不清楚是因为临近过节还是我运气有点背。刚开始准备与一个学长一起国庆后去深圳找事做，所以一个人在租的房子里仿慕课网的实战项目。跟着那些慕课网的实战项目算是学了不少东西。后面因为在一个技术交流群里有个朋友给了一个内推的机会，记过稀里糊涂地就跑去武汉，中途又发生了很多事，所以就在长沙逗留了一段时间，所以干脆就在长沙找了工作，正好十月底在长沙的...

原创 vscode设置中文为默认语言

首先是使用快捷键打开命令行：Windows、Linux 快捷键是：ctrl+shift+p然后搜索语言或languages进入默认语言配置的json配置文件设置"locale":"zh-CN" // Changes will not take effect until VS Code has been restarted.然后重启重启可能不行，是因为没有安装中文语言安装包，点击最右侧第五...

转载 某小公司的笔试题

1、什么是类变量与实例变量类变量为所有实例共享，实例变量为为实例独有。2、__init__ 与 __new__的含义__new__作用于_init_之前。前者可以决定是否调用后者，或者说可以决定调用哪个类的_init_方法。__new__ 方法负责创建一个实例对象，__init__ 方法负责将该实例对象进行初始化3、调度算法有哪些,分别有哪些优势在操作系统中调度是指一种资源分配，因而调...

原创 python爬虫自动解决字符编码问题

In [34]: import requests ...: ...: response = requests.get('http://www.dytt8.net/index.htm') ...: print(response.text[200:300]) ...:-Type content="text/html; charset=gb2312"><t...

原创 win10安装mysql全过程

之前都是在 ubuntu 下面配置各种数据库，感觉很方便。现在用 windows 安装mysql。记录一次从零开始安装mysql的记录。首先是下载安装包：地址：https://dev.mysql.com/downloads/mysql/下载包有两种，一种是 ims 可以直接安装的，还有一种是 zip 包，需要自己配置。ims 安装比较方便简单，但是我这里采用的 zip 包安装方式。下载完...

原创 flask: The CSRF token is missing.

今天在做表单验证时，结果出现了上面这个问题。以前我弄都没有问题，为什么今天会出现这个问题？难道要关机重启？？？于是我便开始断点调试，结果发现在 if form.validate() 判断时出现了问题，然后便跳进去查看，结果发现在验证时多出了一个参数{ "csrf_token": [ "The CSRF token is missing." ]}然后...

转载 用三元表达式简化代码量

简化 if else 语句用普通方法实现逻辑def get(self, url, return_json=True): r = requests.get(url) if r.status_code == 200: if return_json: return r.json() else: ret...

原创 一种另类的读取 json 数据方式

ValueError: Expecting property name enclosed in double quotes: line 1 column 2（char 1）在做 scrapy 爬虫时，获取的数据存入 json 时有些数据格式不对，导致各种问题。不仅是字符编码，还有格式。搜了半天的解决办法都不行。所以就自己利用基本知识，编写了一个比较全能的读取方式，只要是文本文件就可以读取。 ...

转载 crontab(定时任务)

查看crontab文件说明[root@S478645 etc]# pwd/etc[root@S478645 etc]# cat crontab SHELL=/bin/bashPATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=rootHOME=/# For details see man 4 crontabs# Example of job d...

原创 戊戌年 8月总结

八月转眼而逝。忙忙碌碌一个月学了不少东西，也虚度了不少光阴。8月的flog：看完三本以上技术书，精读两本上将笔记上传到github继续熟练scrapy的应用，加深对scrapy理解，使用scrapy爬取一个全站项目，并将笔记记录到github未完成的任务：scrapy全站项目完成的东西：《流畅的python》《跟着老男孩学习linux运维：核心命令实战》《Doc...

原创 ubuntu16.04安装uwsgi

原本装过了，试了各种方法并且出现了各种错误，也看了不少帖子，结果还是没有。最后我使用anaconda安装，结果因为使用的是清华镜像源的镜像，因为不是稳定版本，结果还是各种冲突。最后使用了miniconda3的最后一个版本，然后再使用anaconda安装就没有问题了。可能是之前的版本有些冲突没有解决。# 从官方获取最新稳定版本wget https://repo.continuum.io/min...

原创 werkzeug.routing.BuildError: Could not build url for endpoint 'xxxx'.

werkzeug.routing.BuildError: Could not build url for endpoint 'login'. Did you mean 'web.login' instead?127.0.0.1 - - [24/Aug/2018 14:20:51] "GET / HTTP/1.1" 500 -用蓝图做模块划分，结果引发这个错误。原因是我用蓝图执行模块划分，然...

转载 自己写python的线程池

参考原文：https://www.cnblogs.com/Eva-J/p/5106564.html一个调用三方接口的获取数据，总共三千五百多个请求。原本我是用50个进程获取信息，都需要十多分钟。如果放到低配服务器就会直接崩溃。在得知这类请求是io密集型，鸡肋的线程用于这种情况下也还是有一些帮助的。因为没看到官方的线程池，所以就尝试自己写。当看到前面那篇文字之后，本着不重复造轮子的原则，就直接在...

翻译 pip无视 HTTP Error 403: SSL is required 安装模块

pip 有时候安装模块出现urllib.error.HTTPError: HTTP Error 403: SSL is required真的很烦，而且按照网上的帖子各种尝试还是没有什么用，各种换源安装模块也还是没有用。然后我就找到了另一种方法安装。 原贴：https://stackoverflow.com/questions/46967488/getting-error-403-while-in...

原创 pipenv的安装使用

看到这个东西之后，我不得不感叹技术的进步。这个东东是 pip 与 virtualenv 的结合体。对 requirements.txt 进行了很大的优化。比 pip 好用很多。 参考： https://pengshp.github.io/post/pipenv-guide/ https://cuiqingcai.com/5846.html安装： pip3 install pip...

原创 mysql重复数据更新，不重复则插入

insert into racing_ball(rounds, time, home_team, home_team_goal, home_team_goal_lost, home_ranking, score,guest_team, guest_team_goal, guest_team_goal_lost, guest_ranking, court_all,court...

原创 sqlalchemy中文插入报错

今天在使用sqlalchemy时插入数据报错，将字符编码设置来设置取都没用，到最后发现sqlalchemy在创建数据库时没有设置编码。网上大多数教程都是教让在create_engine("mysql+pymysql://root:xxponly@localhost/test", encoding='utf-8', echo=True)时修改字符编码，然而并没有什么卵用。当我我打开sqlalch...

原创 优美地将字符串时间变为date格式

from datetime import date# 列表推导式方法date(*tuple([int(i) for i in "2018-8-11".split("-")]))Out[29]: datetime.date(2018, 8, 11)# 内置函数map方法date(*tuple(map(int,"2018-8-11".split("-"))

原创 python操作数据库

python操作数据库都是通过数据库驱动取操作的。现在主要有两张，一种是通过pymysql，还有一种是通过sqlalchemy。在这里可能还会有人说还有MySQLdb模块也可以操作。确实是的，但是MySQLdb对python3已经不支持了，所以这里我就不讨论了。 第一种pymysql： pymysql帮助文档 这里我就直接抄袭帮助文档了，毕竟官放的示例非常棒import pymysql....

转载 linux下mysql可视化工具安装

之前是一直用shell交互界面，但是最近频繁地检查数据库中的数据感觉特别麻烦，便装了一个可视化工具。安装：$ sudo apt-get install mysql-workbench[sudo] ubuntu 的密码： 正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成 启动$ mysql-workbenchR...

原创 7月总结

七月很快就过去了，七月底入职一家小公司。没有产品没有老司机，老板不懂技术。说实话我很想走，但是目前自己水平也不行，知道的不少但是都做不出东西。所以只能自己摸摸底努力，争取早日掌握多点东西，这样以后才能拿更高的待遇去更好的公司。由于没有人指导，我已我就选择了看书学习。虽然网上的教程大把，但是相比书的系统性与全面型，以及对于问题的描述与语言的精炼都差了不止一个级别。网上的官方教程也有不少，但是英文的占...

转载 screen后台挂起程序

本文转载自：https://www.cnblogs.com/ywl925/p/3604530.html 今天在工作时遇到了一个问题，ssh链接服务器运行程序后，断开ssh后程序也会结束。然后就找解决方法，发现有好几种解决办法，然后我就选了screen。 安装： [root@TS-DEV ~]# yum install screen 创建会话： screen python ...

原创 xpath常见用法

本文在jupyter notebook下可以直接运行，选取的站点为猫眼电影top排行版。 本文是在异步社区出版图书《精通python爬虫框架scrapy》的第二章的帮助下完成的# -*- encoding:utf-8 -*-import requestsfrom lxml import etreeheaders = { "User-Agent": "Mozilla/5.0 (X...

翻译 pandas基础知识（index）

jupyter notebook文件地址import pandas as pdimport numpy as npser = pd.Series([5, 0, 3, 8, 4], index=['red', 'blue', 'yellow', 'yellow', 'blue'])ser.indexIndex(['red', 'blue', 'yellow', 'yellow', 'b...

转载 numpy.c_，numpy.r_与numpy.ravel,numpy.flatten

numpy的ravel() 和 flatten()函数两者功能In [14]: x=np.array([[1,2],[3,4]])# flattenh函数和ravel函数在降维时默认是行序优先In [15]: x.flatten()Out[15]: array([1, 2, 3, 4])In [17]: x.ravel()Out[17]: array([1, 2, 3, 4]...

原创 pandas.to_json官方文档阅读

例子import pandas as pddf = pd.DataFrame([['a', 'b'], ['c', 'd']], index=['row 1', 'row 2'], columns=['col 1', 'col 2'])df col 1 ...

原创 使用requests + bs4抓取B站web端Python视频数据

使用requests + bs4抓取B站web端Python视频数据目标：掌握bs4抓取数据的套路抓取关键词:视频图片播放量上传时间作者:import requestsfrom bs4 import BeautifulSoupdef get_html(): url = "https://www.bilibili.com/" headers ...

原创 ubuntu TA-lib的安装

之前在ubuntu安装TA-lib时都不行，就算安装TA-lib上面教的方法也还是不可以。最后没办法我旧用anaconda安装了。不得不说anaconda安装各种复杂环境真的是超级方便。安装TA-lib用下面这句指令就会自动解决环境冲突问题并安装好。conda install TA-lib除了这个方法之外，还有第二种方法安装了。就是下面这种方法：sudo apt-get update...

原创 对象引用与copy，deepcopy之间的区别

import numpy as np赋值（对象引用）a = np.array([1, 2, 3, 4])aarray([1, 2, 3, 4])b = abarray([1, 2, 3, 4])a[2] = 0aarray([1, 2, 0, 4])barray([1, 2, 0, 4])b[1] = 0aarra...