qq_42679379的博客

原创 python + selenium 之网银爬虫

python selenium模拟登录网银之前在网上看过很多关于网银python爬虫的文章，不幸的是有很多的文章被网站强制下线了。根据我的实战经验分享一下。seleniumpythonIE我先说一下我的思路用selenium驱动IE浏览器打开网银登录页面用winio模块驱动计算键盘进行输入（send_keys()方法无效）参考地址：https://blog.csdn.net/x...

原创 cdm输入命令： pyspider all 报错如下：请解答

原创 centos6.x安装docker

yum install https://get.docker.com/rpm/1.7.1/centos-6/RPMS/x86_64/docker-engine-1.7.1-1.el6.x86_64.rpm

原创 pyqt5 案例文档

qt关于python的文档案例

原创 Hadoop HDFS命令

命令说明hadoop fs -mkdir创建HDFS目录hadoop fs -ls列出HDFS目录hadoop fs -copyFromLoacl使用-copyFromLocalhadoop fs -put使用-put复制本地(local)文件到HDFShadoop fs -cat列出HDFS目录下的文件内容hadoop fs -copy...

原创 Ubuntu18.04搭建Hadoop环境

一、安装JDK更新源sudo apt-get updatesudo apt install openjdk-8-jdk-headless请一定注意JDK不要安装最新版此前因为安装版本太高走了很多弯路查看JDK版本java -version查看JDK安装目录update-alternatives --display java二、设在SSH免密码登录安装SSH...

原创 ubuntu18.4 打开U盘报错

Error mounting/dev/sdb4 at /media/hduser/F055-738f:unknown filesystem type 'exfat'在终端输入：sudo apt-get install exfat-fuse exfat-utils亲测有效

原创 微信网页版登录问题

<error><ret>1203</ret><message>为了你的帐号安全，此微信号不能登录网页微信。你可以使用Windows微信或Mac微信在电脑端登录。Windows微信下载地址：https://pc.weixin.qq.com Mac微信下载地址：https://mac.weixin.qq.com</message></...

原创 win10 keplerzl安装报错

报错如下 ERROR: Complete output from command python setup.py egg_info: ERROR: Traceback (most recent call last): File "<string>", line 1, in <module> File "C:\Users\asus\AppD...

原创 Uuntu18.4 安装jdk

一、更新服务sudo apt-get update二、下载jdksudo apt-get install default-jdk

转载 大数据入门

机器学习的介绍一、机器学习架构机器学习（Mchine Learning）通过算法，使用历史数据进行训练，训练完成后会产生模型。未来当有新的数据提供时，我们可以使用训练产生的模型进行预测。Feature:数据的特征，例如湿度，风向，风速季节，气压。Lable: 数据的标签，也就是我们希望预测的目标，例如降雨（0.不会下雨，1.会下雨），天气（1.晴朗，2.雨天，3.阴天，4.下雪）训练...

翻译 swarm集群

swarm集群swarm是一组运行Docker并且已加入集群中的机器。执行此操作后，可以继续运行已经使用的Docker命令，但现在他们在集群上由swarm管理节点执行。swarm中的机器可以为物理或虚拟机。加入swarm后，可以将它们称为节点。swarm 管理节点可以使用多项策略来运行容器，例如“最空的节点”这将使用容器填充使用最少的机器。或“全局”，这将确保每台机器恰似获得指定容器的一个实例...

转载 Docker命令大全

容器生命周期管理runstart/stop/restartkillrmpaues/unpausecreateexec容器操作psinspecttopattacheventslogswaitexportport容器footfs命令commitcpdiff镜像仓库loginpullpushsearch本地镜像管理imagesr...

原创 Docker 服务报错

docker docker stack deploy -c docker-compose.yml getstartedlab报如上错误是因为中文档:号后面没有空格docker-compose.yml修改如下version: "3"services: web: # 将 username/repo:tag 替换为您的名称和镜像详细信息 image: tianjin/ge...

转载 Python中Request 使用socks5代理

一、第一种pip install requesocksif is_open('https://github.com/shazow/urllib3/pull/68'): # ;) import requesocks as requestselse: import requestssession = requests.session()session.proxies =...

转载 python工程师面试题

Python基础语法相关一、Python中的pass语句的作用是什么？pass语句什么也不做，一般作为占位符 或者创建站位程序，pass语句不会不执行任何操作。二、Python是如何进行类型转换的？python提供了将变量或值从一种类型转换为另一种类型的内置函数。比如int函数能将符合数学格式数字型字符串转换为整型。否则，返回错误信息。三、Python是如何进行内存管理的？ Pyt...

转载 markdown编辑器

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

原创 抖音APP爬虫

如何突破抖音APP反爬技术？求个位大佬解答?1、抖音APP爬虫获取大V粉丝列表，如何突破加载数据的限制。用appium实现模拟滑动5000W只能加载3000条数据粉丝数据...

翻译 Flask-请求钩子

请求钩子的作用减少代码的重复，Flask提供了注册通用函数的功能，注册的函数可在请求被分派到视图之前或之后调用请求钩子通过装饰器实现，Flask支持一下4种钩子一，注册一个函数，在每次请求之前运行。before_request二，注册一个函数，只在处理第一个请求之前运行。可以通过这个钩子添加服务初始化任务。defore_first_request三，注册一个函数，如果没有未处...

翻译 flask-请求对象

一、Flask请求对象Flask通过上下文变量request对外开放请求对象如下表：属性或方法说明form一个字典，存储请求提交的所有表单字段args一个字典，存储通过URL查询字符传递的所有参数values一个字典，form和args的集合cookies一个字典，存储请求的所有cookieheaders一个字典，存储请求的所有HTTP首部...

转载 pandas-读取csv,tsv,txt,文件

import pandas as pd#读取CSV文件# student1 = pd.read_csv('C:/Users/zuxia/Downloads/022/Students.csv',index_col='ID')#pandas读取tsv和txt文件都用read_csv()方法读取，然后设置set参数的形式student2 = pd.read_csv('C:/Users/zuxia...

转载 pandas-旋转数据表

import pandas as pdpd.options.display.max_columns=999videos = pd.read_excel('C:/Users/zuxia/Downloads/021/Videos.xlsx',index_col='Month')#旋转数据表table = videos.transpose()print(table)

转载 pandas-定位消除重复数据

import pandas as pdstudent = pd.read_excel('C:/Users/zuxia/Downloads/020/Students_Duplicates.xlsx')#去掉数据中的重复数据# student.drop_duplicates(subset='Name',inplace=True,keep='last')# print(student)#找出重...

转载 pandas-求和-求平均-统计导引

import pandas as pdstudent = pd.read_excel("C:/Users/zuxia/Downloads/019/Students.xlsx",index_col='ID')temp = student[['Test_1', 'Test_2', 'Test_3']]row_sum = temp.sum(axis=1)row_sum = temp.mean(...

转载 pandas一列数据分成二列

import pandas as pdimport matplotlib.pyplot as pltstudents = pd.read_excel(&quot;C:/Users/asus/Downloads/pandas/016/Student_Score.xlsx&quot;,sheet_name='Students',index_col='ID')scores = pd.read_excel(&quot;C:/U...

转载 pandas数据验证

import pandas as pdimport matplotlib.pyplot as pltstudents = pd.read_excel(&quot;C:/Users/asus/Downloads/pandas/016/Student_Score.xlsx&quot;,sheet_name='Students',index_col='ID')scores = pd.read_excel(&quot;C:/U...

翻译 Flask命令行选项

一、打开cmd输入：flask --helps输入出如下：二、打开cmd输入：flask run --help输入出如下：三、打开cmd输入：flask run --host 0.0.0.0 输出如下：

翻译 Flask-应用和请求上下文

from flask import [email protected]('/')def index(): user = request.headers.get('User-Agent')return '&lt;p&gt;you browserid{}&lt;/p&gt;'.format(user)## 标题Flask应用上下文和请求上下文变量名上下文说明cur...

翻译 Flask-动态路由

# -*-coding:utf-8 -*-from flask import Flaksapp = Flaks(__name__)@app.route('/')def index(): return '&lt;h1&gt;hello world&lt;/h1&gt;' @app.route('/user/&lt;name&gt;') def user(name): retur...

翻译 Flaks-Web开发服务器

Web开发服务器Flaks应用自带Web服务器，通过Flaks run命令启动服务器启动后便开始轮询，处理请求，直到Ctr+C键停止服务器，轮询才会停止Flaks Web开发服务器已可以通过编程的方式启动：调用app.run()方法。在没有flask命令的旧版本Flaks中，若想启动应用，要运行应用的主脚本。主要脚本的尾部包含下面代码片段。# -*-coding:utf-8 -*-i...

转载 pandas-matplotlib联合多表

# -*-coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltstudents = pd.read_excel("C:/Users/asus/Downloads/pandas/016/Student_Score.xlsx",sheet_name='Students',index_col='ID')scores...

转载 pandas-matplotlib密度图-数据相关性

# -*-coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltpd.options.display.max_columns=777homes = pd.read_excel("C:/Users/asus/Downloads/pandas/014/home_data.xlsx")# print(homes.h...

转载 pandas-matplotlib散点图，直方图，密度图

# -*- coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltpd.options.display.max_columns=777homes = pd.read_excel("C:/Users/asus/Downloads/pandas/014/home_data.xlsx")print(homes.hea...

转载 pandas-matplotlib绘制折线趋势图，叠加区域图

# -*-coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltweeks = pd.read_excel('C:/Users/asus/Downloads/pandas/013/Orders.xlsx',index_col='Week')print(weeks)print(weeks.columns)w...

转载 pandas-matplotlib饼图

# -*-coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltstudents = pd.read_excel(&quot;C:/Users/asus/Downloads/pandas/012/Students.xlsx&quot;,index_col='From')print(students)students['2017...

转载 pandas-matplotlib叠加柱状图，水平柱状图

# -*-coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltusers = pd.read_excel('C:/Users/asus/Downloads/pandas/011/Users.xlsx')users['Total'] = users['Oct']+users['Nov']+users['Dec'...

转载 pandas-matplotlib绘制分组柱图

# -*-coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltstudents = pd.read_excel('C:/Users/asus/Downloads/pandas/010/Students.xlsx')students.sort_values(by='2017',inplace=True,ascen...

转载 pandas-matplotlib柱状图

# -*-coding:utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltstudents = pd.read_excel('C:/Users/asus/Downloads/pandas/009/Students.xlsx')students.sort_values(by='Number', inplace=True,a...

转载 pandas数据过滤和筛选

import pandas as pddef age_18_to_30(a): return 18&lt;=a&lt;30def level_a(s): return 85 &lt;= s &lt;= 100students = pd.read_excel("C:/Users/asus/Downloads/008/Students.xlsx",index_col="I...

转载 pandas排序多重排序

import pandas as pdproducts = pd.read_excel("C:/Users/asus/Downloads/Code for 007/List.xlsx",index_col="ID")# products.sort_values(by="Price",inplace=True,ascending=False)products.sort_values(by=[...