- 博客(63)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Python 写入excel 使用windows打开乱码问题解决方案 utf-8-sig
将数据写入csv文件时，在windows电脑中打开使用乱码错行，mac电脑打开没有任何问题。所以问题应该是编码不同导致的。文本中包含了中文、表情字符集等，无论使用 utf-8 还是 gkb 编码都有问题。最终使用 utf-8-sig 编码完美解决问题。with open(file=file, mode=mode, encoding='utf-8-sig', newline='', errors='ignore') as f: f.write(datas)案例：将8W...
2021-02-02 16:07:07
1879
3
原创 Python 正则替换忽略大小写 re.sub()
re.sub('需要替换字符', '用于替换的字符', '需要替换的文本', flags=re.I)import re# 正则替换 不区分大小写re.sub('world', 'Python', 'world I love World.', flags=re.I)# 输出结果'Python I love Python.'
2021-01-28 15:49:07
3008
原创 [twitter spider] Python 使用推特开发者账号应用+tweepy api，采集获取推特数据
# 申请 twitter 开发者帐号 & 应用 tokenconsumer_key = "b5n...W1c"consumer_secret = "RGOGO...rbGvh"access_token = "10177...9Gwc5"access_token_secret = "0ugoL...WsgxW"# 填写twitter提供的开发Key和secret + 提交你的Key和secretauth = tweepy.OAuthHandler(consumer_key, co...
2021-01-07 10:37:10
2144
原创 scrapyd 批量清除pending任务
一、问题由于爬虫报错/生产环境更换等原因造成定时的scrapy任务队列pending 等待的太多（通过http://127.0.0.1:6800/listjobs.json?project=myproject查询到 pending 的爬虫队列竟然有600+....）二、解决方案进入 用户目录下-->dbs 目录，删除 pending 的scrapy项目db文件即可因为 dbs 目录下存储着项目数据（包括爬虫任务队列）如下图（scrapy项目为MyToken, 此...
2020-12-28 09:54:24
1132
1
原创 Docker push 镜像到 Docker Hub
363 docker build -t selenium_python3 . 365 docker run -it --name selenium_python3 selenium_python3 /bin/bash 378 docker login 379 docker ps -a 380 docker ps -l 387 docker commit 5b231292928b doujiang2020/selenium_python3 38...
2020-12-18 17:16:47
121
原创 Docker Ubuntu pip install lxml 报错：error: command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1
一、报错描述docker 中 使用 pip install lxml, 报错：error: command 'x86_64-linux-gnu-gcc' failed with exit status 1报错图如下：二、解决方案在构建Docker中，使用apt-get install python3-lxml 代替 pip install lxml,可以正常安装（解决安装依赖报错问题）apt-get install python3-lxml参考文章：https://...
2020-12-07 11:36:26
477
原创 Git 常用命令
通过git init命令把这个目录变成Git可以管理的仓库git init查看仓库当前的状态git status把文件添加到仓库git add file1 # 添加一个文件git add file1 file2 # 添加多个文件git add . # 添加目录所有变更文件把文件提交到仓库git commit -m "wrote a readme file"查看工作区和版本库里面最新版本的区别git d...
2020-11-18 18:09:28
116
原创 ERROR: command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1 (ubuntu docker 安装 xxtea-py模块)
参考文章：https://stackoverflow.com/questions/26053982/setup-script-exited-with-error-command-x86-64-linux-gnu-gcc-failed-with-exit/35164888
2020-10-14 10:01:38
546
原创 Linux Centos 安装 Docker
1. 安装 Dockeryum -y install docker查看是否安装成功docker version或者docker info2. 启动 Dockersystemctl start docker# 或者service docker start设置开机自启动： systemctlenable docker3. 查找docker...
2020-10-08 15:22:01
94
原创 pip install ... ERROR: UnicodeDecodeError: ‘gbk‘ codec can‘t decode/ python setup.py egg_info Check
1. pip install 安装包报错如下ERROR: UnicodeDecodeError: 'gbk' codec can't decode/ python setup.py egg_info Check(base) C:\Users\user>pip download igramscraperCollecting igramscraper Using cached igramscraper-0.3.5.tar.gz (24 kB) ERROR: Command erro
2020-09-30 17:25:57
1100
原创 [weibo spider] 微博 id 和 mid 互相转换 Python
参考资料：https://www.cnblogs.com/qiernonstop/p/3634354.html分析思路：实际代码：ALPHABET = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"def base62_encode(num, alphabet=ALPHABET): ...
2020-09-17 21:07:31
746
原创 自测 python 翻译的几种方法 （谷歌/百度/有道翻译）
前言：工作需要，翻译的文本经常带有 emoji 表情。1. 谷歌翻译（ translate& googletranspython库）优点：方便，简单缺点：需要翻墙，translate 库有次数限制，googletrans 库不能翻译带有 emoji 表情的文本2. 百度翻译注册百度翻译开发者帐号，申请 appID & 密码, 免费 200万字符...
2020-09-17 21:04:43
1422
原创 node.js 从入门到？
1. 安装 node.js 环境node.js 官网:http://nodejs.cn/download/从node.js官网下载安装包，打开一直执行下一步下一步，不要太简单～。2. 安装编辑器IDE首推 vscode, 免费、轻便且强大。VSCode 官网：https://code.visualstudio.com/3. 使用 node.js 写api...
2019-11-08 15:14:33
171
转载 mysql 进阶 -- 将查询结果集写入新数据表 & 备份当前表数据到新数据表（快照）
备份当前表数据到新数据表（快照） 如果想要对一个表进行快照，即复制一份当前表的数据到一个新表，可以结合CREATE TABLE和SELECT：-- 对class_id=1的记录进行快照，并存储为新表students_of_class1:CREATE TABLE students_of_class1 SELECT * FROM students WHERE class_id=1...
2019-09-25 13:51:47
603
转载 mysql 进阶 -- 添加或更新 / 添加或替换 / 添加或忽略 （数据是否存在）
添加或更新如果我们希望插入一条新记录（INSERT），但如果记录已经存在，就更新该记录，此时，可以使用INSERT INTO ... ON DUPLICATE KEY UPDATE ...语句：INSERT INTO students (id, class_id, name, gender, score) VALUES (1, 1, '小明', 'F', 99) ON DUPLIC...
2019-09-25 11:58:23
463
原创 centos / linux 创建用户/添加用户/用户授权sudo权限
一、Linux Centos 添加用户密码adduser [用户名]passwd [用户名]二、用户授权sudo1.添加sudoers文件可写权限查看 sudoers文件只有可读权限需要添加写权限chmod -v u+w /etc/sudoers修改之后的 sudoer 文件权限2. 编辑 sudoer 文件，添加用户权限vi...
2019-08-07 16:36:09
283
原创 Python Hash分表
1. 创建数据表（10张分表为例）创建 10 张分表：eth_special_addr_trx_0,eth_special_addr_trx_1,......, eth_special_addr_trx_9 # 创建 10 个Hash分表 for i in range(10): sql_create_table = ''' ...
2019-07-22 11:25:17
843
1
原创 Centos Linux系统 安装 python3 (Anacada)
1. 下载 Anaconda/Minconda 安装包官网下载太慢。建议选择 国内镜像。# Anaconda & Minconda 二选一# Anacondawget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh# Mincondawge...
2019-07-17 13:57:34
431
原创 Aliyun Code & Git -- 配置公钥 SSH Key (Linux/Centos & Windows)
前期准备：申请 自己的 Aliyun Code 帐号一、Linux/Centos 系统 配置 Git1. 登录Centos服务器, 安装 Git 服务yum install git安装完成可以输入`git --version`，查看Git安装版本，是否安装成功安装成功即可在本地使用git仓库管理文件、clone 公共仓库代码等安装完成后，设置用户名和邮箱，在命令行...
2019-07-08 13:53:58
1077
原创 MarkDown 使用指南
参考资料：http://note.youdao.com/iyoudao/?p=2411一. 什么是Markdown？Markdown是一种轻量级的「标记语言」，通常为程序员群体所用，目前它已是全球最大的技术分享网站GitHub和技术问答网站StackOverFlow的御用书写格式。 Markdown的语法十分简单，常用的标记符号不超过十个，用于日常写作记录绰绰有余，不到...
2019-06-20 14:07:49
179
原创 python 中文转Unicode编码 & Unicode编码转中文
中文转Unicode编码：text.encode("unicode_escape")exp:# 中文转Unicode编码text = "中国" res = text.encode("unicode_escape")# 输出结果res = b'\\u4e2d\\u56fd'Unicode编码转中文：u.decode("unicode_escape")...
2019-05-28 13:32:50
34353
7
原创 Scrapy爬虫 -- ImagePipeline 实现图片自动下载
Scrapy爬虫 -- ImagePipeline 实现图片自动下载一.ImagesPipeline的工作流程1. 首先在爬虫项目中获取图片的image_urls;2.item[‘image_urls’]进入管道中，当项目进入 ImagesPipeline，image_urls 组内的URLs将被Scrapy的调度器和下载器（这意味着调度器和下载器的中间件可以复用）安排下载;3...
2019-05-28 13:31:35
469
原创 机器学习 -- 学习笔记
一. 机器学习概述1. 机器学习的定义机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。2. 机器学习与人工智能、深度学习3. 机器学习的应用场景渗透到了各个行业领域当中。医疗、航空、教育、物流、电商等等领域的各种场景4. 机器学习算法分类5. 机器学习开发流程6. 学习框架和资料介绍...
2019-04-17 11:36:48
166
原创 Elasticsearch(三) Python 使用 elasticsearch 的基本操作
参考文章：https://cuiqingcai.com/6214.html一. python 安装 elasticsearch标准库1. pip install elasticsearch2. 中文分词插件： elasticsearch默认是英文分词器，所以我们需要安装一个中文分词插件elasticsearch-analysis-ik （注意和elasticse...
2019-04-11 17:48:33
13026
原创 python 判断区分字符串是否都是英文/中文
1. 判断 是否全是 英文b = 'bilibili站'b.isalpha() # 中英混合不适用# Trueb.encode('utf-8').isalpha()# Falseb.encode('utf-8')# b'bilibili\xe7\xab\x99'2. 判断 是否全是 中文word_1 = '如何再飘摇'res = Truefor...
2019-04-11 17:27:47
33386
2
原创 centos Redis远程连接 Connection time out 问题
一. 问题说明redis配置文件已经修改如下并重启：bind = 0.0.0.0requirepass “your_password" # 自己设置远程连接的密码protected-mode no # 保护模式 关闭daemonsize: yes # 后台守护 开启并开放阿里云服务器端口6379，但是远程连接访问redis...
2019-03-28 15:52:44
990
原创 pandas 学习笔记
Pandas 简介优点：读取文件方便 ； 封装了Matplotlib、Numpy的画图和计算1. pandas 基本使用# 创建一个符合正态分布的10个股票5天的涨跌幅数据import pandas as pdimport numpy as npstock_change = np.random.normal(0, 1, (10, 5))stock_chan...
2019-03-28 01:12:25
209
原创 numpy 学习笔记
1.简介Numpy（Numerical Python）是一个开源的Python科学计算库，用于快速处理任意维度的数组。Numpy支持常见的数组和矩阵操作。对于同样的数值计算任务，使用Numpy比直接使用Python要简洁的多。Numpy使用ndarray对象来处理多维数组，该对象是一个快速而灵活的大数据容器。Numpy专门针对ndarray的操作和运算进行了设计，所以数组的存储效率和输...
2019-03-18 13:46:43
193
原创 scrapyd 的安装和启动 （基于Python环境）
1.安装pip install scrapyd2. 修改配置文件--允许外部访问查找scarpyd的配置文件： find / -name default_scrapyd.conf打开配置文件： vi default_scrapyd.conf修改文件保存退出： 将 bind_address=127.0.0.1 --> ...
2019-03-04 16:12:53
682
原创 scp -P 远程复制文件(夹) 到 指定端口
scp远程复制scp -r 源文件目标文件eg: 复制本地文件(夹)到服务器 scp -r Files [email protected]:/home/root/Files 复制服务器文件(夹)到本地 scp -r [email protected]:/home/root/Files./Files远程复制指定端口: -Peg: scp -P 22 f...
2019-03-04 15:42:40
34935
原创 Linux / Centos 服务器 用户名提示符显示 -bash-4.2# 解决方法
问题：原因：误删 .bash_profile、.bashrc 文件下面的几个配置文件丢失：1、.bash_profile2、.bashrc解决办法：使用以下命令从主默认文件重新拷贝一份配置信息到 该用户your 目录下(需要 root 权限)cp /etc/skel/.bashrc /home/yourcp /etc/skel/.bas...
2019-02-27 11:41:42
931
原创 pymysql.err.InternalError: (1366, "Incorrect string value: ...)
原因：由于建表的时候没有指定数据库字符集, 保存中文的时候就会报错：pymysql.err.InternalError: (1366, ...)解决方法：mysql>ALTER TABLE your_table CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci; ...
2019-02-27 11:38:43
3068
原创 Elasticsearch(二) mac安装elasticsearch可视化工具 Kibana & 常用操作
1. 安装： brew install kibana(myspider)⚙ xxxxx@xxxxMacBook-Air /usr/local/Cellar brew install kibanaError: Another active Homebrew update process is already in progress.Please wait for it to fin...
2019-01-09 19:51:18
3819
原创 scrapy telnet 监测爬虫运行和性能问题
1. 安装 telnetMac 系统： brew install telnet其他 系统：略2. 运行scrapy爬虫scrapy crawl your_spider3. telnet 监测爬虫运行telnet localhost 6023 est ( ): 查看爬虫引擎各组件的运行状态 p(stats.get_stats()) ：查看爬虫已经运行的各项指标...
2019-01-08 14:34:33
1722
1
原创 Python 数字 和 字符串 之间的对应转换： chr(int) & ord(str)
ord(str) --> 将字符串 转换成对应的 数字 chr(int) --> 将 数字 转换成对应的 字符串 ----- END -----
2019-01-08 12:15:11
2785
原创 Elasticsearch(一) mac系统 安装 brew install elasticsearch
一. elasticsearch 简介 Elasticsearch 是一个使用Jave开放的开源的实时搜索和分析引擎, 是当前流行的企业级搜索引擎，分布式，稳定，可靠，快速，安装使用方便。它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非...
2019-01-08 11:24:18
1893
原创 win10系统环境下scrapy出现的问题及解决办法
1. 报错：ModuleNotFoundError: No module named 'win32api'原因：这是因为Python没有自带访问windows系统API的库的，方法：需要下载第三方库 pypiwin32，即 pip install pypiwin32 . 2. 中文输出乱码原因：scrapy m=默认是 utf-8编码，windows系统默认 gbk编码。...
2018-12-17 14:41:05
428
原创 python 操作 selenium 详解
页面加载等待 一. 隐式等待Selenium 没有在 DOM 中找到节点，将继续等待，超出设定时间后，则抛出找不到节点的异常。from selenium import webdriverbrowser = webdriver.Chrome()# 设置 隐式等待browser.implicitly_wait (10)browser.get(’https://www...
2018-12-17 14:24:10
315
原创 docker 使用详解 xmind总结笔记
参考文章：http://www.runoob.com/docker/centos-docker-install.html使用 yum 安装（CentOS 7下）名词解释image：镜像，可以理解成一个操作系统安装盘，并且这个操作系统里集成了一些软件container：容器，一个已启动的操作系统下载镜像docke...
2018-11-16 10:40:06
1203
Vue框架思维导图笔记
2018-12-18
Flask项目-阿里云上线部署-详细步骤图解
2018-08-08
JQuery思维导图
2018-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人