songhao8080-CSDN博客

原创 python httpx 模块教程比requests 更快

快速开始首先，首先导入 HTTPX：>>> import httpx现在，让我们尝试获取一个网页。>>> r = httpx.get('https://httpbin.org/get')>>> r<Response [200 OK]>同样，发出HTTP POST请求：>>> r = http...

2020-01-23 10:22:46 9112 3

原创 Visual Studio Code 中 CodeRunner 插件的输出窗口中文乱码

原来我一直用 Pycharm 写代码，Pycharm 写代码虽然很方便，但是Pycharm 有点重，我转到了Vscode了，真香。在 Visual Studio Code 中安装 CodeRunner 插件后，直接运行 Python 代码的时候，输出窗口中的中文出现了乱码，像这样：经过谷歌的一番搜索，找到如下方法，让输出的结果在 Terminal 中运行打开首选项 - 设置，在用户设置中...

2020-01-06 09:35:57 4091

原创在IPython中重新加载模块 importlib

起因：我们在学习 python 的时候，经常性的会用到 Ipython,进行函数的测试，但是我们会经常性的遇到调试函数，反复的修改函数，所以需要重新载入函数，大部分的新手，都是重新打开 IPython ，然后重新导入函数，反复重复的操作，今天我们学习一种新的方法，利用 importlibimportlib 使用说明importlib.reload(module)重新加载之前导入的 modu...

2019-12-20 10:51:42 1812

原创《将博客搬至CSDN》

《将博客搬至CSDN》 zeropython 微信公众号 5868037 QQ号 ...

2019-12-19 16:50:54 201

原创 python的yaml模块

一、yaml文件介绍yaml是一个专门用来写配置文件的语言。1. yaml文件规则区分大小写；使用缩进表示层级关系；使用空格键缩进，而非Tab键缩进缩进的空格数目不固定，只需要相同层级的元素左侧对齐；文件中的字符串不需要使用引号标注，但若字符串包含有特殊字符则需用引号标注；注释标识为#...

2019-12-16 13:58:04 286

原创 Golang goquery selector(选择器) 教程

最近研究Go爬虫相关的知识，使用到goquery这个库比较多，尤其是对爬取到的HTML进行选择和查找匹配的内容时，goquery的选择器使用尤其多，而且还有很多不常用但又很有用的选择器，这里总结下，以供参考。如果大家以前做过前端开发，对jquery不会陌生，goquery类似jquery，它是jquery的go版本实现。使...

2019-12-13 17:42:45 1151

原创 Go viper 管理配置教程

1.Viper 是什么?viper 是以个完善的go语言配置包.开发它的目的是来处理各种格式的配置文件信息.viper 支持:设置默认配置支持读取JSON TOML YAML HCL 和Java属性配置文件(可选)监听配置文件变化,实时读取读取配置文件内容读取环境变量值读取远程配置系统(etcd Consul...

2019-12-12 16:26:25 1449

原创爬虫使用 GraphQuery 进行解析

使用GraphQuery进行解析已知我们想要得到的数据结构如下： Python { title pictype number type metadata { size volume mode...

2019-12-11 13:47:50 398

原创 Golang 爬虫 GBK 转 UTF-8

抓取百度新闻的时候出现乱码现象原因：Golang 默认不支持 UTF-8 以外的字符集解决：将字符串的编码转换成UTF-8需要用到的库 Python go get github.com/axgle/mahonia 12...

2019-12-11 11:25:24 857

原创一文明白Go模块的常用导入方法

项目结构环境配置go 命令依赖一个重要的环境变量：$GOPATH，它表示GO项目的路径，如下设置 Python export GOPATH=/home/t/gospace 12 export GOPATH...

2019-12-10 09:33:29 363

原创 Go 环境搭建

Python export GOROOT=/usr/local/goexport GOBIN=$GOROOT/binexport PATH=$PATH:$GOBINexport GOPATH=$HOME/go_wk# 启用 Go Modules 功能export GO...

2019-12-05 14:46:19 108

原创 Go 爬虫解析 json 数据

GO 爬虫抓取json 怎么解析 Python package mainimport ( "fmt" // 输出标准库 "github.com/levigross/grequests" // HTTP 请求库 ...

2019-11-29 11:05:43 1203

原创细说Golang的JSON解析

细说Golang的JSON解析之前一直写一些动态语言，觉得解析JSON还是很简单的，往往只需要几行代码就能拿到解析好的JSON对象。Go语言自带的json包可以让你在程序中方便的读取和写入 JSON 数据。生成JSON场景相对简单一些，json.Marshal()会根据传入的结构体生成JSON数据。解析JSON会把数据解...

2019-11-28 11:22:23 541

原创 Go 爬虫解析 xml

Go 爬虫抓取解析 xml导入爬虫用到的库 Python import ( "encoding/xml" // xml 标准库 "fmt" // 打印" "io/ioutil" ...

2019-11-27 11:15:24 267

原创 Ubuntu 命令行安装 Operator Mono 字体

ubuntu 命令行安装字体 Operator Mono上传字体、下载字体到服务器 Python (base) ~ TIME 9:04:57 > ls Operator\ Mono__MACOSX Operator Mono ...

2019-11-07 09:12:58 1175

原创 Django Admin 后台增加导出数据到 CSV

在Django Admin中每个模型的Admin类(继承至admin.ModelAdmin), 我们可以通过actions增加支持的动作, 值为当前类存在的方法名, 例如: Python @admin.register(Issue)class IssueAdmin(admin.M...

2019-10-30 14:13:18 547

原创 wsl vscode 和 windows vscode 出现冲突了 install VS Code in Windows and uninstall the Linux version in WSL...

在 wsl 系统中编辑文件，用 vscode 则提示一下内容：To use VS Code with the Windows Subsystem for Linux, please install VS Code in Windows and uninstall the Linux version in WSL. You ...

2019-10-17 09:47:08 3375

原创只有 Python ORM Pony ORM,一个牛逼的ORM

只有 Python 魔法少女才知道的 PonyORM开发项目时，经常会用到 ORM，而 Python 里能用的 ORM 其实也没几个，以我目前的开发经验来看，比较顺手的 ORM 有 Django 内置的那个，或是写 Flask 时，可以配合使用大佬封装好的 Flask-SQLAlchemy。而它们都与框架绑定，当你想在 W...

2019-10-10 09:36:19 1134

原创 Python 比 logging 模块人性化的log 模块loguru

本文章向大家介绍Python 第三方日志框架loguru使用，主要包括Python 第三方日志框架loguru使用使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。解决中文乱码问题项目地址 github: https://github.com/Delgan/loguru文档...

2019-10-08 14:21:36 1068

原创 Python 非常人性化的 logger 模块 loguru

2019-10-08 14:18:22 1528

原创 Python 快速生成随机码

Python import randomimport stringdef generate_code(bit_num): ''' :param bit_num: 生成验证码位数 :return: 返回生成的验证码 &#3...

2019-10-08 11:15:39 611

原创 Clear screen in shell 清空 shell 的输出

利用 subprocess 模块For OS X, you can use subprocess module and call 'cls' from shell: Python import subprocess as spsp.call('cls&#...

2019-10-08 10:21:56 319

原创 pandas将类别属性转化为数值属性的方法

离散特征的编码分为两种情况：1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}使用pandas可以很方便的对离散型特征进行one-hot编码...

2019-09-29 16:43:07 1462

原创 python3 Datatable 媲美超过 pandas

1 前言data.table 是 R 中一个非常通用和高性能的包，使用简单、方便而且速度快，在 R 语言社区非常受欢迎，每个月的下载量超过 40 万，有近 650 个 CRAN 和 Bioconductor 软件包使用它。如果你是 R 的使用者，可能已经使用过 data.table 包。而对于 Python 用户，同样存...

2019-09-24 15:11:15 189

原创 SSH无密码登录只需两步

SSH无密码登录的设置步骤首先我们在自己的Linux系统上生成一对SSH Key：SSH密钥和SSH公钥．密钥保存在自己的Linux系统上。然后公钥上传到Linux服务器．之后我们就能无密码SSH登录了．SSH密钥就好比是你的身份证明．１在自己的Linux系统上生成SSH密钥和公钥打开终端，使用下面的ssh-key...

2019-09-23 14:07:15 395

原创向Django Admin添加图表

介绍Django 提供功能管理 UI 开箱即用的 CRUD 界面用于 db 管理。这包括基本内容和用户管理系统的大多数用例。但是，它没有显示摘要或历史趋势的探索性视图，这是您期望从管理仪表板获得的内容。幸运的是，django管理应用程序是可扩展的，通过一些调整，我们可以添加交互式Javascript图表到管理员。问题...

2019-09-20 11:35:10 1988

原创百度输入法的词库 bdict 转 txt

Python <br />\#encoding:utf-8import structimport binasciiclass Baidu(object): def __init__(self, originfile): self.ori...

2019-09-20 09:12:14 3036

原创 Python 利用 sklearn 实现 knn

Python 利用 sklearn 实现 knn Python # 导入数据集生成器from sklearn.datasets import make_blobs# 导入 <span class="wp_keywordlink_affiliate">...

2019-09-19 14:38:03 1323

原创欧氏距离(Euclidean Distance) Python 实现计算欧氏距离

欧氏距离(Euclidean Distance)欧氏距离是最容易直观理解的距离度量方法，我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。Python 实现计算欧氏距离 Python import numpy as npx=np.random.rando...

2019-09-10 10:05:10 9270

原创一个“牛逼”的 Python 命令行解析库

在 Python 中，命令行解析库有非常多的选择方案，系统自带的模块有 argparse，有 Flask 作者写的 click，但是 argparse 使用起来啰嗦，要经历解析器初始化、参数定义、解析一套流程。例如： Python # -*- coding: utf-8 -*...

2019-09-03 09:21:31 169

原创自定义 Oh My Zsh 主题 cchi.zsh-theme

在 chi.zsh-theme 的基础上进行完善的 Python # -----------------------------------------------------------------------------# FILE: chi.zsh-theme# DES...

2019-08-31 11:36:27 1192

原创 Docker cannot open directory ‘xxx’: Permission denied

权限问题发现挂在卷没有权限查看 Python # root @ ip-192-168-2-78 in ~/spider_projects/django4celery on git:new_task x [10:46:46] $ sudo <span class=&#3...

2019-08-30 10:59:07 291

原创 Django Celery 任务增加多个队列，优先级设置,apply_async 函数详解

在settings.py 设置队列 Python # settings.pyfrom kombu import Exchange, QueueCELERY_QUEUES = ( Queue('task_html', Exchang...

2019-08-27 16:18:49 2500

转载 celery 任务队列取消预取机制加入 -O fair

celery 任务队列预取机制我们启动celery基本命令为：celery -A mytask worker --loglevel=info当以此命令启动celery后，celery默认情况下执行任务会有个预取机制（prefetching），预取是什么呢，如下一张图：我们假设有两个worker，但当任务量较多的时候，celery有个任务队列，每个wroker执行完了，就从这个队列中取任...

2019-08-27 11:16:43 1482 1

原创 celery 任务队列取消预取机制加入 -O fair

celery 任务队列预取机制我们启动celery基本命令为： Python <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/celery...

2019-08-27 10:23:59 225

原创 Python 根据字符串调用本地函数

Python import sys# 自定义的函数def hello(d): print(f"hello world {d}")# 调用函数 hello 方法一getattr(sys.modules[__name__], 'hello&#...

2019-08-20 09:30:16 388 1

原创给 Django 加一个 markdown editor Django-mdeditor

Django-mdeditor 是基于 Editor.md 的一个 django Markdown 文本编辑插件应用。Django-mdeditor 的灵感参考自伟大的项目 django-ckeditor.注：关于Markdown页面渲染问题，建议后端渲染。因Editor.md 已长时间不更新有些bug和兼容性问题需要...

2019-08-13 17:54:05 1999 1