- 博客(20)
- 收藏
- 关注
RSS订阅原创 markdown解析高亮及mermaid
我平时用typora写记录，完稿后再上传到Mylog，typora支持需要许多的第三方markdown扩展语法，写起来很方便，但是我网站用的是一个python库——*markdown*，将markdown文本转为html，它并不支持第三方语法，目前我比较烦心高亮和mermaid语法的支持，所以花了一点时间给*markdown*库写了两个插件，分别用来解析这两种语法。
2024-03-25 19:24:40
913
原创 线段简化的几种算法
整个记录关于算法的部分是翻译来的，原作者实现的语言是C++，但是我看不懂这类代码，于是自己用Python实现了一遍，其中可能会有错误的地方，欢迎指出来让我改正。
2022-07-03 14:01:48
1281
2
原创 QGis插件编写记录-GeocodeCN
QGis插件编写记录-GeocodeCN这是实习期间写的一个工具，目的是为了将地址转为坐标点（地理编码），刚开始只是一小段Python脚本，批量请求百度地图开放接口进行编码，这确实满足了我的需求，不过每次编码都需要生成csv文件后再导入GSI软件生成矢量点图层查看，还是不够简单高效，于是萌生将其集成到QGis的想法。QGis现存地理编码插件，我所知道的，一般是请求开放街道地图（OSM）的服务，总所周知，OSM作为国外地理数据提供者，可能会存在关于我国领土边界的问题，所以决定自行写一个。1.目标批量
2022-01-09 13:34:37
813
3
原创 jupyter lab 导出笔记为pdf
写在前面打算将jupyter 笔记导出为pdf，悬着另存为pdf格式，报错如下，提示要先安装xelatex。官网写着，转换为其他格式需要安装依赖，我以为只装一个xelatex，没想到要装一堆东西。奔着偷懒的原则，网上搜搜看，发现简单粗暴的方法：ctrl + p直接输出为pdf，但是输出效果很难看，显示不清。第一张图片是代码输出信息，第二张是打印pdf后显示效果，差劲。解决方法1.安装依赖包pip install -U notebook-as-pdf2. 需要对chormne做一些设置
2021-11-23 16:43:13
5434
1
翻译 基于Pyhton的遥感可视化
写在前面首先本文原作者为：Mohit Kaushik，翻译行为已获得本人许可。最近在做一些基础遥感分析，需要对处理后影像可视化，课本上的方法很原始，带着你造一遍轮子，从地理坐标到转到像素坐标……，本着偷懒的原则，有意中发现这篇遥感可视化文章。使用Python读取图像非常简单，因为针对不同的图像格式，它提供了简便的第三方库，用来读取、可视化、编辑等，例如Matplotlib、OpenCV、Pillow……。上述库对于流行的常见图像格式，如png、jpg、jpeg 可以流畅处理，但是对于GeoTiff格
2021-11-15 20:55:46
1498
转载 QQ音乐评论分布可视化
公众号复制来的，排版可能不耐看，不要介意哈。评论是我几天前爬取的，歌曲是周董的《轨迹》，一开始想使用snownlp作情感分析，但我看了下评论内容，情感倾向很明显，没有分析的必要。这些数据都带有评论时间，也算是时间序列数据，正好拿它作可视化展示。本记录针对爬取的QQ音乐评论作可视化展示，按时间颗粒度划分如下： 年份可视化 聚合每年产生的评论数据 月份可视化 聚合每月产生的评论数据 每日可视化将每日产生的评论数据可视化 时段可视化 聚合一...
2021-05-01 21:53:31
1084
14
转载 Pandas时间序列
从公众号复制来的，排版可能不耐看，不要介意哈。Python标准库包含了日期、日历和时间数据的类型，诸如time、datetime、calendar等模块。为了防止用后即忘，导致下一次使用时到处翻书查资料，机械性重复做同一件事会让我很不舒服，在开始Pandas时间序列分析之前，先记录time和datetime模块的基础常用功能。timetime模块主要包括各种提供日期，时间功能的类和函数，它可以把日期，时间格式化为字符串或者将字符串恢复到日期和时间数据。该模块提...
2021-05-01 21:48:55
359
转载 拆分-应用-联合
从公众号复制来的，排版可能不耐看，不要介意哈。拆分-应用-联合拆分包含在Pandas对象中的数据可以是Series和DataFrame等数据结构，它能根据你提供的一个或多个键分离到各个组中，分离操作在特定轴上进行，行方向或者列方向的轴。pandas提供的groupby方法实现拆分，具有如下参数： keys分组键，多个为列表 axis指定轴 level指定层级 as_indexbool分组名称是否作为索引 ...
2021-05-01 21:42:43
121
转载 初识Pandas
从公众号复制来的，排版可能不耐看，不要介意哈。pandas是Python编程语言的用于数据操纵和分析的软件库。特别是它提供操纵数值表格和时间序列的数据结构和运算操作。pandas是在三条款BSD许可证下发行的自由软件，其名字衍生自术语“面板数据”（panel data），这是计量经济学的数据集术语，它包括了对同一个体的在多个时期上的观测。特征 DataFrame对象，用于数据操纵并具有集成的索引。 在内存中数据结构和不同的文件格式之间读写数据的工具。 ...
2021-05-01 21:39:12
378
转载 QQ音乐评论爬取
文章是从公众号直接复制来的，排版有点不耐看，不要介意哈接口分析浏览器打开QQ音乐官网，输入爬取评论歌曲，定位到评论页面。 歌曲页面评论内容猜测应该是异步请求然后再渲染，但是还不是很确定...
2021-05-01 21:23:10
1941
3
转载 淘宝商品信息可视化
纸上得来终觉浅，绝知此事要躬行。本文记录如何使用Pandas、Matplotlib基础知识对爬取的ipad信息作可视化，包括如下内容： 价格分布 销量对比 店铺销量前20 发货地省份统计 数据准备：某宝ipad商品信息(戳这里查看爬取过程)数据转换 原始数据里，价格和销量数据类型不是整型或者浮点数，需要将其转换格式后才能更好的定量分析，下面是我转换后的数据。...
2021-03-29 09:01:17
1753
转载 Matplotlib入门基础
Matplotlib真是一个庞然大物，不知道是不是我的理解能力也是三级乙等，看了慕课和网上的相关资料后，有一种盲人摸象的感觉。嵩天老师的课只是对一些概念和函数作简单介绍，想要更深一步了解还得自行拓展，为此找寻了相关的合适书籍，无果，经人推荐后上官网查阅官方教程。本文记录内容大部分翻译自官方教程，它将Matplot运用分为beginner(初级)、intermediate(中级)、advanced(高级)三个等级，本文仅针对beginner如有错误、不当的地方请指教更正。...
2021-03-29 08:53:14
244
转载 人像动漫
记录一个看起来蛮有趣的AI白嫖攻略：人像动漫化——将人像图像1：1 生成动漫二次元人像效果，只需上传人脸图片，即可立刻获得千人千面的动漫人像。来自百度智能云官网来自百度智能云官网另一个是图像风格转换——将照片转换成卡通画或素描风格，欣赏原图的多样风格。来自百度智能云官网(卡通画风格)具有如下风格： 卡通画风格 铅笔画风格 彩色铅笔风格 彩色糖块油画风格 神奈川浪里油画风格 薰衣草...
2021-03-16 20:21:20
268
原创 豆瓣影评词云
既然已经爬取了数据，哪个guy不想顺手做下分析呢？前一期PythonGuy爬取电影《送你一朵小红花》的豆瓣影评，现在准备对数据进行简单分析，由于数据格式为文本，本次分析方法为对所有评论文字进行分词，记录所有词语出现次数(词频)，按升序排序后，提取关键词，作词云图。依赖库：numpy、wordcloud、PIL、matplotlib、jieba1.分词分词选用jieba，国人开发的一款优秀中文分词第三方库，其利用中文词库，确定汉字之间的关联概率，概率大的组成词语，形成分...
2021-02-24 21:37:24
795
转载 豆瓣影评爬虫
PythonGuy近期尝试爬取豆瓣电影评论，用作数据分析，在此记录爬取过程，以下代码仅供交流学习，你在使用过程中如有困惑可直接发私信给公众号，留言。思路： 先登录豆瓣网站，获取cookie，然后携带cookie发起请求 发起评论请求，获得评论页面源代码 使用解析库爬取IOI(Information Of Interesting)，写入csv文件 爬取原理图依赖库：requests、os、csv、lxml1.准备工作...
2021-02-23 21:28:00
2433
原创 python爬虫实践记录-爬取猫眼电影排行榜
按步骤来，先打开猫眼电影排行榜首页查看url，https://maoyan.com/board/4?offset=0其中offset的数值控制网页页数，起始页值为0，尾页为90老样子，构造url。urls = ["https://maoyan.com/board/4?offset=" + str(i*10) for i in range(0 , page_num)]先定义四个函数，分别...
2020-03-05 17:38:50
730
原创 python爬虫实践-爬取京东商品图片
这段时间，因为疫情在家无聊，想起了网络爬虫，之前有写过使用requests库，又学了下使用urllib库，在这里记录下学习过程。首先使用的IDE是pycharm，解释器版本3.第一步：分析某东的url，发现某东搜索的url构成规律，输入汉服后开始搜索。点击下一页后，保存相对应的url发现每一页的url不同之处在于其中的&page=数字那里，从第二页开始，page= 后面的数字以...
2020-02-20 17:46:17
2563
原创 财富2019年世界500强企业爬虫（爬虫学习实践项目）
# coding = utf-8# 500强企业爬取 --爬取《财富》网页上的500强企业信息# writer: Shihan Wongimport requests , bs4from bs4 import BeautifulSoup# getHTMLtext函数功能：利用requests模块获得HTML代码 ，形式参数url为网页统一资源定位符def getHTMLtext(u...
2019-10-05 19:40:42
3361
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人