呆萌的代Ma-CSDN博客

原创解决程序化刷新EXCEL提示更新外部链接的弹窗问题

1. 【信任中心】-> 【消息栏】->勾选如下策略提示2. 【信任中心】->【外部内容】->启用下面的三项链接3. 【信任中心】->【宏设置】->启用所有宏

2024-04-15 09:17:30 177

原创解决win32com.client执行Excel命令时报错pywintypes.com_error: (-2147418111,xxxxxx)

解决的思路：在执行了操作之后预估一个时间，用于等待与缓冲反复尝试给与命令：使用try包裹起来，设置一个最大尝试次数，如果不能执行就等待几秒再次尝试执行

2024-04-08 10:07:43 245

原创 Luigi任务调度框架学习2：运行每一个Task，避免因判定完成导致跳过执行Task主程序

在上一篇Luigi的线性调度文章中，我们知道Task运行的时候：每个任务是否完成有两次判定，即：进行判定(未完成) =》运行def run(self)函数 =》进行判定(完成) =》运行后续的Task；如果第一次判定就完成，则不会执行当前Task的def run(self)函数但是Luigi支持的判定条件只有文件与SQL，在有些情况下（尤其是定时任务），我们希望它梳理并运行整个拓扑，而不是根据判定去决定是否运行，因此本文来解决这个问题，让我们能够直接运行Task。

2024-03-29 15:46:38 386

原创 Luigi任务调度框架学习1：线性调用流程

Luigi是一个上手很快的框架，用几个小时就可以学到足以应付常规多模块多任务的程序了。

2024-03-29 14:52:59 250

原创解决pandas使用to_sql，传入sqlalchemy的create_engine后无法保存数据的问题

【代码】解决pandas使用to_sql，传入sqlalchemy的create_engine后无法保存数据的问题。

2024-03-27 16:26:55 321

原创 windows命令行根据端口占用的进程号(PID)关闭进程

【代码】windows命令行根据端口占用的进程号(PID)关闭进程。

2024-03-21 10:38:09 144

原创 Docker安装的dolphinscheduler添加Mysql数据源，访问Mysql的数据

这里并不是将Mysql数据库作为元数据，只是添加Mysql数据库作为一个数据源博主是用docker安装的dolphinscheduler，版本是Standalone-server:3.2.1。

2024-03-19 10:51:22 475

原创 windows10 WSL启动Ubuntu虚拟机，安装DolphinScheduler

在Microsoft Store中搜索Ubuntu，选一个长期支持安装即可。重启后即可创建虚拟机。

2024-03-19 09:28:58 456

原创 python计算半衰期数据中，各个时间点的值

半衰期的计算我们按照公式来，比如半衰期N，则距离当前时间点过去K个时间点后，当前值变为0.5N1K1。

2024-03-15 14:17:54 458

原创基金评价指标3——滚动收益率测算（近N日收益率，当周/月/年平均收益率）

区间收益率 = (区间终值累计收益 - 区间初始累计收益) / 区间初始累计收益。近N日收益率 = (当日累计收益 - N日前的累计收益) / N日前的累计收益。这里需要区分不同时间段的起始与终止区间。

2024-03-14 13:41:02 403

原创 Mysql/SQL对日期做加减

在实际的SQL中，可以使用如下SQL 语句查询。

2024-03-13 13:37:42 409

原创 Mysql将datetime数据转为Data/Char

【代码】Mysql将datetime数据转为Data/Char。

2024-03-13 13:32:15 436 1

原创 python使用pypika，链式调用动态生成SQL语句（1 常用查询）

它可以通过python程序的链式调用生成最后的SQL语句，在需要通过判断条件确定要不要添加某些SQL语句的情境下非常方便，通过。写一个封装SQL的工具会非常方便，但是弊端就是需要先想好生成的SQL语句。它无法在不清楚SQL语句的前提下实现结果。

2024-03-12 16:26:22 367

原创 python apscheduler添加监听器listener，用于自动化任务的反馈

apscheduler可以通过添加监听器，得到定时任务的反馈。监听会监听到的是，进入常量描述事件类。

2024-03-12 15:19:46 504

原创解决pandas使用sqlalchemy保存到Mysql数据库时，bool布尔类型数据转为tinyint数据的读取

pandas在使用to_sql()保存数据到数据表中，Mysql会将bool类型的数据转为tinyint类型，比如：此时数据表字段的类型为：这样就可以在读取出数据之后，将指定的这两列bool_true与bool_false转为bool布尔类型的数据。

2024-03-11 14:58:45 393

原创 python处理带有时区的日期/时间数据

在实际的运算中，可以都转为UTC时间再计算。都表示：东八区 +8，相当于中国标准时区。这里我们使用一个辅助的库。任意时间直接转UTC时间。

2024-03-11 13:23:37 427

原创解决python datetime创建UTC+8时区结果错误为+8:06的问题

修改原来的方法：datetime(2024, 1, 1, tzinfo=timezone("Asia/Shanghai"))为：datetime(2024, 1, 1,tzinfo=timezone("ETC/GMT-8"))

2024-03-11 10:21:32 395

原创解决grafana查询数据库返回结果在stat图标类型中无法显示的问题

将查询结果变为字符串类型即可比如博主希望展示my_table中的最大的add_dt。

2024-03-08 14:08:01 352

原创基金评价指标2——Alpha、Beta、跟踪误差、信息比率、特雷诺比率

Alpha是指风险调整后的收益（剔除掉基准带来的收益后的剩余），如果Alpha值大于0，表示剔除基准带来的收益后，策略仍然能够取得正收益，如果Alpha小于0表示主动管理部分造成了负收益。表示每单位系统风险资产获得的超额报酬，可以认为是承担beta的性价比，注意：如果使用OLS回归有四个基本假设，最好使用corr/var的计算方式。Beta用来衡量个别股票或股票基金相对于整个股市的价格波动情况。信息比率表示剔除市场基准的波动后，主动管理带来的单位收益。跟踪误差表示策略与基准的偏离程度。

2024-02-29 16:27:40 470

原创 python使用unittest进行单元测试

通过一种规范的测试方法，可以帮助我们在修改程序后能够快速的检测一些bug，使用unittest。

2024-02-27 13:57:01 668

原创 python自带轻量级键值数据库shelve

使用python自带的shelve模块，可以作为轻量级的键值数据库，在使用时可以像字典一样使用

2024-02-26 15:30:20 381

原创 python loguru记录并解析序列化后的内容

即可将所有使用logger写入的日志转变为json格式，方便进行解析。

2024-02-23 11:05:16 421

原创 openpyxl隐藏/删除excel某一列

注意：openpyxl尽量使用隐藏而非删除，因为删除某一列在存在有合并单元格的操作时，会出现合并单元格的相对位置不会发生变化，从而导致数据发生偏移的问题，而隐藏某一列不会出现这个问题。

2024-02-21 09:11:33 694

原创 python使用openpyxl添加图片到excel文件中

【代码】python使用openpyxl添加图片到excel文件中。

2024-02-20 11:21:41 827

原创 python使用apscheduler动态添加定时任务

因此，在系统中，使用需要动态添加的自动化程序时，只需要返回一个。的实例，然后添加任务即可。

2024-02-19 10:16:31 423

原创 dolphinDB创建适合存放股票代码的分布式数据库

这行代码指定基于哈希分区，同时哈希值使用10个长度，这样既可以存放一般的股票代码，也可以存放比如期权这种比较长的代码。

2024-02-11 03:29:26 409

原创 dolphinDB使用select筛选时间字段

日期格式博主使用python的dataframe保存时，是。就是筛选大于2020.01.01的数据了。，因为dolphinDB中日期格式是。列大于2020.02.29的全部数据。

2024-02-11 02:30:24 434

原创解决Windows程序与Mysql连接报错 [WinError 10048] 通常每个套接字地址(协议/网络地址/端口)只允许使用一次

这是因为mysql与程序之间已经耗尽了动态范围内的端口，链接的开关过于频繁。

2024-02-08 08:42:04 428

原创 pandas dataframe写入excel的多个sheet页面

【代码】pandas dataframe写入excel的多个sheet页面。

2024-02-07 15:03:59 1171

原创企业飞书应用机器人，使用python发送图文信息到群

企业飞书应用的自动化，需要创建企业应用，应用开通机器人能力，并获取机器人所需的app_id与app_secret。

2024-02-06 09:04:49 1355

原创企业飞书应用机器人，使用python自动发送文字内容到群消息

【代码】企业飞书应用机器人，使用python自动发送文字内容到群消息。

2024-02-05 15:34:32 1118

原创 pandas剔除带时区的数据

【代码】pandas剔除带时区的数据。

2024-02-04 12:58:03 324

原创因子分析1——python因子的异常值处理、标准化、市值/行业中性化

市值大的是真的大，小的是真的小，如果我们不对市值做处理，就没有办法对因子做“提纯”，奇怪的数据会得到奇怪的模型。为了解决杂质的影响，我们通过“市值中性化”这种方法，剔除市值的影响。原始数据的分布在使用一些拟合的方法时，异常值（超大、超小）对结果的影响是毁灭性的，因此我们对异常值做处理，但是金融数据大多数都不是错误的数据，而是确实存在但难以处理的数据。基于截面数据的建模并不是说：当前截面的情况对应了未来就会如何如何，而是后验的去描述，未来表现如何如何时，历史上的截面数据大概有什么样子的表现。

2024-02-01 14:20:09 545

原创基金评价指标1——收益率、回撤、下行标准差、痛苦指数、夏普比率、索蒂诺比率

【代码】基金评价指标1——收益率、回撤、下行标准差、痛苦指数、夏普比率、索蒂诺比率。

2024-01-30 13:27:17 489

原创 DolphinDB学习（2）：增删改查数据表(分布式表的基本操作)

将原来的内存表的数据表迁移到分布式数据表中。，查询数据表里的表有以下两种方法。因此在已有的数据表中追加数据。

2024-01-27 10:44:56 1622 1

原创 python使用read_sql与to_sql读写数据库

使用pandas读写数据库的方法（以Mysql为例）如下：读取数据库读取数据库read_sql()在读取的时候容易报错，有几个要点：1. 首先导入，然后以的形式传入第一个参数2. 在第二个参数需要使用。

2024-01-24 15:42:29 699

原创解决python matplotlib绘图报错AttributeError: module ‘backend_interagg‘ has no attribute ‘FigureCanvas‘

【代码】解决python matplotlib绘图报错AttributeError: module 'backend_interagg' has no attribute 'FigureCanvas'

2024-01-21 12:38:41 477

原创 DolphinDB学习（1）：数据库的增删查与常用操作

下载并配置好DolphinDB，同时添加vscode的插件，我们就在vscode上进行操作创建xxx.dos文件后，就会被识别为DolphinDB的运行文件，非常方便。

2024-01-20 11:35:21 636

原创 DolphinDB学习（0）：DolphinDB基本概述

DolphinDB的学习难度不小，主要是写法比较多，官方示例是一次性给一大堆代码，在没有成体系的学习基础的前提下，总有种力不从心的感觉，所以博主汇总这一个系列的文章，尝试从最简单的基础常规操作开始，一边学习一边记录探索DolphinDB的过程，同时对一些函数做更形象的解释。为了解决这些问题，博主需要选择一个数据库。其实一开始我在摸索的时候，想找一个自动驾驶公司（高可用/稳定，嗯）常用的数据库，然后稳定的使用它，然后对比综合最后选择了一个官方案例中居然有这种案例的数据库DolphinDB。

2024-01-20 10:55:51 542

原创 Windows下载并配置Kettle

注意：需要windows配置Java

2024-01-19 16:15:34 595

使用pyLDAvis的实例结果，及d3.min.js，ldavis.v1.0.0.css，ldavis.v1.0.0.js

1. d3.min.js，ldavis.v1.0.0.css，ldavis.v1.0.0.js三个文件内容 2. pyLDAvis的实例 3. 实例请参考：https://blog.csdn.net/weixin_35757704/article/details/123150467

2022-02-26

geth_tools.tar.gz

以太坊go-ethereum v1.9.22的官方代码编译后，bin目录下的工具包，可以直接使用

2020-12-27

handless_firefox.tar

包含已调试好的selenium、firefox与python3.6的docker镜像文件，同时有一个测试案例，可以直接运行，使用无界面firefox访问网站

2020-12-26

呆萌的停用词表.txt

停用词表，一共2750个停用词，属于通用停用词表。下载了很多网上的通用停用词表，同时合并了我们实验室的停用词表后使用下面的代码对停用词表整理。

2019-06-14

主流售房网站爬虫

通过jsoup对主流售房网站的房屋信息进行爬取与提取，然后通过poi将数据保存在本地的excel数据表中。

2017-12-13

一键安装libpcap及其所有依赖文件的脚本

这是一个快速安装libpcap的shell脚本运行 sudo add_libpcap.sh 在运行中会在桌面上暂时的新建一个libpcap_dir的文件夹，用来暂时存放所有的文件，在安装完成后会删除这个文件夹。安装文件的版本： m4-1.4.9 bison-3.0 flex-2.6.0 libpcap-1.8.1

2017-11-26