- 博客(79)
- 收藏
- 关注
RSS订阅原创 Python如何动态导入任意位置的包
问题：在airflow中，很多时候我们在airflow dags文件夹写了很多的utils， 但是直接导入不是很方便，甚至出错。那么在脚本中如何动态的导入任意位置的包呢？方式1：位置为: ~/utils/utildef hello(name): print("hello" + name)import impimport syscfg_path = "~/utils/util.py"module = sys.modules[__name__]override_conf = imp
2022-03-06 13:02:37
762
原创 Centos自动安装java脚本
链接: https://pan.baidu.com/s/1u4nBputY5Pqve63FaXhIFg?pwd=5qui 提取码: 5qui将JDK文件上传到/export/softwares目录，然后执行以下脚本#! /bin/bashecho "start to delete old java version"sleep 1old_java="$(rpm -qa | grep java)"for old in old_java; do echo "uninstalling $ol
2022-01-19 02:38:47
320
原创 Mac如何使用vmware fusion搭建centos服务器
目录前言虚拟机的选择安装资源准备1. Vmware Fusion2. Centos 镜像初始化虚拟机设置centos网络前言Mac系统对于开发确实很友好，但是由于线上环境一般是centos, 平常测试的时候，如果使用Mac，可能会造成环境不一致的情况。为了更好的模拟线上环境，虽然可以使用云服务器作为测试，但是假如能在本地有一个固定的centos，开发和测试都更加方便了。目前Mac支持虚拟机和虚拟机的选择目前Mac支持虚拟机的虚拟机主要有Vmware Fusion和Virtual Box, 由于之前
2022-01-18 22:32:22
814
原创 Hive基础知识
1.数仓概念的理解数据仓库，英文名叫data warehouse. 主要使用来存储历史数据的。数仓一般按主题划分，整合了不通数据源的所有数据，存储的一般是历史数据，基本不会有什么变化， 数据量会随着时间增量变化。与传统业务数据库不同，传统数据库主要是面向事务，数仓主要是面向分析的，也就是主要有利于数据分析，就是可取的方向。数据仓库的分层大致为数据源，ODS(细节数据), DW(数仓) , DA(数据应用)。ETL将数据源数据抽取，转换，加载到数据仓库，用于数据分析。2. Hive的理解Hiv
2021-11-07 17:54:39
1438
原创 如何使用gitbook写文档
gitbook写文档gitbook本地环境搭建安装nvmcurl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.37.2/install.sh | bash安装node, 推荐使用v10.24.1nvm install 10.24.1安装gitbook-clisudo npm install -g gitbook-cli输入gitbook --version 即可安装完成。...
2021-10-30 11:41:46
159
原创 上传csv或excel到hive建表脚本
上传csv文件到hive, 自动建表小脚本。支持解析字段类型以parquet格式上传# coding=utf8"""requirements: tableschema sqlalchemy pandas pyarrow pyhive"""from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionfrom __future_
2021-05-28 17:31:48
273
1
原创 医学教育网视频下载
import requestsimport base64from Crypto.Cipher import AESfrom urllib.parse import urlparseimport pandas as pdimport osimport timeheaders = { "User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) .
2021-04-14 00:16:32
1073
2
原创 download course code sample
import osimport requestsimport randomimport timedef download_course(name, source): res = requests.get(source) playlist = res.content.decode() base_url = source.split('playlist')[0] course_file = os.path.join('./video', name + ".mp4")
2021-03-08 01:20:34
141
原创 加密解密
# encoding:utf-8import base64from Crypto.Cipher import AESfrom Crypto import Randomdef encrypt(data, password): bs = AES.block_size pad = lambda s: s + (bs - len(s) % bs) * chr(bs - len(s) % bs) iv = Random.new().read(bs) cipher = AES
2021-02-22 20:01:49
252
原创 macbook如何安装mysql-python踩坑记录
macbook如何安装mysql-python踩坑记录安装mysql-python解决办法安装mysql-python以下是报错信息： cc -fno-strict-aliasing -fno-common -dynamic -g -Os -pipe -fno-common -fno-strict-aliasing -fwrapv -DENABLE_DTRACE -DMACOSX -DNDEBUG -Wall -Wstrict-prototypes -Wshorten-64-to-32 -iwith
2021-02-19 11:07:32
156
原创 2020-11-28 linux系统概述
linux系统概述Linus Benedict Torvalds，1969年12月28日发行版： ubuntu, centOS, red Hat, deepIn, debian7.1 linux目录结构windows 类似森林； linux树形结构；/bin: 二进制可执行文件/etc: 系统配置，启动程序；/home: 普通用户在home/root: 超级用户的home/sbin: 系统管理的命令/usr: 系统安装的软件/opt: 自己安装的软件必须要学会必要的命令行；7.2
2020-11-28 14:15:16
76
1
原创 2020-11-15 大数据概念
常见的Linux命令ls:-a: 所有文件-l: 显示文件详情-h: 友好的方式显示文件大小；ls -Slha # 显示当前目录所有文件，并按照大小排序，文件大小以human readable方式展示；du -Sh # 显示当前文件下的所有文件，并按照大小排序；pwd: 查看当前路径；mkdir: 创建文件夹在当前目录递归创建多层文件夹mkdir -p tableNames/hive/prodrm: 删除文件rm -rf tableNames/hivecd: 切
2020-11-28 14:13:17
212
原创 2020-11-17 java基础语法
java的跨平台原理JVMjava virtual machine主要依靠JVM，在不同的平台安装一个JVM，既可以执行jav程序；JREjava runtime environmentjre是java程序的运行环境JDKjava开发工具；主要的开发工具包括: javac.exe 和java.exe三者之间的关系jdk包含jre和开发工具；jre包含jvm和核心类库；jvm保证java程序的运行；JDK的下载和安装https://www.oracle.com今日尝试在cent
2020-11-28 14:13:07
84
1
原创 2020-11-17 - 如何理解继承
1.继承1.1 继承概述1.2 继承好处和弊端好处是 提高代码复用性和维护性坏处是 耦合性增强了。独立性削弱；is a1.3 继承中变量的访问特点在子类方法中访问一个变量：现在子类方法中找，如果子类方法中没有，再在子类成员变量中找，如果子类成员变量中没有，再在父类成员变量中找，如果父类成员变量中还是没有，那么就报错1.4 super关键字super.age : 访问父类的成员变量；super.show(): 访问父类的方法；super() : 访问super的构造方法；1
2020-11-28 14:12:55
108
原创 2020-11-26 多态
多态简介同一个对象，在不同的时刻，表现出不同的形态；多态的前提和体现：有继承和实现关系有方法重写有父类引用的指向子类对象多态中成员的访问特点package Polymorphm;public class Demo { public static void main(String[] args) { Animal a = new Cat(); a.eat(); System.out.println(a.age); }}
2020-11-28 14:12:46
92
原创 2020-11-28 接口
###接口接口是一种公共的规范标准，类似插座和usb, 是一种通用的标准，只要符合标准，就可以通用接口更多的体现在对行为的抽象；抽象类和接口的区别:区别一，两者表达的概念不一样。抽象类是一类事物的高度聚合，那么对于继承抽象类的子类来说，对于抽象类来说，属于“是”的关系；而接口是定义行为规范，因此对于实现接口的子类来说，相对于接口来说，是“行为需要按照接口来完成”。这些听起来有些虚，举个例子。例如，狗是对于所有狗类动物的统称，京哈是狗，牧羊犬是狗，那么狗的一般特性，都会在京哈，牧羊犬中找到，那么狗相对
2020-11-28 14:12:35
210
原创 GraphQL学习笔记1
1. GraphQL简介1.1 为什么GraphQL存在？https://github.com/StephenGrider/GraphQLCasts2.1 Restful Routingcrud -> http -> url2.2 Restful Routing的弊端在实际工作中往往会有这种情景出现：比如说我需要展示一个游戏名的列表，可接口却会把游戏的详...
2019-12-17 18:27:47
232
原创 GraphQL学习笔记2
2. 数据查询2.1 嵌套查询const CompanyType = new GraphQLObjectType({ name: 'Company', fields: { id: {type: GraphQLString}, name: {type: GraphQLString}, description: {type: Gr...
2019-12-17 18:25:45
158
原创 学习GO (一）
学习GO1. 入门1.1 简介go语言是由3位谷歌员工设计的。最开始开发go的时候，谷歌的开发需要维护百万行需要更新的代码，将这些代码转化为程序需要花费大量的时间。最烦人的是，每个人都得经受这种痛苦。为了应对这些问题， go语言的设计初衷就是“eliminate the slowness and clumsiness of software development at Google, a...
2019-12-11 11:22:04
170
原创 git shh失败，如何使用http免密pull和push
错误1：remote: HTTP Basic: Access deniedremote: You must use a personal access token with ‘api’ scope for Git over HTTP.remote: You can generate one at https://github.com/profile/personal_access_token...
2019-11-27 09:54:54
652
原创 Apache Superset 如何支持http接口数据源
需求：公司先前的数据源主要通过presto, 直接查询presto关联的hive和mysql表，在这种模式下，分析师通过写sql, 查询自己有权限的数据库和表，然后可视化做成看板供业务人员查看。虽然在SQL层面做到了sql数据库和表解析，鉴权机制，但是还是存在很大的数据安全隐患，比如数据泄露，数据无法脱敏等问题。因此，公司提出了将关键数据，关键指标接口化，通过http或者dubbo接口提供指标数...
2019-11-10 13:09:15
2261
4
原创 Angualr学习笔记
Angular学习笔记1.简介1.1 什么是AngularAngular： 前端框架， typescript优势：清晰的结构代码复用测试方便1.2 Angular架构前端 <==> get/post data <=> 后端1.3 Angular开发环境创建的angular clinpm install -g @angular/cli...
2019-10-30 14:38:21
235
原创 window杀进程
E:\Code\gitlab\nodejs-data-erp>netstat -ano | findstr 3000 TCP 0.0.0.0:3000 0.0.0.0:0 LISTENING 17244 TCP 172.17.51.173:63000 111.206.37.70:443 CLOSE...
2019-10-22 15:06:11
706
原创 gitlab host变更报错的解决办法-$ ssh_dispatch_run_fatal: Connection to **。**。**。** port 22: Software c
最近公司的gitlab host变更后，导致git命令失败，提示语如下:$ git pullssh_dispatch_run_fatal: Connection to ------ port 22: Software caused connection abortfatal: Could not read from remote repository.Please make sure y...
2019-10-18 11:35:35
4567
原创 如何使用原生Javascript写一个拖拽效果
需求最近公司的一个小项目，需要对draw.io进行二次开发，然后嵌入到我们的系统里面，由于draw.io使用的老的javascript编写，要拓展只能使用原生js更改。里面的有个小需求就是拖拽数据源放置到图表中，必须使用原生Js写。以下是原生js写拖拽的demo<!DOCTYPE html><html lang="en"><head> <...
2019-09-17 19:54:48
199
原创 如何从零搭建专业的jupyter notebook开发环境
1. 安装jupyter notebookpip3 install jupyter notebook2. 设置jupyter notebook远程操作设置远程登录密码(jupyter) python@ubuntu:~/Desktop/code$ pythonPython 3.7.3 (default, May 30 2019, 17:03:20) [GCC 5.4.0 20160...
2019-07-29 15:52:54
433
原创 如何快速安装node并保持多个node版本
开发背景作为一名后端数据开发， 因为前端妹子走光了，被抓壮丁把前端顶上。被迫搞前端本来一直使用过的最新的node作为开发，但是最近接到一个古董项目，需要用node 6.0.0版本。于是问题来了。怎么在电脑上同时保有多个node版本，并自由切换呢：//makesudo apt-get install build-essentialcurl -o- https://raw.githubu...
2019-07-26 14:34:28
862
原创 KNN(K近邻算法) 中超参数调优，如何生成所有的指标排列组合.
KNN(K近邻算法) 中超参数调优，如何生成所有的指标组合.在KNN算法中，参数的调优要么调整特征的组合，要么改变K值。一个常用但是简单的方式是，网格搜索(grid search).比如加入特征组包括:features = ['accommodates', 'bedrooms', 'bathrooms', 'beds', 'minimum_nights', 'maximum_nig...
2019-06-21 18:35:27
1264
原创 如何在superset自定义权限并生效？
最近接到客户需求，需要根据不同的角色，赋予不同的看板使用权限，比如，Admin用户需要在任何时候都能探索，编辑，和下载图表。目测了一下，superset原生的好像并没有这个权限的定义。只好自己研究一下添加以上的权限：1. Superset的权限系统superset控制权限主要依靠用户(user)，角色(role)，权限(permissions)，视图(view_menu) 四个类来实现。...
2019-05-30 16:44:18
2092
原创 React基本语法
理解基本语法1.The Basic workflowHowcnpm npm --> dependency managementwebpack --> use bundlerBabel --> Use CompilerDevelopment Server2. Use Create React Appnmp添加淘宝源的方法:npm config set ...
2019-04-07 13:02:21
142
原创 React编程-ES6语法简介
两种方式单页面应用多页面应用知识点开始–> 下一代的JS语法 --> react基础语法 --> debugging --> styling component–> component deep dive --> http request --> routing --> forms and validation --> redux...
2019-04-07 08:20:09
160
原创 python如何解析复杂sql，实现数据库和表的提取
需求：公司的数据分析师，提交一个sql, 一般都三四百行。由于数据安全的需要，不能开放所有的数据库和数据表给数据分析师查询，所以需要解析sql中的数据库和表，与权限管理系统中记录的数据库和表权限信息比对，实现非法查询的拦截。解决办法：在解决这个问题前，现在github找了一下轮子，发现python下面除了sql parse没什么好的解析数据库和表的轮轮。到是在java里面找到presto-p...
2019-02-22 17:43:09
11981
20
原创 AttributeError: 'module' object has no attribute 'X509_up_ref' 报错解决方法
@学习python和数据分析推荐地方： www.lynda.com获取lynda官网会员的方式：get_lynda_com()pip install requestsLooking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleCollecting requestsFrom cffi callback <function _...
2019-01-08 14:37:58
2526
原创 python如何优雅的将pandas的df类目由驼峰式改为下滑线式
本文用到的数据,可以加QQ跟群主获取：群名称：PYTHONERS-数据群 号：663468799学习python和数据分析推荐地方： www.lynda.com获取lynda官网会员的方式：get_lynda_com()如何优雅的将驼峰式改为下划线式命名。总所周知，当时用pandas 的df.read_csv()方法后，读取的dataframe列名很多时候有可能是使用驼峰式命名的...
2018-11-23 15:19:05
781
原创 python实现列表去重的方法
本文用到的数据,可以加QQ跟群主获取：群名称：PYTHONERS-数据群 号：663468799学习python和数据分析推荐地方： www.lynda.com获取lynda官网会员的方式：get_lynda.com()方法1： 使用set函数goods = ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", &
2018-11-21 14:50:25
2268
原创 python高级用法-如何在Flask模型类型中写装饰器
请自行围观！www.lynda.com作为全球一流的在线培训网站，一直以高质量的视频课程著称。其课程内容也是紧跟行业潮流，本人最近学了里面的系列课程Become A PythonProgrammer, 分享一下。课程链接：https://www.lynda.com/learning-paths/Developer/become-a-python-developer获取lynda.com永久会...
2018-10-19 18:13:18
826
原创 TypeError: markdown() takes exactly 1 argument (2 given) 报错 解决办法
TypeError: markdown() takes exactly 1 argument (2 given)原因： markdown的包可能安装的3.0.1， 需要降到2.6.11pip install markdown==2.6.11
2018-10-18 15:02:02
4476
原创 Pandas数据探索进阶
学习python和数据分析推荐地方： www.lynda.com获取lynda官网会员的方式：http://item.taobao.com/item.htm?id=557746408785Pandas数据探索进阶1. 前言当我们使用numpy的时候，我们使用数字作为索引取数；我们使用pandas的时候，我们使用label（标签）取数。 大多数时候，pandas使用标签取数非常的方便和快捷...
2018-10-12 17:46:30
721
原创 Pandas基础知识一边通（上）
Pandas基础前言1. 理解pandas和numpy2. 理解dataframe(2D数组)3. DF 选择列4. 列选择的简洁方式5. series选择行6. DF选择行总结： 使用通用公司： df.loc[row, column], row和column可以是单个标签，列表，标签切片，布尔索引7、 Series和DF的Describe方法8. 其他方法9. Pandas赋值10. 使用布尔索...
2018-10-11 11:52:25
452
原创 superset二次开发之旅__如何添加echarts图表之韦恩图
superset是airbnb开源的一款BI产品，支持多种数据库连接，拥有丰富的图表类型，其部署方便，制作看板迅速，是小企业自助BI的不错选择。但是，里面的图表类型虽然多，很多常见的图表依然没有，最近遇到一个需求：添加echarts到superset图表类型。以下是研究过程。下面以添加echarts 韦恩图为例，展示如何添加superset新图表类型：echarts官网演示链接：echarts...
2018-10-10 17:40:45
8103
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人