- 博客(85)
- 收藏
- 关注
RSS订阅原创 冬天里利用mac取暖的方法
mac的金属机身在冬天里摸起来冷冰冰的，特别难受，不过一旦热起来，就很舒服了。方法如下：唤醒终端，输入yes > /dev/null &多弄几个。看cpu差不多用到 百分五六十了，就可以停止了。等风扇转个几分钟，就可以取暖了。如果觉得够了，需要全部关掉的话，在终端里输入killall yes就可以了。...
2021-01-12 15:50:37
807
原创 fastapi flask django等python web框架 设置的host port不起作用的解决方案
使用flask的时候，在脚本里设置好了host和port，但是在按照教程里的启动方式：uvicorn appMain:app --reload但启动之后的host和port却是默认的：INFO: Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)INFO: Started reloader process [48460] using statreload之前用flask的时候也遇到过这个问题，当时还
2020-12-22 10:21:27
762
1
原创 macbook 使用xmind蓝屏的解决方法
macbook上面有一些软件会自动使用gpu加速功能，而这一功能很不稳定，是导致屏幕蓝屏的罪魁祸首。很多人会遇到chrome的蓝屏情况，chrome的话可以通过自带的设置关闭gpu加速来解决这个问题。不过在使用xmind的时候也遇到了蓝屏问题，显示情况如下：真是让人眼瞎。xmind没有关闭gpu加速的选项，所以必须得手动关闭独立显卡功能。我是用的是 gfxCardStatus 这个软件来控制显卡。官方下载地址：https://gfx.io/下载后安装，通过导航栏可以找到这个应用，切换到集成
2020-10-29 14:30:16
999
1
原创 mac intellij idea 出现 Unable to import maven project: See logs for details 的解决
自己安装了maven 3.6.3版本，在idea里面引入之后，发现依赖引用失败，从IDEA的help菜单下的Show log in Explorer, 打开并查看idea的log，也看不出问题，然后查了一下，发现是兼容性问题，idea 2018和2019不兼容maven 3.6.2及之后的版本。切换maven到自带的：重新加载依赖：问题解决。...
2020-05-26 18:12:19
1229
原创 Centos7 阿里云服务器 硬盘分区扩容的踩坑经历
买的阿里云服务器硬盘空间不够用了，在线扩容后怎么把分区扩容就是个问题。一开始按照阿里云的官方教程：https://help.aliyun.com/document_detail/25452.html#section-vvb-gcs-bhm想要选择扩充已有分区，因为之前是根目录全部放在一个分区下，本来一切都很顺利，结果到要卸载磁盘的时候就出问题了，[root@wxs-pc bin]# u...
2020-05-02 23:37:49
1163
2
原创 mac 10.15 安装xgboost-1.0.2 python setup.py egg_info Check the logs for full command output.问题解决
一开始用pip install xgboost结果报错，ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output.后面想要去github下载编译安装，结果下载下来的最新版跟网上的教程不一样，官网的安装文档也没用，相当蛋疼。不...
2020-04-13 03:18:57
6399
1
原创 Centos7.6 自带mariadb5.5 平滑升级到 mariadb 10.2 使用国内源，数据无损迁移
文章目录1、备份原来的数据2、处理旧版数据库3、配置国内10.2的源4、安装10.2版本并更新数据服务器系统是Centos7.6，自带的mariadb的版本是5.5，太低了，很多新的开源应用都部署不成功，因此必须升级到10.x以上才行，但是生产环境已经有了数据，然后看各种教程，这个多一行代码，那个少一行，尤其还要删除原来的版本，忐忑的不行，也不知道哪个才对，现在已经升级成功，数据无损，特此展示...
2020-03-31 23:40:49
609
原创 mac php+nginx环境配置，使用brew安装替代自带apache和php 解决phpstorm 502和 php-cgi not found
文章目录一、彻底停止之前的Apache + php-fpm二、删除自带的apache和php（可选）三、使用brew安装需要的nginx+php四、配置php的环境路径五、修改nginx的配置文件并修改网站根目录的权限六、启动服务因为偶尔把玩一些开源项目，所以本地搭建的环境比较多。之前使用mac自带的Apache和php环境，不过没想到坑一堆，然后phpstorm也会报php-cgi没有找到的...
2020-03-29 23:36:08
507
原创 Centos7 superset0.30.0 生产环境异步高并发稳定结构部署 superset+gunicron+gevent+mysql+redis+celery+flower+supervisor
文章目录环境准备搭建conda虚拟环境安装需要用到的python包安装需要用到的Centos应用superset配置修改默认数据库celery部分配置修改默认缓存设置superset+celery+mysql+flower启动测试superset启动celey启动flower启动gunicorn配置supervisor配置环境准备搭建conda虚拟环境建议为superset搭建一个专门的py...
2020-03-27 22:26:44
981
原创 centos superset0.30 查找配置文件config.py 添加用户个人配置文件
在自己的superset安装环境下（如果是安装在python的虚拟环境，需要先进入虚拟环境）输入：which superset我这边返回的结果是：/root/anaconda3/envs/superset/bin/superset然后在这个 虚拟环境的路径底下 搜索 config.pyfind /root/anaconda3/envs/superset/ -name config.py...
2020-03-26 12:07:24
1807
原创 centos7 go项目使用supervisor部署
自己用的一个开源go项目，一直都是使用cd 启动文件所在路径nohup ./二进制文件的方式启动的，不过有时候程序会自动退出，为了解决这个问题，将项目使用supervisor来进行部署。以下是部署和配置的过程：# 修改supervisor的配置文件vim /etc/supervisord.conf# 以下是supervisor中的该项目的配置内容，关于supervisor的配置可...
2020-03-26 11:38:55
526
原创 Centos Python3 conda虚拟环境 virtualenv 中的gunicorn superset flask应用等的开机启动命令，结合supervisor部署
superset使用的是conda的虚拟环境安装，虚拟环境的gunicorn部署，之前的开机启动脚本中的这一块的命令行是这样的：source activate superset # 启动superset虚拟环境gunicorn -c gun_superset.conf superset:app conda deactivate后面需要结合supervisor部署，command就只能用...
2020-03-25 08:18:47
751
转载 superset的一些问题集合，转载
文章目录我可以一次查询/联接多个表吗？我的数据源能有多大？如何创建自己的可视化？我可以上传和可视化csv数据吗？为什么我的查询超时了？为什么地图在地图框可视化中不可见？如何向仪表板添加动态筛选器？如何限制仪表板上的定时刷新？为什么“flask fab”或superset在启动时冻结/挂起/没有响应（我的主目录是NFS挂载的）？如果表架构更改了怎么办？如何着手开发新的可视化类型？什么数据库引擎可以用...
2020-03-25 08:04:25
2643
2
原创 superset 0.30.0 config.py 修改默认缓存为redis
superset使用Flask-Cache来缓存数据。在之前的使用中没感觉的缓存的便利性，因此想要替换成redis。在superset的config.py中，可以通过CACHE_CONFIG参数配置缓存所使用的后端。首先安装Python的redis驱动：pip install redis然后在superset的config.py中增加如下的配置：CACHE_CONFIG = { ...
2020-03-24 22:02:30
483
8
原创 superset 0.30.0 配置好celery 后没有任务的解决
配置好celer和flower后，不管 sql_lab 怎么查，celery就是没有任务。后面发现需要在 【sources】- 【databases】编辑你要进行查询的数据库，把红框的那个选项打勾，不同版本可能不一样，看底下的小字那边的介绍，有说celery的勾上就行了。然后把superset，celery，flower按顺序重启，重新执行 sql_lab 查询，就能看到有任务了。...
2020-03-24 19:34:17
1086
原创 使用Gitea为公司或个人快速搭建git服务器，类github，gitlab，web系统管理git仓库
文章目录前言我的环境：数据库配置下载安装包启动后的配置前言个人想要搭建一个私有git仓库，服务器自己有了，看了一下网上的git服务器搭建教程，都太麻烦了，服务端的仓库还是命令行的形式，太反人类了，然后看到了一个gitea的开源git项目，安装体验了一下，感觉很不错，特此分享一下，顺便记录一下安装过程，方便各位。gitea官网：https://github.com/go-gitea/gite...
2020-03-21 22:02:17
2861
1
原创 阿里云ECS Centos7 搭建 FTP服务器 踩坑之旅，解决 ftp用户登录 服务器发回了不可路由的地址 等问题
文章目录1、安装vsftp1.1 yum 安装 vsftp1.2 修改vsftp的配置文件2、添加ftp登录用户2.1 创建ftp登录用户2.2 设置用户密码2.3 设置ftp文件夹的权限2.4 在白名单中添加新建的ftp用户3、启动ftp服务在用阿里云ecs搭建ftp服务器的时候遇到了不少问题，现将完整的安装和踩坑过程记录下来，避免大家少走弯路。1、安装vsftp1.1 yum 安装 vs...
2020-03-21 17:50:30
723
原创 mac终端 centos7 更改文件夹的显示颜色 踩坑之路
Centos7默认的文件夹颜色是蓝色，在我的mac终端中这个颜色实在是很难看清楚。一开始先是修改终端的配色，之前在百度的时候对开发机就是这么操作的，然鹅这次没有作用。然后是修改mac的文件夹配色：vim ~/.bash_profile# 增加颜色设置：export CLICOLOR=1export LSCOLORS=GxFxCxDxBxegedabagaced:wq 保存退出然...
2020-02-26 20:12:07
676
原创 pip install pydruid失败的解决方法
使用pip install pyduuid的时候安装失败，报错如下：During handling of the above exception, another exception occurred: Traceback (most recent call last): File "<string>", line 1, in <module>...
2020-02-26 18:37:11
1250
2
原创 superset赋予某个角色只能查看已发布的dashboard权限，无编辑权限
superset给某个角色赋予可编辑和操作权限比较简单，直接给用户赋予alpha角色就行，但是要只让新用户只有查看已公开发布的dashboard的权限，可就不太容易了，以下是我不断试出的权限搭配，直接使用sql插入数据表就行。-- 先删除要给予只看dashbord角色的之前所有权限，7是我这边要赋予权限的role_id，可以从 ab_role 表中看到角色的iddelete from `ab_...
2020-02-23 23:15:28
3329
1
原创 superset权限批量复制
superset的权限控制确实是相当的蛋疼，需要一个个进行选择，太过麻烦，而且原始提供的几个角色一旦初始化后就会恢复默认值。所以建议的做法是创建新角色，然后复制默认角色的权限，再进行修改，比如只能看dashboard，只能用sql lab，或者只给予某个数据库的权限，再给用户搭配某几个角色，以实现权限管控目的。示例如下：在角色列表新建一个角色：因为没有勾选任何权限，所以这个角色一开始...
2020-02-22 18:22:29
607
2
原创 python 执行sql报错：ValueError: unsupported format character '"' (0x22) at index 151
使用sqlalchemy执行sql语句的时候老是报错：ValueError: unsupported format character '"'一开始还以为是sql语句中包含双引号的问题，但是改成单引号也报错，把引号内的内容替换成占位符也还是错，然后查了一下，发现是 % 捣的乱，报错报的莫名奇妙。原因是这里使用的 % 在传给mysql中执行的时候被赋予了别的意思，因此需要转义，再加个 % 就行...
2020-02-21 00:01:58
7706
原创 superset 0.30.0 数据库从 sqlite 迁移到 mysql
一开始测试的时候用的都是默认的设置，使用的是自带的sqlite的数据库，考虑到长远的使用来说，使用mysql更好一点，也方便操作，因此必需迁移之前的数据到mysql上面。先从当前服务中导出数据：superset export_datasources -b -d -f datasources.yamlsuperset export_dashboards -f dashboards.json...
2020-02-19 21:44:07
1422
原创 superset 0.30.0 通过服务器ip和端口 公网无法访问，修改配置一劳永逸
安装网上的教程，通过conda的虚拟环境安装好superset，然后就要启动这边先说一个坑，网上的教程启动都是：superset runserver我安装的是0.30.0版本，这个启动方式没用，最新的启动命令是：superset run但是用这个命令启动之后，host和port是：127.0.0.1：5000，这就很尴尬了，只能服务器本地访问，外网无法访问。然后看了下主配置文件：v...
2020-02-19 10:30:18
2858
原创 superset 0.30.0 公网访问设置 127.0.01转0.0.0.0 config.py无法使用
按照这篇文章的教程成功安装了superset 0.30.0：https://www.jianshu.com/p/b02fcea7eb5b但是有以下几个问题：1、启动方式不同旧版本是：superset runserver0.30.0 的方式如下：superset run2、公开访问的设置不同服务启动以后发现，发现没办法通过 ip+端口 的方式进行访问，而且我的默认端口是5000...
2019-12-20 00:02:42
2609
2
原创 阿里云ECS 网易邮箱配置问题 解决smtp.163.com发送失败
一开始smtp.163.com的端口号设置为25，结果测试结果如下： 发送测试邮件失败：dial tcp 123.126.97.3:25: i/o timeout然后查了一下，阿里云默认屏蔽25端口，所以将25端口换成465就可以解决了。...
2019-12-14 12:31:37
7092
原创 Error: Python executable …… is v3.6.5, which is not supported by gyp.的解决方案
npm安装一个项目的时候，报错如下：gyp ERR! configure error gyp ERR! stack Error: Python executable "/Users/wxs231/anaconda3/bin/python" is v3.6.5, which is not supported by gyp.gyp ERR! stack You can pass the --py...
2019-11-26 23:30:44
1275
原创 excel列数据快速转字符串，多行变一行，嵌入到sql和代码中
工作中经常需要用到hive或者mysql去查同事需要的数据，而他们发来的判断名单一般都是excel，添加字符串还好办，但是一旦数据多了，列形式就很不方便。所以自己用php写了个网页工具，能够直接把excel的数据转行成单行的字符串，方便嵌入到sql和代码里。使用网址：http://wxs231.cn/input.html使用方式：1、2、处理过程没有保存到数据库，实时返回，不用...
2019-11-18 22:20:13
723
原创 linux shell的一些注意点，以及一些代码示例
注意事项多行注释shell里没有多行注释，只能每一行加一个 # 号。如果在开发过程中，遇到大段的代码需要临时注释起来，可以把需要注释的代码段用一对花括号括起来，定义成一个函数，但是不对其进行调用，就达到了和注释一样的效果。比如以下这样：#!/bin/bashcd ~mkdir test_dircd test_dir{ # 开始多行注释for ((i=0; i<10; i+...
2019-09-29 10:24:45
1268
原创 DockerHub发布自己的镜像
注册一个dockerHub的账号，并创建一个仓库，命名为<repo>。登录：docker login -u <username>为本地image打标签：docker tag <image-id> <username>/<repo>:<version>提交image：docker push <...
2019-09-24 10:01:30
196
原创 后厂村二三事
再过一周多就要离开待了一年零三个月的后厂村了，总觉得应该写点什么来纪念一下，毕竟后厂村的世界真的是丰富多彩——至少于我如此。建筑风格不同大厂的建筑风格不一而足，但是基本都是以大气，现代化和科技感为主，而且都特别大气，动不动就是巨大的空间浪费，或者弄个花园啥的，唯一从外观上看有点小家子气的也就网易了。当然还有比较特别的，那就是新浪了，不知道为什么放了不少奶牛的雕塑，然后广场的草坪上还放了一头奶...
2019-07-30 18:09:48
529
原创 mysql 统计连续出现 最大次数
适用场景：统计连续打卡，签到以及访问等情况的统计。结果为两列，一列是要统计的字段列，另一列是最大连续记录。select * from ( select aa.字段名, max(rownum) maxrow from ( select bb.id, bb.字段名 if((bb.字段名=@pname) , @row:=@row+1 , @row:=1) rownum, #...
2019-07-17 16:29:41
1698
1
原创 django celery @task 异步任务，参数报错问题
按照网上的教程直接使用@task或者@shared_task的话，我这边会出现参数错误的问题，需要使用(bind=True)来解决，样例如下：from celery import shared_task@shared_task(bind=True)def add(x,y): return x+y...
2019-06-26 18:54:27
1514
1
原创 django celery 启动报错TypeError: can only concatenate tuple (not "NoneType") to tuple解决方法
手贱不小心pip install django-celery-result结果没想到把django-celery什么的也给更新了，会提示不兼容：再使用python manage.py celery worker --loglevel=info 的时候就启动不了，部分报错如下：File "/anaconda3/lib/python3.6/site-packages/django/c...
2019-06-26 18:45:29
2758
原创 python 使用lxml的etree快速解析网页表格
发现使用lxml的etree解析网页的表格特别方便，看了一些教程，讲得不是很清楚，特此贴上自己使用成功的代码，作为参考。import requestsimport reimport pandas as pdfrom lxml import etree# url和header此处省略req = requests.get(url=url, headers=header)text = r...
2019-06-25 18:35:55
4498
原创 python threadpool线程池简单实现，了解原理
简单实现了一下threadpool，避免了只会调用却不知道如何运行的尴尬，详细代码如下：import queueimport threadingimport contextlibimport time"""author：LancerWuemail: [email protected]:一个基于thread和queue的线程池，以任务为队列元素，动态创建线程，重...
2019-06-24 16:00:32
557
原创 git 出现end无法操作的解决方法
一开始使用git的时候总是会莫名的出现一个 end 文字，然后就进入文本编辑页面，无法操作，按ctrl+c也退出不了，后面发现只要使用:q就可以退出了。
2019-06-24 10:52:04
4309
4
原创 mysql实现去重的相关代码
之前的数据库去重一般会选择使用python的pandas，因为效率真的高也简单，不过作为练习，还是自己实现了一下使用sql语句实现的单表去重。根据单字段实现去重查出所有重复记录select * from 表名 where 字段名 in ( select 字段名 from 表名 group by 字段名 having count(字段名)>1);查出多余的记录，不查出i...
2019-06-20 16:21:34
335
1
转载 redis高性能的原因-简单版
出去面试基本都会被问到redis，不外乎redis的操作，机制和性能等，这里简单总结一下redis为什么使用单线程还能如此高性能的原因：纯内存访问Redis将所有数据放在内存中，内存的响应时间大约为100纳秒，这时Redis达到每秒万级别访问的重要基础；非阻塞I/ORedis使用epoll作为I/O多路复用技术的实现，在加上Redis自身的事件处理模型将epoll中的链接、读写、关...
2019-06-19 10:42:28
348
原创 python 主要排序算法-整理版
网上各种排序算法版本众多，这里结合了几个版本，每个算法保留了一或二个我觉得容易理解的方式，方便刚入门的同学掌握常见的排序算法。快速排序插入排序选择排序...
2019-06-18 16:31:26
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人