- 博客(165)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 python,lua,bash
传递参数python [test.py]import sysdataset=sys.argv[1]fea=sys.argv[2]python test.py lcd2012/data/ 1torch[test.lua]a=arg[1]b=arg[2]th test.lua acd 1bash [test.sh]#!/bin/basha=$1b=$2./test.sh 123 stringp
2016-11-14 15:11:15
1467
1
原创 [tableau]top N + Other within a category
https://www.theinformationlab.co.uk/2015/06/16/showing-a-nested-top-n-with-other-in-tableau/Showing a Nested Top N with “Other” in TableauOne of my favourite parts of my job as a Tableau Consultant is receiving questions via our support desk which get the
2022-06-16 14:07:58
227
1
原创 [tableau]tabcmd
logintabcmd login -s https://online.tableau.com -t agooptest -u ${EMAIL} -p ${PW}publishtabcmd publish "${DIR}/${NAME}.twb" -o --parent-project-path 06_test/${PROJECT} --db-username ${DB_USER} --db-password ${DB_PW} --save-db-password --tabbed
2021-11-17 19:37:37
366
原创 [python]发送slack消息
import slackwebslack = slackweb.Slack( url="??????")# 方法1attachments = []attachment = { "pretext": "Email Validation failed", "title": "Email address:", "text": "apsvvfb",}attachments.append(attachment)# 方法2attachments = [ {.
2021-09-21 16:23:27
840
原创 [redshift][sql]用其他表格的数据来更新当前表格
update test1 t1set itemname=t2.itemnamefrom test2 t2where t2.itemcode=t1.itemcode;update test1set col2=test2.col2from test2 join test1 caton test2.col1=cat.col1;
2021-08-26 14:29:45
126
原创 日本所得税和住民税的计算方法
所得税+住民税的计算方法????????中文（所得税）五张图教你看懂日本“个人所得税”所得金额=税前收入 - 给与所得控除课税所得=所得金额 - 所得控除所得控除: 抚养38*2，社会保险，寄付金，基础控除38寄附金：捐赠额-2000 ????网址ふるさと納税在计算所得税的时候是属于所得控除的“寄除金”部分的。 ????网址平成21年度から市民税・県民税の寄附金控除が所得控除から税額控除に変更になりまし...
2019-12-18 12:33:13
6363
原创 [python][redshift]用python获取redshift中的数据
import psycopg2hostname=xxxxxpw=xxxxxcon=psycopg2.connect(dbname='dynamicpop', host=hostname,port='15439', user='root', password=pw)#con=psycopg2.connect(dbname='dynamicpop', host='localhost',port...
2019-11-19 11:37:04
1392
转载 [Mac]搜索包含关键字的文件
https://www.jianshu.com/p/522f43ce8535find ./ -name "*.py" | xargs grep "psycopg2" -l.//2018/20181121_congestion/git_backlog/huff_model/dynamicpop.py.//20190722_自動化graph/time/main_thread.py.//201...
2019-11-19 11:22:31
1274
原创 [python]打日语
#-*-coding:utf-8-*-import matplotlib.font_manager as fmfonts = fm.findSystemFonts()i=0print(fonts)print("")for f in fonts: font = fm.FontProperties(fname=f) print(i) print(fonts[i])...
2019-11-01 16:19:14
558
原创 异常检测
翻知乎还有各种谷歌，大概总结了一下。統計： ▶︎ 3sigma ▶︎ grubbs ▶︎ boxplot ▶︎ z-scoreclusterneighborhood密度isolation forestskylinehttps://earthgecko-skyline.readthedocs.io/en/latest/overview.htmlhttps://www.dig...
2019-10-24 15:44:26
290
原创 [aws cli］s3删除和查找文件
awscli 里不能直接使用“*”aws s3 rm s3://s3://log-provision/08_nhk/mesh/temp/*/*/ver3/*这样是不行的，需要使用--recursive和--exclude、--include.在--exclude、--include里使用“*”。--exclude是表示删除文件时，不可以删除的部分。--include是表示删除文件时，需...
2019-07-22 10:45:15
4209
原创 [python]常用总结
splitting bumpy array based on valuehttps://stackoverflow.com/questions/38277182/splitting-numpy-array-based-on-valueimport numpy as npfrom itertools import groupbyb = np.array([ 1, 1, 100, 1...
2019-06-12 14:36:06
139
原创 [tableau]rank_chart
http://www.vizzingdata.com/advanced-charting-rank-charts/https://public.tableau.com/profile/na7074#!/vizhome/rank_Chart/Sheet1?publish=yes
2019-06-11 17:08:47
299
原创 tableau map
https://mc.bbbike.org/mc/https://interworks.com/blog/zgorman/2015/05/11/bringing-custom-map-tableau-10-minutes-or-less?utm_content=buffere1f1d&utm_medium=social&utm_source=twitter.com&utm...
2019-06-03 20:28:26
205
原创 ssh(localforward)
起因是我的~/.ssh/config里有这样几行：Host D1 HostName 35.161.xx.xxx Port 222 User na.xxxx IdentityFile ~/.ssh/id_rsa LocalForward 15439 redshift-db.xxxx.amazonaws.c...
2019-06-03 16:27:36
2200
原创 [tableau]Parameter Action
tableau新版本里的action里添加了参数功能（？）我按着视频教程实现了一下，还有twitter上一个人发的也做了一下。https://twitter.com/thoang1000/status/1108813668387561472然后发到了tableau public上。https://public.tableau.com/profile/na7074#!/vizhome/par...
2019-05-28 10:30:33
566
原创 hive, spark sql
今天查了下，可是没有搞太清楚，暂时先记录一下。hivehive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 ...
2019-05-22 16:54:27
148
原创 [tableau online]mac, Tabcmd
参考：https://dev.classmethod.jp/business/business-analytics/tableau-tabcmd-mac/先下载需要的软件下载个解压的软件https://theunarchiver.com下载java（别下最新版本，下8那个版本)https://www.oracle.com/technetwork/java/javase/download...
2019-04-22 19:55:56
363
原创 [tableau]bump graph
https://playfairdata.com/tableau-201-make-dynamic-dual-axis-bump-charts/Database: SuperStonebump graphCreate Calculated Filed : (Sales_Rank)RANK(sum(Sales))Columns: MONTH(Order Data)Rows: S...
2019-04-04 16:55:43
236
原创 [python]pandas常用
读csv文件test1.csvmesh,pop1,2002,3003,400test2.csv1,2002,3003,400import pandas as pd#会从第一行开始读数据df = pd.read_csv('test2.csv', header=None,names=["mesh","pop"])#会把csv的第一行认为是header,数据从第二行开始d...
2019-04-02 10:00:40
335
原创 [tableau]pie chart只标记top5
https://community.tableau.com/thread/211365create calculated field:(top5)IF RANK(SUM(factor)) <= 5 THEN ATTR([p_lodging]) END然后把它拖进“label”那里，右击 -> “computing using" -> p_lodging...
2019-03-08 17:06:15
2611
原创 [python]多个python版本下的pip安装问题
在服务器上python --version显示是python2.7.5但是用pip install statsmodels以后，会被安装到/usr/lib/python3.6/site-packages下，查了一下https://stackoverflow.com/questions/2812520/pip-dealing-with-multiple-python-version...
2019-03-04 10:56:31
419
原创 [python]matplotlib存多图
draw(data1,data2,fig): fig = plt.gcf() #get current figure plt.clf() #清除figure上之前画的图 plt.plot(data1,linewidth='5') plt.plot(data2,'r') fig.savefig("abc.png", dpi=200,bbox_inches = 't...
2019-03-01 10:50:31
201
原创 [python]时间序列预测
https://blog.csdn.net/ZVAyIVqt0UFji/article/details/81784639周期时间序列的预测（有python代码)具有周期性特征的序列需要将周期性特征提取出来。python里面的statsmodels工具包里面有针对周期性分解的函数seasonal_decompose，我们可以将序列进行分解。seasonal_decompose这个函数里面...
2019-02-22 19:25:21
5018
原创 [Mac]terminal
下载了个iterm2顺道把现在terminal的配置记录一下。xxxx之类的是记得要替换一下。#~/.bashrcexport PYENV_ROOT="${HOME}/.pyenv"if [ -d "${PYENV_ROOT}" ]; then export PATH=${PYENV_ROOT}/bin:$PATH eval "$(pyenv init -)"fiP...
2019-02-21 11:01:01
182
原创 配色网址
https://www.colorspire.comhttp://paletton.com/#uid=c5C2O0t3h0kllllaFw0g0qFqFg0w0aFhttp://colorhunter.com/tag/highresolution/2https://www.colourlovers.comhttp://www.colorexplorer.com
2019-02-18 11:16:47
126
原创 [python]发邮件
在发邮件之前，在本机上配好smtpsend_mail.pyimport argparseimport smtplibfrom email.MIMEMultipart import MIMEMultipartfrom email.MIMEText import MIMETextfrom argparse import RawTextHelpFormatterif __name__ ==...
2019-02-13 10:35:59
170
转载 [bash]从bash发消息到slack
出处https://agoop.slack.com/apps/new/A0F7XDUAZ--incoming-webhook-https://qiita.com/tt2004d/items/50d79d1569c0ace118d6bashwebhooks.sh#!/bin/shset -eu#Incoming WebHooksのURLWEBHOOKURL="ここにIncomin...
2019-02-12 16:10:45
555
原创 [redshift]查看表格的sort key
https://docs.aws.amazon.com/ja_jp/redshift/latest/dg/r_search_path.htmlset search_path to '$user', avgpop_jp;SELECT *FROM pg_table_defWHERE schemaname = 'avgpop_jp' and tablename='m_kokusei_2014...
2019-01-30 19:37:08
742
原创 [python]conda python2和python3
mac已经安装了python$$ python --version$$ Python 2.7.5一直在用python2, 说是未来python 主流是python 3，所以就安装一个吧。首先安装condahttps://www.anaconda.com/download/#macos下载下来双击安装打开terminal, 输入Conda list会看到已经安装的包，然后我看到了...
2019-01-30 14:46:00
2079
原创 [python]调试
ipdb / pdbhttps://xmfbit.github.io/2017/08/21/debugging-with-ipdb/ipdb.set_trace()test.pyimport ipdbif __name__ == "__main__" x = 1 y = 2 ipdb.set_trace() print x+y命令式python -m ipdb test.p...
2019-01-24 17:57:07
119
原创 [python]读入日语文件
https://stackoverflow.com/questions/147741/character-reading-from-file-in-pythonhttps://stackoverflow.com/questions/19699367/unicodedecodeerror-utf-8-codec-cant-decode-byte>>> file -I t_cit...
2019-01-10 16:34:40
2405
原创 [python]matplotlib/seaborn 画图时日语显示问题(Mac,python2.x)
https://openbook4.me/sections/1674https://qiita.com/akiya3/items/0c8d365cbdafabb5b0dadownload fonthttps://ipafont.ipa.go.jp/node26下载以后，双击ttf文件即可安装(ipaexg.ttf,ipaexm.ttf)pythonpythonPython 2....
2019-01-10 16:20:45
911
原创 [python]pandas常用
import numpy as npimport pandas as pdnumpy -> pandas# data_test_cur是一个pd.dataframe变量df_pred = pd.DataFrame(data={'pop_pred':pop_pred})df_pred = pd.DataFrame(data={'pop_pred':pop_pred},index=d...
2018-12-25 16:53:17
115
原创 [tableau]实例(drill-down)(set-action)
https://onlinehelp.tableau.com/current/pro/desktop/zh-cn/actions_sets.htm我们来做这个tableauhttps://public.tableau.com/en-us/s/gallery/cost-night-out-around-world?gallery=votd点击左边的+号之后，会自动展开。这用到了tablea...
2018-12-20 16:44:59
2564
原创 [tableau]作品集
2017年优秀作品https://public.tableau.com/zh-cn/s/blog/2017/12/team-picks-notable-vizzes-2017最值得关注的 10 佳数据可视化博客https://www.tableau.com/zh-cn/learn/articles/best-data-visualization-blogs...
2018-12-19 10:02:33
4543
3
原创 [python]多元回归
pandasstatsmodelshttps://www.statsmodels.org/stable/regression.html除了下面代码用的ols(最小二乘法以外），还有OLS(endog[, exog, missing, hasconst]) A simple ordinary least squares model.GLS(endog, exog[, sigma, miss...
2018-12-12 15:35:49
1090
1
转载 [python]逻辑回归
http://dblab.xmu.edu.cn/blog/logistic-regression-in-python/原文2015年的，写的特别详细！！！====================本文基于yhat上Logistic Regression in Python，作了中文翻译，并相应补充了一些内容。本文并不研究逻辑回归具体算法实现，而是使用了一些算法库，旨在帮助需要用Python来做...
2018-12-12 11:04:20
387
原创 关于预测问题(回归分析)
最近需要做已知的是日期，时间，地点，人数。需要知道下一个时间点的人数。网上查了资料以后觉得可以使用回归分析。回归分析大概是给了自变量(x=x1,x2,x3,...\bf x={x_1,x_2,x_3,...}x=x1,x2,x3,...)和因变量，推测出它们的模型fff。y=f(x)\bf y=f(\bf x)y=f(x)这样再给自变量以后，就可以计算出y\bf yy了列一些...
2018-11-14 10:40:47
3030
原创 [sql][redshift]常用函数
PERCENTILE_CONThttp://www.maomao365.com/?p=6254PERCENTILE_CONT(<表达式1>)WITHIN GROUP(ORDER BY <表达式2> [ ASC | DESC ] )OVER (< partition by 表达式3> )参数:表达式1:此处只能输入一个大于等于0 小于等于1的浮点数如......
2018-11-13 14:53:48
1175
matlab画图不要白边
2015-04-21
matlab_hog
2015-01-21
matlab提取hsv，rgb，lab
2014-11-07
KLT_MATLAB
2013-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人