_木子_简单_-CSDN博客

原创 mac安装pygraphviz找不到头文件

mac安装pygraphviz找不到头文件

2022-07-26 10:16:21 478

原创 caravel 控制某角色只能看到自己的表

背景：每个用户应该只能看到自己有权限的表，但是我拿到这个版本的时候 caravel还没做限制，即用户可以看到所有表。然后我就用自己的方法限制了，如下： #views.pyclass FilterTables(CaravelFilter): def apply(self, query, func): # noqa if any

2016-11-05 11:03:41 703

原创 caravel 导出csv文件乱码问题

背景：项目： https://github.com/airbnb/caravel版本：0.10.0现象：导出csv 含有中文时候乱码：原有导出代码：采用flask中封装的Response函数view.py elif request.args.get("csv") == "true": payload = obj.get_cs

2016-08-30 13:54:32 1420 1

原创 KYLIN 例行调度自动BULID

KYLIN提供RESTFUL 接口，通过请求&crontab 可实现例行调度参考url:http://kylin.apache.org/docs15/howto/howto_use_restapi.html#get-job-status实现步骤：1、shell脚本加入下面代码实现BULID请求java -jar KylinInterface.jar CUBE

2016-08-24 14:21:03 4059

原创 caravel中文_caravel汉化

1、设置搜索路径caravel路径下：cat babel.cfg:[ignore: static/assets/node_modules/**][python: **.py][jinja2: templates/**.html]encoding = utf-82、生成翻译模板pybabel extract -F babel.cfg -o messag

2016-08-19 18:55:08 3239 2

转载清理Kylin的中间存储数据(HDFS & HBase Tables)

原地址：http://blog.csdn.net/jiangshouzhuang/article/details/51290399Kylin在创建cube过程中会在HDFS上生成中间数据。另外，当我们对cube执行purge/drop/merge时，一些HBase的表可能会保留在HBase中，而这些表不再被查询，尽管Kylin会做一些自动的垃圾回收，但是它可能不会覆盖所有方

2016-08-09 13:39:10 1144

原创 ML1-mac 安装ipython

FROM http://wenku.baidu.com/link?url=XW6WaT8G12UcGkS0vuueR1kSJZGyPvNH3L5CEOUrejlmJW07_rKvvK2t0O72QBbooatULQM9iFOTEYQnJF9MPctN77QFq4lYuq4df6tIT8C如果你想使用最新的开发版本，从源文件安装是最适合的。 1. 从https://github.

2016-07-29 14:29:53 595

原创 mvn

mvn archetype:generate -Dversion=1.0 -DgroupId=test_groupid -DartifactId=test_artifactid -DpackageName=com.test.svn.create1. mvn help:describe 你是否因为记不清某个插件有哪些goal而痛苦过,你是否因为想不起某个goal有

2015-06-28 00:12:41 1076

原创文章标题

mvn archetype:generate -Dversion=1.0 -DgroupId=test_groupid -DartifactId=test_artifactid -DpackageName=com.test.svn.create

2015-06-28 00:07:05 445

原创欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2015-06-28 00:06:20 462

转载 watch

转载自：http://www.cnblogs.com/peida/archive/2012/12/31/2840241.htmlwatch是一个非常实用的命令，基本所有的Linux发行版都带有这个小工具，如同名字一样，watch可以帮你监测一个命令的运行结果，省得你一遍遍的手动运行。在Linux下，watch是周期性的执行下个程序，并全屏显示执行结果。你可以拿他来监测你想要的一

2015-05-05 19:25:01 515

原创 tail -f xxx.log|awk '{print $3}'|uniq -c

kps 计算依赖于日期中打印了时间 uniq -c 去重计数

2015-05-05 19:17:11 1701

原创 linux awk shell 左补0

shellprintf "%04d\n" 12awkecho 12|awk '{printf("%03d\n",$0)}'

2015-05-02 15:13:01 8963

原创 php retry

$retry=0;while($retry++ try{ //正常代码 - 连接库}catch(Exception $e){sleep(1);continue;}break;}

2015-04-29 18:23:57 1112

原创 linux 在文本每一行前面加xxx

:%s/^/xxx/ sed 's/^/xx/' 1.txt

2015-04-29 11:25:12 11647

转载 vim 中代码的折叠和打开

文章转自：http://liufabin66688.blog.163.com/blog/static/13968548200810140486304/在查看代码的时候，如果代码十分冗长，尤其是c/c++系列的时候，代码结构比较让人难以理清，主要是各种注释、括号的匹配问题，虽然可以用%来查看匹配的另外一半符号在哪里，但是如果这一对符号之间的代码超过了一页，甚至好几页的话，那么也是

2015-04-29 11:17:43 35340

转载 Hadoop-MapReduce Job本地运行流程

http://zy19982004.iteye.com/blog/2037549

2015-03-20 12:33:22 479

转载如何进行Hive debug

http://blog.csdn.net/wisgood/article/details/38047921

2015-03-19 16:43:57 857

转载分隔符不是单个字符事load数据的问题。

http://blog.csdn.net/iquicksandi/article/details/8543052通过 SerDe(serialize/deserialize) ，在数据序列化和反序列化时格式化数据。

2015-03-13 11:38:27 615

转载 hadoop中HDFS详解

http://p-x1984.iteye.com/blog/860290一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的

2015-03-12 18:27:54 501

原创可见strings能输出文件中的可打印字符串（可指定字符串的最小长度），通常用来查看非文本文件（如二进制可执行文件）中的可读内容。

strings edits|more

2015-03-12 18:21:16 620

原创正则gawk --re-interval

cat 1.txt|gawk --re-interval -F '\t' '{if($19~/^[a-z0-9]{8}$/||$19~/^[A-Z]{5}$/)print}' > 1_end.txt

2015-03-03 14:14:37 1224

转载 MySQL数据库引擎介绍、区别、创建和性能测试的深入分析

数据库引擎介绍MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL+API自己做一个引擎。下面介绍几种数据库引擎： ISAM：ISAM是一个定义明确且

2015-02-25 14:23:33 517

转载 linux常用命令

日志文件说明 /var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信息 /var/log/cron 与定时任务相关的日志信息 /var/log/spooler 与UUCP和news设备相关的日志信息

2015-02-25 12:29:08 452

转载 prompt statement (提示表达式) --- $PS1 $PS2 $PS3 $PS4 $PROMPT_COMMAND

PS 是 prompt statement (提示表达式)的缩写。1. PS1 – 默认交互式提示符在 shell 中断中中敲入命令时，可以看到前面的一串提示符(如 [beyes@beyes ~]$ )，这就是 PS1 所代表的内容。可以用 echo 来查看 PS1 这个变量：[beyes@beyes ~]$ echo $PS1[\u@\h \W]\$

2015-02-25 12:23:13 951

转载 LINUX export PS4='+$LINENO: {${FUNCNAME[0]}} '

-x 是 set 命令中的一个选项，它用来进入跟踪方式，这样会显示出脚本执行每一条命令及其参数，它是脚本调试中的一个有用选项。它输出的被执行的命令行及参数前面会添加一个 "+" 号。实际上，这个 "+" 号就是内置变量 $PS4 的值，可以输出验证：[beyes@localhost ~]$ echo $PS4+我们可以对 -x 选项，或者说是 $PS4 这个变量进行

2015-02-25 12:10:37 2244

转载 python的ftp全部内容下载

# -*- encoding: utf8 -*-import osimport sysimport ftplibclass FTPSync(object): def __init__(self): self.conn = ftplib.FTP('10.22.14.23', 'user', 'pass')

2015-02-03 18:01:35 987

转载 Hadoop拷贝文件到hdfs时出错:could only be replicated to 0 nodes, instead of 1

在配置namenode和jobtracker的ip时使用的是localhost ，将这两个改成namenode以及jobtracker本机的实际ip后，问题得以解决。具体的原因我也不太明白确保master（namenode）、slaves（datanode）的防火墙已经关闭确保DFS空间的使用情况Hadoop默认的hadoop.tmp.dir的路径为/tmp/hadoop-${user.

2015-01-09 14:12:24 6268

原创将大文件按照首字母分割到不同的小文件中实现取第二个[]中间的内容进行分割

文件分割：77.txt内容adssweerwefdsfbfdbfdfdfs一、实现将大文件按照首字母分割到不同的小文件中实现：取首字母：{substr($1,1,1);写入首字母的文件中cat muliCn.txt |awk '{substr($1,1,1);print>"./split/split_"su

2014-12-31 15:10:19 882

转载 python出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare错误

python出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare错误python中出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare的错误可按照错误建议网址查

2014-12-25 11:08:57 911

转载详细了解CPU的信息

转载：http://blog.sina.com.cn/s/blog_4bde3c5101015gbr.html在Linux系统中，如何详细了解CPU的信息呢？当然是通过cat /proc/cpuinfo来检查了，但是比如几个物理CPU/几核/几线程，这些问题怎么确定呢？经过查看，我的开发机器是1个物理CPU，4核8线程，Intel(R) Core(TM) i7 CPU 860

2014-12-16 15:54:03 599

原创 java.io.IOException: Bad connect ack with firstBadLink as

关闭防火墙或者开放端口即可解决

2014-12-11 11:01:38 1231

原创图数据库

http://www.csdn.net/article/2012-03-14/313107

2014-12-10 20:35:52 525

原创 linux 配置iptables

http://www.cnblogs.com/JemBai/archive/2009/03/19/1416364.html

2014-12-10 20:30:01 508

原创 su: cannot set user id: Resource temporarily unavailable

ulimit是限制进程对资源的使用，nproc可用 ulimit -u 查询；nofile可用 ulimit -n 查询一、hadoop 集群新加了一台机器，昨天下班前做了start-banlancer.sh,连接不上用户usa，报错。使用root执行 su usa,报错su: cannot set user id: Resource temporarily unavailable

2014-12-10 12:10:54 2501

原创集群各个目录占有量和整个集群总空间占有量为什么不一致

今天有同事很好奇的发现一个问题：Filesystem Size Used Available Use%hdfs://ns1 106.3 T 76.8 T 23.9 T 72%5.1 T /data20.0 G /hbase924.5 M /home16.3 M /lib0 /output0 /system37.2 G /tmp25.7 T /user很奇怪为什么各个目录

2014-12-08 17:38:51 604

转载 Hive使用一段时间后Hadoop集群占用空间暴增的原因

Hive使用一段时间后Hadoop集群占用空间暴增的原因转载：http://sishuok.com/forum/blogPost/list/5410.html我使用的是hive。所有的数据也是在hive中 load data inpath 导入的导入的数据时保存到虚拟路径 hdfs:////user/hive/warehouse以一个表一个

2014-12-08 16:24:13 1629

原创异常 Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local

查看你的配置文件，找到mapred.local.dir这个参数，查看这个参数对应的文件夹的状态，如容量，可读性等设置mapred-site.xmlproperty>name>mapred.local.dirname>value>/data/hadoop/mapred/localvalue>property>mapred.l

2014-12-04 16:38:18 3449

原创 awk如何打印出除了第一列以外的其他列

awk如何打印出除了第一列以外的其他列：a 文本内容1,2,3,4,5,6,73,4,5,6,7,8,94,5,6,7,8,9,9技巧：替换第一个分隔符为其他分隔符，再输出第二列cat a|sed 's/,/ /'|awk '{print $2}'结果：2,3,4,5,6,74,5,6,7,8,95,6,7,8,9,9

2014-12-03 15:44:21 4442

转载 strings in documents must be valid UTF-8: '\xbf\xcd\xbb\

http://windkeepblow.blog.163.com/blog/static/1914883312013988185783/遇到这种问题千万不要用什么 “python编码” “unicode中文编码” “unicode解码”这样的关键字去搜，一大堆网页出来毫不相关。如题，其实我的问题很简单，就是在写爬虫的时候拿到网页的信息包含类似“\u65b0\u6d6a\

2014-12-02 14:14:22 6309 1