lifeiaidajia-CSDN博客

原创 mac上修改文件的显示与隐藏隐藏文件文件属性

显示所有隐藏文件的方法：terminal中输入：defaults write com.apple.finder AppleShowAllFiles -bool true同理，再次隐藏就输入：defaults write com.apple.finder AppleShowAllFiles -bool false注意：以上方法仅仅是显示，没有修改过

2015-05-17 19:17:38 10353

原创 centos 安装 redis3.0.0 集群

这里创建6个redis节点，其中三个为主节点，三个为从节点。redis和端口对应关系：127.0.0.1:7000127.0.0.1:7001127.0.0.1:7002从：127.0.0.1:7003127.0.0.1:7004127.0.0.1:7005步骤：1,下载redis。官网下载3.0.0版本，之前几的版本不支持集群模式

2015-04-29 19:16:26 18020 9

转载 SecureCRT for Mac密码不能保存解决方法

安装完SecureCRT for Mac之后，会发现保存密码的功能是不能使用的，这是为什么呢，这个这么方便的功能居然不能使用。其实这是因为SecureCRT默认设置为使用Mac OS自带的“钥匙串访问[Keychain]”来保存密码，只要取消掉这个选项就能用SecureCRT自己的保存密码功能了，至于如何用钥匙串访问来保存密码我也还不知道呢【取消这个选项的方式，请打开SecureC

2015-03-18 17:56:48 1407

原创 pip 直接安装tar.gz zip文件包 (windows linux mac 可用)

在不能连接外网的机器上安装python的各种包，解压安装要人工输入多条命令：tar -zxvf Flask-WTF-0.10.0.tar.gzcd Flask-WTF-0.10python setup.py buildpython setup.py install如果安装了pip，直接使用：pip install Flask-WTF-0.10.0.tar.gz安装就行了。

2014-08-26 10:22:39 62817 1

转载转：python_文本文件里面随机抽取若干行，写入新的文本文件里面

转：#encoding=utf-8import randomfrom sets import Set def copyfile(srcfile, dstfile, linenum): """ get linenum different lines out from srcfile at random and wri

2014-03-26 16:13:44 4956

转载必须转一个：为什么 Android 的机器主频和核心数比 iPhone 高，却没有更流畅？

为什么 Android 的机器主频和核心数比 iPhone 高，却没有更流畅？以 Nexus 5 和 iPhone 5s 为例，部分硬件对比如下:CPU:Nexus 5 ：Krait 400架构 2.3GHziPhone5S : Cyclone 架构 1.3GHzGPU:Nexus 5 ：Adreno 330iPhone5S : PowerVR 6430

2014-02-28 20:48:19 1762

转载 Python程序员必知必会的开发者工具

http://www.oschina.net/news/48645/python-developer-tools?from=20140216Python已经演化出了一个广泛的生态系统，该生态系统能够让Python程序员的生活变得更加简单，减少他们重复造轮的工作。同样的理念也适用于工具开发者的工作，即便他们开发出的工具并没有出现在最终的程序中。本文将介绍Python程序员必知必会

2014-02-18 09:25:59 1814

作为一个开发者你不可能没听说过SublimeText。不过你没听说过也没关系，下面让你明白。 SublimeText是一款非常精巧的文本编辑器，适合编写代码、做笔记、写文章。它用户界面十分整洁，功能非同凡响，性能快得出奇。这些非常棒的特性包括任意跳转（Goto Anything）、多重选择（multiple selections）、指令面板（command palette）、免打扰模式（distr

2014-02-18 09:20:29 8939

原创机器学习中的语言比较：R、OCTAVE、Python比较

对三种语言进行了一个基本的比较，直接翻译主要表格：项 R Ocatave Python不需要非常高深的编程能力 YesYes Yes入门简单 NoYes Yes适合处理大量数据 NoNo Yes适合算法开发 Yes Yes Yes可视化方面做得好 YesYes NO附上原图：文章

2014-01-20 22:40:39 16076

原创 awk 文件a中包含的文件b的某列

如：awk -F'\t' 'ARGIND==1{arra[$1]}ARGIND>1{if ($1 in arra) ; else nomatch[$1]++ } END{for(i in nomatch) print i}' 4.matched 4.match >4.nomatched在4.match中存在却不在4.matched中存在的去重后输出到4.nomatched，这里只用

2013-12-30 12:23:43 2572

原创给mrjob的python脚本加map reduce 个数限制和 hadoop任务调度优先级

如：python ${ReportDailyPyFile} ${pystr} --jobconf mapreduce.job.priority=VERY_HIGH --jobconf mapred.map.tasks=20 --jobconf mapred.reduce.tasks=5>> ${sequencelog} 2>&1hadoop任务调度优先级：--job

2013-12-30 11:42:30 3063

转载 hive性能优化

一、join优化Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个ma

2013-12-17 11:48:18 1473

转载不是吓唬你，工程师不知道谷歌的深度学习系统在想什么

PS:谷歌的猫试验，语音识别和音频识别的错误率大幅的降低，加上超乎工程师能理解的逻辑。深度学习值得我们深入研究。不是吓唬你，工程师不知道谷歌的深度学习系统在想什么原文出处： THEREGISTER 译文出处： EVOLIFE虽然科幻电影描绘人工智能已经到机器能够独立思考的程度，但在现实生活中，受限于硬件设备的处理能力和编程逻辑的复杂性

2013-12-15 11:59:20 1117

转载 “给在读研究生+未来要读研同学们的一封受益匪浅的信”（摘录+整合）

（仅以此文使自己进步，时时规范自己的行为。谦虚使人进步，骄傲使人落后。）当你上课感觉就像打酱油时，当你对研究生很迷茫时，当你坐在电脑前孜孜不倦时，请看下面的文章，很受用，至少我心里现在没有以前浮躁。好的文章有时能改变一个人的精神状态，下面就是其中之一。上海大学一位老师说：“不可否认的是，研究生面临着比较大的生存压力，但是要平衡自己的方向，在没有生存威胁的情况下，要专注于学习。

2013-11-26 13:51:40 11864 3

原创《大话设计模式》Python版代码实现

原文地址：http://www.cnblogs.com/wuyuegb2312/archive/2013/04/09/3008320.html使用Python版本为2.6。　　配图同样摘自《大话设计模式》，因此是C#风格的UML类图，为了便于排版已经缩小了。　　一、简单工厂模式模式特点：工厂根据条件产生不同功能的类。程序实例：四则运算

2013-11-16 13:04:46 3261

原创 python hadoop 在streaming中获取文件名的方法（参考java ）适用： MRjob

在hadoop的开发中，经常要根据streaming中不同的文件名做不同的处理，需要获取文件名。1，hadoop上在java开发可用：FileSplit fileSplit = (FileSplit)reporter.getInputSplit();String fileName = fileSplit.getPath().getName();来获取文件名称。,2

2013-11-06 11:46:32 7653

原创 Mrjob介绍 (hadoop with python)

什么是mrjob一个通过hadoop、emr的mapreduce编程接口（streamming），扩展出来的一个python的编程框架。安装先安装python 2.5+版本（对应0.4）线上目前版本：python 2.6.8调度机安装mrjob即可：http://pythonhosted.org/mrjob/guides/quickstart.html 具体安装方法

2013-11-04 11:19:02 7921

原创 note express 安装报错 win7 debug

For security purposes, this program will not run while system debuggers are active. Please remove or disable the system debugger before trying to run this program again.win7安装note express 2.

2013-10-26 21:32:27 4970 1

转载 NoteExpress和Endnote文献管理软件使用的比较

1．文献的发现、组织、管理功能在这一点，NoteExpress和Endnote功能比较相近，也都可通过三种途径（手动导入、联机检索导入、检索结果生成文件导入）来导入参考文献；也都可对本地文献库的进行检索、查重、编辑；A：在此功能上，NoteExpress软件的优点有：1) 全中文界面，用户较容易学习入门；2) NoteExpress支持在同一个参考文献数据库中建立目录，按照目录管理参考文

2013-10-26 19:34:41 15090

原创 Python队列服务 Python RQ Functions from the main module cannot be processed by workers.

在使用Python队列服务 Python RQ 时候的报错：Functions from the __main__ module cannot be processed by workers.原因： work 不能和job放在同一模块中，否则程序会报错解决：把使用rq的代码文件job.py中的task_queue.enqueue(count_

2013-10-09 12:12:58 2775

原创 LINUX 命令行编辑

向＜－前后 -＞删除ctrl + d 删除光标所在位置上的字符相当于VIM里x或者dlctrl + h 删除光标所在位置前的字符相当于VIM里hx或者dhctrl + k 删除光标后面所有字符相当于VIM里d shift+$ctrl + u 删除光标前面所有字符相当于V

2013-09-11 13:41:18 1390

原创安装html5转化为pdf的python库pisa 安装matplotlab把数据转化为图形的python库

安装html5转化为pdf的python库pisa1,先安装python2.7.32，再安装piphttps://raw.github.com/pypa/pip/master/contrib/get-pip.py$ python get-pip.py3，安装依赖库和xhtml2pdfpip install reportlabpip install html5libp

2013-09-01 15:46:19 3006

转载免费api

天气接口　　气象局接口　　完整数据：http://m.weather.com.cn/data/101010100.html 解析用例　　当天数据：http://www.weather.com.cn/data/cityinfo/101010100.html　　实时数据：http://www.weather.com.cn/data/sk/101010100.html

2013-07-24 16:31:26 1015

转载 PIG LATIN分析报告

Pig Latin分析报告Pig Latin简介对海量数据的按需分析处理需求不断增加，尤其是对于因特网公司，它们的技术革新主要依赖于对每天收集的数据的分析处理能力。要提高如此巨大数据集的存储和分析效率，必须采用高度并行的系统，例如：shared-nothing cluster。并行数据库产品，如：Teradata 提供了一种解决方案，但是这种方案的web规模扩展开销太大，性价比不高

2013-07-17 15:19:35 3543

原创 HttpServletRequest之getParameter

HttpServletRequest的getParameter（）方法内的参数就是jsp中所定义的name的值，比如常常在login.jsp中，索引号引起来的"username"和password"就是getParameter（）的参数，getParameter（"username"）；

2013-05-24 14:25:55 4908

原创 Eclipse制作jar包

介绍一下使用Eclipse制作jar包的过程吧：1. 首先在Eclipse中打开项目，右键点击项目，选择“Export”；2. 选择Java/JAR file，Next；3. Select the resources to export中可以选择你想要包含的项目文件夹，一些不必要的文件夹就无需放进去了，免得增大空间；这里有几个选项：

2013-05-07 16:42:33 1373

原创 Java 实时运算簿页面

java实时运算簿页面(Java Scrapbook Page) 写程序时可能会些其它的想法，但不知是否可行：多数情况是直接写到程序再来 debug，或是另外写各小程序。Eclipse 提供一种轻巧的替代方式，Java 实时运算簿页面(Java Scrapbook Page)，藉由渐进式编译，1，可以在实时运算簿写入任意的 Java程序代码并执行，不需另写在类别或方法中。 I. 切

2013-05-07 15:38:20 1052

原创 RCP Eclipse

简介RCP,Rich Client Platform,富客户机平台Rich Client是一个相对的概念，主要是针对时下广泛的基于WEB的应用，因为这种客户端（也即现有的各种浏览器）的运行环境没有提供一个很好的组件模型和交互模型致使这种应用的界面的同服务之间的交互变得很奇怪，每一次交互都需要重新组织出整个界面，而这个界面的组织基本在服务器端完成，也所以致使表现层的逻辑居于服务器端，

2013-05-07 14:54:05 1404

原创转载：周航：与其失望不如创新

今年春节有一个特别的话题，许多人拜年不再发短信，而是改发微信了。一个“群发助手”几乎没有成本，比起一毛钱一条的短信，还得费劲巴拉地一条条发，不知爽了多少。说实话，微信给运营商留着面子呢，那个多人实时语音对讲功能，开放2人权限不就是电话嘛，连电话号码都不用了。有人操心地给三大运营商算了算账，说一个小小微信就快温水煮了三大垄断巨头，少赚了XX亿，以后甚至还要少赚XXX亿，搞不好哪天甚至经营困难，乃至破

2013-04-07 12:54:59 902

原创 pig Latin 开发环境工具 eclipse

1，安装eclipse2，从http://code.google.com/p/pig-eclipse/downloads/list 下载org.apache.pig.contrib.eclipse_1.0.0.jar，拷贝到eclipse的plugins文件夹3，启动eclipse，新建文件时后缀名为.pigok,出现这个图标说明安装成功。

2013-03-28 16:49:33 2565

原创 awk 替换匹配

原文：http://liveforlinux.blog.51cto.com/3337218/741865[root@localhost test]# cat awk1a 9,100.341b 1,999.001c 5,656.55[root@localhost test]# awk '{sub(/1/,"test")}{print "\n",$1,$2}' awk

2013-03-28 15:06:34 1534

原创 Hadoop的Python框架指南

转载，原文地址：http://www.oschina.net/translate/a-guide-to-python-frameworks-for-hadoopHadoop的Python框架指南最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但Apache

2013-03-12 13:29:23 5426

转载如何打造合作型团队——阿里内贸团队敏捷实践

本文中，来自阿里内贸团队的工程师分享了所在团队打造合作型“精英”小团队的敏捷实践方法，同时讲述了实践的效果，旨在给大家一些启发，以供参考和借鉴。能打造出Facebook里所提倡的“精英团队”固然非常好，但这样会对团队中的每位成员都有较高的要求。我所在的团队希望通过将团队合作精神运用在项目的各个阶段来打造出一支强有力的合作型小团队，并且取得了很不错的战绩：每两周发布一个版本，完成了几次

2013-03-06 09:38:19 937

转载 Shell 条件测试

参考shell条件测试请问替代test语句的单中括号和双中括号表达式的区别分类参考文件状态测试-b filename当filename 存在并且是块文件时返回真(返回0)-c filename当filename 存在并且是字符文件时返回真-d pathname当pathname 存在并且是一个目录时返回

2013-03-05 10:51:04 715

原创把换行符换为制表符 shell awk

cat filename.log | awk '{printf $0"\t"}'

2013-03-04 17:50:18 8201

原创 ubuntu 10.04下安装arm交叉编译器

1.先将arm-linux-gcc-4.3.2.tgz的安装包复制到ubuntu10.04任意目录中。用sudo tar -zxvf arm-linux-gcc- 4.3.2.tgz -C /home解压到home目录下。2.安装标准C开发环境，sudo apt-get install build-essential libncurses5-dev3.添加环境变量

2013-03-02 10:10:34 1020

转载 python中xrange和range的异同

range 函数说明：range([start,] stop[, step])，根据start与stop指定的范围以及step设定的步长，生成一个序列。range示例: >>> range(5) [0, 1, 2, 3, 4] >>> range(1,5) [1, 2, 3, 4] >>> range(0,6,2)[0, 2, 4]xrange 函数说明

2013-02-28 12:56:46 716

转载各种sql语句在hadoop pig中的实现

我这里以Mysql 5.1.x为例,Pig的版本是0.8 同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下: tmp_file_1:Txt代码 zhangsan 23 1 lisi 24 1 wangmazi 30 1 meinv

2013-02-20 14:03:48 3531

原创一个python的邮件发送脚本，自动，定时，可以附件发送，抄送，附有说明文件（本脚本是python的2.7.x环境下可用）

PS（2013-03-27）：最近这个脚本用到了公司的另个项目中，才发现有个bug：发件人配置之后，无法起作用。现在查明是 (sendername,senderpass)=getUserAndPass(EMAILHOME+r'/sender.list')应该为 (sendername,senderpass)=getUserAndPass(options.sender)，来让邮件配置起作用。另外本脚

2013-01-21 16:07:08 12380 2

原创培训记录

#############################培训一################################移动搜多技术-抓取遇到的问题1，ua适配2，ip适配3，页面布局不同。4，翻页多，link_depth大5，session化6，url复杂。7，站点稳定性差8，客观数据少；sobar、访问量问题：根据ua和header的

2013-01-15 18:16:19 886

文字版pdf书和源代码：深度学习入门：基于Python的理论与实现

《深度学习入门：基于Python的理论与实现》文字可复制版pdf和源代码作者: [ 日］斋藤康毅出版社: 人民邮电出版社副标题: 基于Python的理论与实现原作名: Deep Learning from Scratch 译者: 陆宇杰出版年: 2018-7 页数: 285 定价: 59.00元装帧: 平装丛书: 图灵程序设计丛书 ISBN: 9787115485588

2019-01-02