- 博客(66)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 如何高效地阅读 Python 代码？
这篇文章讨论了阅读代码的重要性以及一些高效阅读代码的策略。作者指出，阅读代码需要不同于编写代码的技能，并且认为相信自己可以轻松地阅读发布的解决方案是一个常见的误解。文章提供了一个练习的代码库，并展示了一些阅读代码的策略，如忽略函数定义和简化重复的代码块。作者还强调了使用IDE（集成开发环境）来帮助快速识别和关注代码的重要性。最后，文章提到了编写可读的代码以及学习阅读其他人的代码和第三方库的重要性。当通读一个新的代码库时，最好的策略之一是忽略函数定义。
2023-08-09 15:54:44
244
翻译 《Write-Ahead Log》中文翻译
注：文章来自于Write-Ahead Log，作者是在Thoughtworks工作的Martin Fowler。文章主要写了「预写日志」这一在现代分布式数据库中的常用技术。预写日志通过将每个状态更改以命令的形式持久化到日志中，而无需将数据结构刷新到磁盘，来提供持久性保证。也就是：操作日志。问题即时在存储数据的服务器出故障的情况下，也需要数据强完整性的保证。一旦服务器同意执行一个操作，他就应该能执行下去，就算服务器失败重启，丢失所有的内存信心。解决方案Figure 1: W..
2021-12-05 18:26:12
252
翻译 写给非设计师的基本设计原则
原文https://www.freecodecamp.org/news/fundamental-design-principles-for-non-designers-ad34c30caa7/这是为所有支付不起专业设计师费用的内容创作者准备的，也是为团队中的非设计师准备的，在团队中，设计师总是忙得不可开交。如果你能遵循这些简单的步骤，我保证你的设计会看起来更好。这个列表是多年来观察我的非...
2019-06-26 20:49:07
413
翻译 Python 3 中你可能没用过但很有用的特性
翻译自: https://datawhatnow.com/things-you-are-probably-not-using-in-python-3-but-should/由于python 2 的停止支持(Python EOL), 许多人开始将他们的Python版本从2切换到3. 但是我发现很多 Python 3 代码仍然像 Python 2. 下面，我展示了一些你只能在 Python 3 中使...
2019-06-16 17:41:43
538
原创 Alfred workflow 开发指南
小帽子alfred是mac上最为传奇的效率作品， 今天，我们一起来探索alfred workflow 的世界吧!1. alfred 简介小帽子是 Mac 平台上最为传奇的效率作品，誉为神兵利器毫不为过。由于中文网络上尚无系统的alfred workflow 开发教程，便有了写一个教程的心思，以期抛砖引玉，为alfred吸引更多的开发者加入。2.alfred 插件开发2.1 al...
2018-11-12 16:30:53
2912
转载 简历小贴士
如无必要，请勿滔滔。简历是简要经历的介绍，内容控制在一页以内。第一印象简历格式使用 PDF 格式，而不是 Word简历命名姓名 - 职位 - 工作年限 - 学历.pdf 比如：庭勃士 - 编辑 - 应届本科.pdf 邮件主题也应如此填写基本资料姓名不用加拼音，除非生僻字性别有些时候，单从姓名，难辨雌雄年龄直接写年龄，而不是出生年份手机用空格「夹...
2018-11-12 09:33:44
329
原创 Java 开发只言片语
在这个文章里记录下 Java 开发中的技巧和规范.1. java中字符串与变量拼接的问题解决(Java - Including variables within strings?)stackoverflow链接
2018-01-06 18:15:35
333
原创 Git四个区五个状态以及之间的变换
参考: http://imtuzi.com/post/git-four-areas-five-states.html
2017-12-12 19:37:54
1155
原创 神策数据分析之一-名词解释
行为分析常用名词来源维度 Dimensions维度描述得是一个事物身上所具备的特征或属性。比如一个人属于什么性别，生活在哪个城市，喜欢什么颜色，这些都是这个人身上所具备的属性特征。而在网站分析领域，维度往往用来描述和分析指标，比如单一的访问数指标并不能告诉你太多信息，一旦加上来源这个维度，就马上变得有意义了。转化率任何产品都需要关注的核心指标，主要用来衡量用户从流量到发生实际目标转化的能力。一般用目
2017-10-10 16:44:05
3160
3
原创 <神策数据>分析
前一段时间工作比较忙乱，疏于思考和整理，最近工作上需要对神策数据进行一些分析，借此机会将自己对神策产品的思考记录在此 (主要是观察其提供的指标并考虑实现它们的算法)。链接： https://www.sensorsdata.cn/manual/目录名词解释事件分析漏斗分析留存分析分布分析用户路径分析用户行为序列点击分析用户分群用户属性分析书签和数据概览自定义查询元数据管理埋
2017-10-10 15:40:19
1494
转载 What little habits made you a better software engineer?
Quora上看到的一个回答, 认为记工作日志是一个好工程师最需要的习惯. https://www.quora.com/What-little-habits-made-you-a-better-software-engineer/answer/Chris-Nash-10?srid=oYUuI will share the most important habit I develo
2017-09-28 09:14:07
369
原创 从零搭建基于sbt和IDEA的远程spark调试工程
接着之前文章 sbt 以及 IDEA sbt 插件安装配置教程 我们可以利用sbt和IDEA搭建一套可以远程调用spark的scala项目. 本文就详细的介绍一下方法和其中的各种坑.前置条件0. hosts添加地址映射 在 C:\Windows\System32\drivers\etc\hosts 文件中添加 Spark集群的相关ip和机器名, 如下示例:192.168.4.225 hadoop
2017-06-28 16:55:44
1800
原创 sbt 以及 IDEA sbt 插件安装配置教程
1. 在Windows中安装sbt下载官网: http://www.scala-sbt.org/ github: https://github.com/sbt/sbt/releases/download/v0.13.15/sbt-0.13.15.msi (官网的地址好像下到一半就失败.)安装1) 安装 sbt-0.13.15.msi, 注意安装路径不要有中文或者空格, 最好放到根目录下如:D:\
2017-06-21 13:10:30
13256
原创 Spark 解决 某商品日交易额统计
题目来源: 实验楼在实验楼上看到这么一个题目, 感觉挺有意思的, 考察了 在实验楼上看到这么一个题目, 感觉挺有意思的, 考察了 dataframe 的一些基本用法(**创建和汇聚**).
2017-06-20 10:59:43
2137
原创 判断某个IP是公共IP还是保留IP
工作中遇到一个需求, 需要判断所给IP是否是公共IP, 而不是保留IP. 本以为所谓的保留IP也就是 几类ip中的一段IP段: A类 10.0.0.0–10.255.255.255 B类 172.16.0.0–172.31.255.255 C类192.168.0.0–192.168.255.255网上大多也是这么写的. 但深究之下, 发现远没有这么简单, 下面是我搜集的所有保留ip
2017-06-12 14:50:14
4312
翻译 Python 10 个最好的特性
翻译自Quora, 读来比较有趣, 文中列举的十个特性基本都算语法糖一类的东西, 从中可以窥见 python 的设计理念. 而且, 很有趣的是, 我发现这些特性, Scala 里也基本都有的~~其他几个答案也不错, 原文见这里: What are the 10 best features of Python?特性1: 反转字符串>>> a = "codementor">>> print "Rev
2017-06-10 12:18:58
5217
原创 两个IDEA插件推荐 - 翻译Translation,log高亮Grep Console
最近搜罗了几个IDEA上的插件, 感觉不错, 现记录下来:1. 翻译插件 Translation在IDE - Settings - Plugins - Browse repositories 中搜索 Translation 并安装, 安装后使用非常简单, 右键选择对应菜单项即可: 我一般用他两个功能: - 翻译, 就是中英翻译, 可以当词典用 - 翻译替换, 就是将原文直接翻译替换, 用来帮
2017-05-11 10:33:01
58328
7
原创 Java对文件的读写和处理
对文件处理的java.io.File 以及对内容读取的 java.io.BufferedReader, 虽然了解, 但到具体操作时候其实还需要搜索, 借着工作中的一个需求, 现整理一下.需求:读取某文件夹下所有以log结尾的文件, 并对每一个文件的每一行进行处理, 文件处理完成后移动到另一个文件夹中.代码1.列出目录下以.log结尾(或者其他结尾)的文件 public static List<
2017-05-10 10:46:34
2449
转载 AlphaGo 超快棋遍虐人类高手（职业棋手讲解及大量网友评论）
转载：AlphaGo 超快棋遍虐人类高手（职业棋手讲解及大量网友评论）文章目录★Master 的60局★对 Master 身份的猜测★职业围棋高手对 AI 棋力的点评★网友对 AI 棋力的点评★职业棋手谈 AlphaGO 的让子棋★网友谈 AlphaGO 的让子棋★聂卫平：神秘高手 Master 颠覆了围棋传统，更证明了藤泽秀行那句话★网友点评“颠覆
2017-01-09 00:01:23
11159
转载 Spark资源配置（核数与内存）
关于所在节点核数怎么看？======================================================================# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数cat /proc/cpuinfo| grep "p
2017-01-04 16:23:34
14087
转载 Spark集群中使用spark-submit提交jar任务包实战经验
转载:蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NEThttp://blog.csdn.net/cafuc46wingw/article/details/45043941一、所遇问题 由于在IDEA下可以方便快捷地运行
2017-01-03 23:22:17
48488
2
原创 python3爬取<盘龙>英文版(wuxiaworld.com)
闲来无事, 不, 其实我事很多. 但是看到一个好玩的东西就手痒了. www.wuxiaworld.com 国外的中文奇幻小说翻译网站在这个网站上, 我看过且发誓以后再也不会看的 盘龙 赫然在目…思索良久, 本着学习英语, 天天向上的态度, 我决定把它下载下来, 好好把玩一番.但是, 这个网站是不提供下载的, 而且是每一章一个网页. 八百多章, 科科… 于是决定写个爬虫爬下来, 分析一下盘
2016-12-20 20:45:05
8632
原创 TD-IDF在spark中的使用(ml方式)
上一篇 文章提到了TD-IDF的原理和大致使用方式, 现在我写了一个比较完整的例子来展示一下, 该例子包含了数据导入(为了统一, 将文件导入了数据库),处理, 以及结果导出功能.import org.apache.spark.mllib.linalg.Vectorimport com.zte.bigdata.vmax.machinelearning.common.{LogSupport, Crea
2016-12-20 10:56:34
4082
3
原创 TF-IDF原理及使用
一. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率). 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。上述引用总结就
2016-12-18 17:03:50
160510
11
翻译 Spark RDD 到 LabelPoint的转换(包含构造临时数据的方法)
题目: 将数据的某个特征作为label, 其他特征(或其他某几个特征)作为Feature, 转为LabelPoint参考: http://www.it1352.com/220642.html首先构造数据import scala.util.Random.{setSeed, nextDouble}setSeed(1)case class Record(foo: Double, target: D
2016-12-15 21:00:55
9724
3
原创 scala中反射的简单应用
以下是在scala里利用java api写的反射. 之后会更新scala自己的反射机制// A.scala, 存放被反射的类package aaaclass A{ def fun1(a:String) = print(a) def fun2() = print("fun2") val t = 1}//B.scala,主程序入口object B extends App { va
2016-12-02 14:45:10
7308
原创 tomcat容器启动web应用(sbt和scala环境下)
首先明确, 此方法适用场景: > 只修改前端, 不修改后台, 尤其适用于修改前台时还需要后台数据的情况, 可以减少你频繁的container:start操作和等待(就是替换spray里的jetty).不适用场景: 如果修改后台scala代码的话,需要重新替换jar包,并重启tomcat, 此时不如直接使用container:start ---------
2016-11-30 19:14:01
1577
原创 scala中借贷模式(Loan Pattern)的使用
定义在程序编写中，我们可能经常遇到这样的情况: 打开某个文件, 统计其中记录条数, 关闭该文件打开数据库, 读取信息, 关闭数据库这种模式都可以归纳为: 打开冰箱(获取某种资源) 把鸡蛋放进去, 把牛奶取出来等等…(操纵资源) 关闭冰箱 (关闭资源) 对于这种模式, 我们就可以使用”借贷”模式.借贷模式是一种控制抽象函数(control-abstraction func
2016-11-20 21:57:05
905
原创 Spark大数据比赛经验记录(含sparksubmit 提交方法)
十月底, 参加了公司的一个spark大数据比赛, 题目比较简单, 但是由于自己缺乏此方面的业务知识, 所以对我来说解答的过程还是很有收获的 , 现在记录如下: 题目 数据表: CREATE EXTERNAL TABLE fact_ipp_flux_limit( clttime timestamp, clttimeint bigint,
2016-11-16 16:14:22
4299
2
转载 狼与哈士奇
狼与哈士奇 狼是自然界中真正的掠食者，而哈士奇不过是人类的玩物。两者长得确实很像，就如同IT界的Programmer和Coder。如果用狼和哈士奇来隐喻这两种职业，Programmer无疑是软件业真正的狼。一 “哈士奇”的习性他们写出机器可以理解的代码。 他们的代码依靠注释读懂。 他们只在工作时间写代码。 他们不喜欢看书，但偶尔会看看视频。 他们只会阅读别人的博客，自己从来不写。 他们关
2016-10-08 19:44:05
578
翻译 Spark中的错误处理
从网路冷眼的微博上看到这一篇文: Try again, Apache Spark!, 主要解释了为何Spark的函数式和异步使得错误处理过程更加复杂,读罢受益匪浅,简单翻译并加入自己的见解, 分享一下.1. 典型错误处理在很多语言中, exceptions用来标识程序的异常行为.如果你需要单独处理一类异常,你将要用到try-catch语句来包裹引起异常的语句.try{ someMethod
2016-09-30 15:24:59
9501
1
原创 spark-shell运行spark任务参数设置
之前初学spark用spark-shell执行小程序的时候, 每次执行action操作(比如count,collect或者println),都会报错: WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are regist
2016-09-23 11:02:02
20521
原创 python转txt到xml并编译为exe
最近要整理一个小项目: 把机器学习各个算法用到的参数都提取出来, 并在前台显示. 对于此要求来说, 使用xml文档存储参数最好不过了, 后台可以轻松读取xml并转为相应对象类型.但是, 直接手写xml是很费劲的, 于是写了一个小程序将简单的txt转为xml,顺便把该程序转为exe 供没有安装python的人使用.txt格式 参数名1, 默认值1, 描述1 参数名2, 默认值2, 描述2生
2016-09-22 14:22:28
1862
原创 贝叶斯以及朴素贝叶斯
先给出贝叶斯公式: P(A|B)=P(A)⋅P(B|A)P(B)P(A|B)=P(A)·\frac{P(B|A)}{P(B)} 对此公式, 我们可以这么定义: 后验概率=先验概率⋅似然函数标准化常量后验概率=先验概率·\frac{似然函数}{标准化常量} 则这个公式的解释就是: 先预估一个 “先验概率”(就是实验之前的概率), 然后加入实验结果(就是训练),看这个实验是增强还是削弱了这个
2016-09-12 18:14:51
445
原创 前后端分离那些事
项目使用spray作为web框架, 该框架集成了jetty web容器, 在前后台开发调试的时候, 经常要container:start, container:stop. 不仅仅是代码, 我们还要将自己大脑的思维从前台切到后台,从后台切到前台. 而我一直认为: 人无法在两种思维模式下进行高效切换. 所以, 看起来全栈是有意思的, 但开发中的痛苦旁人也是无法体会到的. 从我个人的角度, 即使在全栈的开
2016-08-21 16:55:06
1415
原创 Ubuntu环境变量设置
一、临时设置export PATH=/home/yan/share/usr/local/arm/3.4.1/bin:$PATH二、当前用户的全局设置打开~/.bashrc，添加行： export PATH=/home/yan/share/usr/local/arm/3.4.1/bin:$PATH 使生效: source .bashrc三、所有用户的全局设置$ vim /etc/profile
2016-08-16 11:27:27
543
原创 Browsersync(浏览器同步测试工具)配置教程
最近在开发前端,要不断查看html或js的更改效果,于是找到了这一款工具,可以自动刷新,免除了不断F5的痛苦^_^.配置教程:1. 安装Node.jsBrowserSync是基于Node.js的,是Node模块2. 安装BrowserSync从Node.js的包管理(NPM)库中下载BrowserSync (-g是全局安装,即可在任何目录中使用) npm install -g browser-
2016-07-19 10:26:42
6203
原创 JS实现xml和json(也可看做对象)互转
最近有个前端的需求: 解析后台xml, 并添加删除和修改, 然后传给后台, 思来想去, 最简单的办法就是利用xml和对象互转, 即从后台读取xml传到前台并形成表格(已有代码,或者用对象生成表格), 前台可编辑表格(包括添加,删除),提交时将表格数据存入对象中, 转为json, 再转为xml,最后以字符串形式传给后台写入文件.逻辑图:Created with Raphaël 2.1.0后台后台前台前
2016-07-14 23:02:41
6563
2
转载 Java调用Telnet(windows版和Linux版)
Telnet可以跨平台调用命令, 在服务器是不同系统时候非常好用. 但是在telnet服务器是linux或者windows时候, 客户端java代码略有不同,现在列出来:服务器为Windows版本时import java.io.IOException; import java.io.InputStream; import java.io.PrintStream; import java.
2016-07-12 17:17:28
4317
1
完全用Linux工作
2012-11-10
程序员羊皮卷.pdf
2010-11-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人