hubingfeng0803-CSDN博客

原创 Spark Master 如何分配集群资源？

本文以Spark 1.6 源码为例，解读Spark Master 如何分配集群资源。每次Master receive到Worker发送Register worker 消息请求、Client 发送Register driver 请求、和 Register Application和LaunchExecutor等请求、还有结束释放driver和Executor等都会对集群资源进行再分配，那么Master

2016-11-17 22:07:41 2603

原创 spark 运行log cluster 模式

[root@TMAXSPARK bin]# ./spark-submit --class Boot --master spark://TMAXSPARK:7077 --executor-memory 10g --total-executor-cores 10 /home/beijixing/hbf/sparktest_2.10-1.0.jar2016-06-29 14:38:22,131 IN

2016-06-30 19:21:41 976

原创 VMvare上虚拟机和主机 ssh 连不上的解决方案

vmvare 上的主机经常因为配置错误或者主机系统和虚拟机系统升级等问题导致互相ssh 连不上，一下是笔者的解决方法的思路：1. 进入主机和虚拟机上查看ip地址，检查是否分配正常的ip地址，window 查看ip 命令：ipconfig/all，linux查看ip命令：ifconfig。如果都分配了正常的IP地址，则跳入第2步。2. 检查vmvare中虚拟机的连接方式为哪一种，如果是NAT

2016-05-04 20:15:30 20988 2

原创 UTF-8,GBK,Big5,ASCII

常见字符编码字符集：字符比如各国文字符号，字母，特殊符号等等的集合。编码：规定每个字符分别用一个字节，还是多个字节，字节顺序等来表示一个字符。1. ASCII码美国在60年代制定的一套字符编码，用单字节(8位)表示一个字符，后使用7 位二进制数来表示所有的大写和小写字母，数字0 到9、标点符号，以及在美式英语中使用的特殊控制字符，总共能表示128个字符。各国有各种各样的语言

2015-07-16 15:03:04 1629

原创 Scala的安装问题

Scala的二进制代码都是在ＪＶＭ上运行，所以安装ｊｒｅ就不说了。1. 安装Scala解释器。安装好了ｊｒｅ，后就安装ｓｃａｌａ开发工具Ｓｃａｌａ代码解释器，到官方下载http://www.scala-lang.org/download/，我选择是Scala 2.11.6版本。安装改版本设置路径。SCALA_HOME设置为Scala 2.11.6安装目录，然后将目录下的bin目录加入到系统Pa

2015-05-14 15:31:26 564

原创关于win7 出现两个本地连接不能上网的问题？

今晚打开电脑就发现连不上dr.com客户端软件了，刚开始还以为是网线没有接好，然后网络和共享中心可以看到网络有局域网IP地址，网络连接没有问题。在然后发现出现两个本地连接，原来问题出来两个本地连接的问题上，导致dr.com 不知道通过哪个连上外网。然后就在网上疯狂的查找解决方法，大部分解决方法是禁用一个连接，但是这两个连接本质是同一个适配器，所以禁用的方法不行。突然发现禁用网卡，然后恢复使用，

2015-04-20 23:41:32 5116

原创 Linux环境下编写静态和动态链接库

在实际的项目开发过程中，我们会经常碰见上下文中重复率较高的代码（函数或者功能模块等）。这样就会是整个程序代码显得十分臃肿，维护起来困难，而且可扩展性不强。为此，我们将重复性强的代码独立出来，并编译为特定的文件，让主程序是需要使用的地方调用，这种文件就成为动态链接库文件和静态链接库文件。有了这些文件能使项目中通用代码模块化，和主程序代码解耦；同时也使通用代码的复用性高，开发高效。程序调用静态链接

2014-11-04 19:23:59 746

原创阿里2015校园招聘广州站面试经历

2014年9月16号参加阿里在广州举行的校园招聘，最后止步于一面！早上从深圳出发，由于没有参加过什么招聘，没有经验，我居然穿了短牛仔去“天泰旅行社”买票，后来看到一同前往的参加招聘面试的同学都穿的正式，我就跑回寝室换了条裤子，中途大雨倾盆（刚好16号台风），加上同往的同学又在催，我就急忙赶回“天泰旅行社”坐车。到了坐车的地方，车几乎要走了，幸好赶上了。中午到了广州，华工吃了顿食

2014-09-17 13:14:17 820