步步为赢567-CSDN博客

转载 ddd理解

领域驱动设计最初由Eric Evans提出，但是多年以来一直停留在理念阶段，然后，真正能实现并且落地的项目和公司少之又少，近来，包括阿里在内很多大厂，都在大力推行DDD的设计方法，它主要可以帮助我们解决传统单体式集中架构难以快速响应业务需求落地的问题，并且针对中台和微服务盛行的场景做出指导。DDD为我们提供的是架构设计的方法论，既面向技术也面向业务，从业务的角度来把握设计方案。分而治之：DDD通过规划四重边界，把领域知识做了合理的固化和分层。

2023-05-15 18:52:57 395

转载分布式概述

作者：马超链接：https://www.zhihu.com/question/23645117/answer/124708083来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：@马超Terminal 我的 Phd 研究方向是分布式系统，我老板也是搞分布式系统出身，我们实验室在这方面的积累还算不错，所以借此问题谈谈自己的看法。首先需要说明的

2018-02-02 11:04:29 673

转载 IaaS：基础设施服务，Infrastructure-as-a-service PaaS：平台服务，Platform-as-a-service SaaS：软件服务，Software-as-a-serv

IaaS：基础设施服务，Infrastructure-as-a-servicePaaS：平台服务，Platform-as-a-serviceSaaS：软件服务，Software-as-a-service

2018-02-01 15:21:13 1652

转载 BIO与NIO、AIO的区别(这个容易理解)

http://blog.csdn.net/skiof007/article/details/52873421 IO的方式通常分为几种，同步阻塞的BIO、同步非阻塞的NIO、异步非阻塞的AIO。一、BIO 在JDK1.4出来之前，我们建立网络连接的时候采用BIO模式，需要先在服务端启动一个ServerSocket，然后在客户端启动Socket来对服务端进行通信，默

2018-01-25 19:21:33 406

转载深入理解groupByKey、reduceByKey

下面来看看groupByKey和reduceByKey的区别： val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext(conf) val words = Array("one", "two", "two", "three", "

2018-01-16 11:32:42 1271

转载 Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式

Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式，可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这

2018-01-12 14:04:02 240

转载第三篇：一个Spark推荐系统引擎的实现

https://www.cnblogs.com/muchen/p/6882465.html第三篇：一个Spark推荐系统引擎的实现阅读目录前言第一步：提取有效特征第二步：训练推荐模型第三步：使用ALS推荐模型第四步：物品推荐第五步：推荐效果评估小结回到顶部前言经过2节对MovieLens数据集的学习，想必读者对M

2018-01-04 17:37:54 1276

转载在Tachyon运行Spark应用程序

https://www.iteblog.com/archives/1498.htmlTachyon是什么Tachyon（/'tæki:ˌɒn/ 意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。Tachyon诞生于UC Berkeley的AMPLab，由该实验室的李浩源童鞋初创。2

2018-01-04 14:51:25 417

转载关于Sentry

http://blog.csdn.net/largetalk/article/details/86408541. Sentry介绍及使用Sentry isa realtime event logging and aggregation platform. At its core it specializesin monitoring errors and extracting al

2018-01-03 11:55:39 700

转载 Apache Curator Leader Election

http://blog.csdn.net/collonn/article/details/43968655用于Leader选举，也可以用Shared Reentrant Lock来实现。如果需要集群中的固定的一台机器去做的事，就可以用此特性来实现，直到这台Leader死去，会产生新的Leader。还有一种典型的场景，master-slave模式。也可以用Curator Leader Electio

2018-01-02 16:16:12 264

转载 Spark Streaming与Storm的对比

http://blog.csdn.net/kwu_ganymede/article/details/50296831Spark Streaming与Storm的对比分析一、Spark Streaming与Storm的对比二、Spark Streaming与Storm的优劣分析事实上，Spark Streaming绝对谈不上比Storm优秀。这两个框架在实时计算领域中，都很优秀，只是擅长的细分场景并

2018-01-02 16:01:51 397

转载 Hadoop/Spark相关面试问题总结

http://blog.csdn.net/qq1010885678/article/details/46916857Hadoop/Spark相关面试问题总结面试回来之后把其中比较重要的问题记了下来写了个总结：（答案在后面）1、简答说一下hadoop的map-reduce编程模型2、hadoop的TextInputFormat作用是什么，如何自定义实现3、hadoop和spark的都是并行计算，那

2018-01-02 15:16:48 516 1

转载浅谈对机器学习的理解

http://www.njliaohua.com/lhd_3cxof67mgc175ln25rnx_1.html 浅谈对机器学习的理解人工智能大师西蒙曾说过：“学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。[1]”提到学习，我们很自然地第一个会想起人类，学习是人类所具有的一种十分重要的智能行为，可以说人

2017-12-20 12:13:02 7096

转载人工智能简介

中科院院士张钹简单分析了人工智能发展的两条路径：一是符号主义，即从信息处理的宏观层面去模拟智能；二是连接主义，即从网络介观层面去模拟人类行为。当人工智能的开拓者提出上述方向时，不少人认为不可能，但事实证明这两条路都行得通。“人工智能第一次震撼，是IBM的‘深蓝’程序打赢国际象棋冠军，这是用计算机模拟人类下象棋的理性思考过程，证明了符号主义这一条路走得通。”张钹说。人工智能第

2017-12-09 14:24:06 1337

原创 java设置

运行jar参数设置：java -cp lib/1.jar com.spdv.scheduler.DvScheduler XX:MaxGCPauseMillis=100 -XX:ParallelGCThreads=88 --XX:ConcGCThreads=2 -XX:+UseGlGc -XX:+HeapDumpOnOutofmemoryError -verbose:gc -XX:

2017-12-05 16:51:52 233

原创杀死某类残余进程

ps -ef| grep com.spdb.batch.DbScheduler ｜grep -v grep | awk '{print $2}' |xargs kill -9

2017-12-01 15:35:36 378

转载 Hadoop YARN常见问题以及解决方案

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-problems-vs-solutions/本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。（1）默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务

2017-11-21 11:40:00 1765

转载 Apache Spark Jobs 性能调优（二）

http://blog.csdn.net/wisgood/article/details/51436177原文地址：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/Apache Spark Jobs 性能调优（二）调试资源分配调试并发压

2017-11-08 21:35:25 238

转载 Apache Spark Jobs 性能调优（一）

https://www.zybuluo.com/xiaop1987/note/76737原文地址：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-1/Apache Spark Jobs 性能调优（一）Spark 是如何执行程序的选择正确的 Oper

2017-11-08 21:10:05 290

转载 Spark 1.6 内存管理模型( Unified Memory Management)分析

http://www.jianshu.com/p/b250797b452a2016年1月4号 Spark 1.6 发布。提出了一个新的内存管理模型： Unified Memory Management。这篇文章会详细分析新的内存管理模型，方便大家做调优。前言新的内存模型是在这个Jira提出的，JIRA-10000，对应的设计文档在这：unified-memory-managem

2017-11-08 11:58:44 566

原创 hawq入门

1：高性能吞吐量和低延迟HAWQ的并行处理架构提供了高性能吞吐量和低延迟 - 可能接近实时的查询响应，可以扩展到PB级数据集。在Hadoop本地操作。SQL兼容性利用熟悉的技能实现基于SQL的应用程序和BI /数据可视化工具的更高级别的兼容性。执行复杂的查询和连接，包括汇总和嵌套查询。Hadoop生态系统的可管理性和整合集成和管理与YARN。提供Ambari。

2017-09-12 21:21:48 1110

转载 MPP和HAdoop的关系

massive parallel process与 Hadoop有什么关系，还有之前课上学到过NUMA架构。请大牛解释一下概念和联系！谢谢！先从NUMA说起吧，NUMA全称为Non-Uniform Memory Access，是主流服务服务器为了提高SMP的可扩展性而采用的一种体系结构。主流服务器一般由多个NUMA节点组成，每个NUMA节点是一个SMP结构，一般由多个CPU组成，并且具有

2017-08-24 09:25:33 3267

原创 SparkContext的parallelize的参数

1.解释- 并行集合的创建（RDD）使用已经存在的迭代器或者集合通过调用spark驱动程序提供的parallelize函数来创建并行集合- 并行集合被创建用来在分布式集群上并行计算的。2.例子data = [1, 2, 3, 4, 5]distData = sc.parallelize(data)一旦创建RDD，RDD，就可以在集群上并行的去被操作。我们可以调用di

2017-08-22 15:24:56 14302

转载 flume （日志收集系统）

flume （日志收集系统） Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-

2017-08-21 17:31:38 327

原创 hadoop命令

查看目录所占空间 hadoop dfs -du -h /user整个文件空间使用情况 hadoop dfsadmin -report

2017-08-18 15:26:42 270

转载 hadoop命令 -- job相关

hadoop命令行与job相关的：命令行工具 • 1.查看 Job 信息：hadoop job -list 2.杀掉 Job： hadoop job –kill job_id3.指定路径下查看历史日志汇总：hadoop job -history output-dir 4.作业的更多细节： hadoop job -history all output-dir

2017-08-18 15:00:47 642

原创互联网人员如何成功

1：长期学习，做好准备，实实在进步。(掌握技术，管理，产品技能和行业发展方向)。2：选对风口【人在风口，猪都能飞】3：选对平台(公司)【自己创业时，建立好自己平台】4：选对人(团队)【选好你要用的人，如果有上级，跟对你选的人】

2017-08-18 09:18:04 276

原创和一位创业老板的聊天

一：领导最大的作用：懂战略(什么时间)，懂商业.为什么雷军在2011年创立小米，而不是之前或之后？1：0809年iPhone智能手机问世2：摩托罗拉和诺基亚宣布不适用3：安卓开源你做过的成功的商业？二：关于融资：融资考人脉，靠同学三：管理：大公司学的管理理念在小公司没什么用。（不同意，也许小公司在先前阶段不注重管理，这个阶段是

2017-08-18 09:03:19 845

原创 ck防止黑客修改其他用户数据

ck防止黑客修改其他用户数据（密码，昵称等）1：每次登陆时，生成CK并保存在服务器端（以后每次登陆都能生成新的CK） $userinfo['ck'] = $this->__genenal_ck($user['userid'], $user['nickname'], $user['email'], $user['stat'], $userinfo['ssourl'], $code

2017-08-17 16:03:39 687

转载 Web网站的几个并发量级

评价一个网站的“大小”，处于视角的不同，有很多种衡量的方法，类似文章数，页面数之类的数据非常明显，也没有什么可以争议的。但对于并发来说，争议非常之多，这里就从一个技术的角度开始，谈谈几个Web网站的数量级。相信很多人谈论一个网站的热度，总免不了会询问日均PV，同时在线人数、注册用户数等运营数据，说实话从技术角度来说，这几个数值没有一个可以放在一起比较的——一个静态网站的PV跟一个SNS类/

2017-08-16 15:55:14 5004

原创 java jni 简介

JNI是Java Native Interface的缩写，它提供了若干的API实现了Java和其他语言的通信（主要是C&C++）。JNI原理JVM将JNI接口指针传递给本地方法，本地方法只能在当前线程中访问该接口指针，不能将接口指针传递给其它线程使用。在VM中 JNI接口指针指向的区域用来分配和存储线程本地数据。当Java代码调用本地方法时，VM将JNI接口指针作为参数传递给本地方法，当同

2017-08-16 11:10:41 542

转载 Hadoop 对比 Spark

· 抽象层次低，需要手工编写代码来完成，使用上难以上手。· =>基于RDD的抽象，实数据处理逻辑的代码非常简短。。只提供两个操作，Map和Reduce，表达力欠缺。· =>提供很多转换和动作，很多基本操作如Join，GroupBy已经在RDD转换和动作中实现。一个Job只有Map和Reduce两个阶段（P

2017-08-15 11:29:11 382

原创高效能人士的七个习惯简介

史蒂芬·柯维（Stephen R. Covey），影响人类思想的新智慧学家，美国学界的“思想巨匠”，入选“影响美国历史进程的25位人物”。2002年，福布斯将《高效能人士的七个习惯》评为有史以来最具影响力的10大管理类书籍之一。个人领域的成功：从依赖到独立习惯一：积极主动——个人愿景的原则习惯二：以终为始——自我领导的原则习惯三：要事第一——自我

2017-08-07 17:38:11 1402

原创开屏广告出了问题的处理和部分产品计划

开屏广告 ---出现不良信息 1 流程和惩处 2 每个人对产品质量都应有负责的态度；想着怎么把事情做对做好，而不是仅仅做了。 3 保证产品质量不仅是测试的工作，研发也因该负责。(个人不统一，质量要具体问题具体分析，如果仅仅是相关人员上素材没上对，开发人员是没有责任的；如果开发有延迟，产品质量有问题，那么开发应该有负责;都是测试负责产品质量) 4 产生

2017-08-04 18:02:44 500 1

转载传统架构与分布式架构SOA的比较

传统架构与SOA架构的区别和特点：传统架构：存在问题：1.模块之间耦合度太高，其中一个升级其他都得升级 2.开发困难，各个团队开发最后都要整合一起 3.系统的扩展性差 4.不能灵活的进行分布式部署SOA:分布式系统架构--SOA服务体系架构分布式架构：（SOA:面向服务的体系结

2017-08-03 14:32:32 680

转载说一下我对Mvvm模式的理解

说一下我对Mvvm模式的理解使用WPF+Mvvm开发一年多，期间由于对Mvvm模式的理解不足，遇到了很多问题，也绕了很多弯子；网上提供的Mvvm的示例比较简单，实际项目中的需求也各种各样。不过经过几个项目，也有了一些对Mvvm模式的理解：1. Mvvm是什么，Mvvm是怎么来的？Mvvm模式广泛应用在WPF项目开发中，使用此模式可以把UI和业务逻辑分离开，使UI设计人员

2017-08-03 11:59:17 1445

转载管理的封闭原理

是指任一系统内的管理手段必须构成一个连续封闭的回路，才能形成有效的管理运动，自如地进行管理。一个管理系统可以分解为指挥中心，执行机构、监督机构和反馈机构。管理的封闭回路是指：指挥中心是司令部，管理的起点是由指挥中心发出指令。指令一方面通过执行机构，同时又发向监督机构，监督执行的情况。指令执行效果输入反馈机构。反馈机构对信息处理，比较效果与指令的差距后，返回指挥中心，便可根据情况发出新的指令。

2017-07-28 20:17:39 1764

原创网站打开速度慢的原因

首先要做的是：ping命令看连接到服务器的时间和丢包情况；DNS解析情况；路由稳定情况；服务器响应情况。前端常见错误：你用了很多JavaScript的特效（如果网站中有统计代码，在线客服或是其它js代码，看看是否放到了网页代码的最后面。）你在页面上用了未经处理的大的图片过多地引用了其他网站的内容你的站上可能有错误的代码。将错误代码找出来改正吧!不合理的网页页布局造成

2017-07-28 17:56:21 1432

转载网站打开速度慢的原因分析及对策

网站打开速度慢的原因分析及对策原因一、你用了很多javascript的特效。例如鼠标的特效啊、页面上的栏目的特效啊、状态栏的特效啊，等等。这些特效的原理是先由服务器下载到你本地的机器，然后在你本地机器上运行产生，然后你才能看到的。特效做的多了，在你本地机器上就要运行大半天才能全部完成，而如果你的机器配置一般的话，那就更慢了，即使全部特效都运行完成了，你的页面使用起来也会很不舒服。　　j

2017-07-28 17:37:48 712

转载网站打开速度慢的原因，排查方法及优化方法（大全）

如果你的网站打开速度过慢，而你又不知道该如何解决，那么这篇文章是非看不可了。手把手的教你如何排查网站打开慢的原因，以及优化方法。排查网站打开速度慢的原因：1 网站服务器速度或租用空间所在服务器速度服务器空间速度是网站打开速度快的硬件基础，也是先决条件。否则即使你网站页面设计的非常"苗条"，网站打开速度也会打折扣。解决办法：要找你的空间商解决或换空间商。如何检测服务器速度

2017-07-28 17:36:08 4309

空空如也

空空如也