自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

DataVault2.0大数据的未来

万般诸法皆是虚妄,法尚应舍何况非法。

  • 博客(44)
  • 资源 (1)
  • 收藏
  • 关注

原创 成为架构师

大家什么时候成为架构师的?相信要么企业内部晋升、要么跳槽新公司。那是架构师了,公司和招聘要求定义的职责到底该怎么才能做好?如何开始架构师的职业生涯?如何平衡专业技术追求和企业赚钱第一位的追求?

2021-03-29 13:14:55 3384 8

原创 编程是什么

我们为什么提出“编程是什么”这个问题,是因为我们想要解决编程的相关问题。如果问题都理解错误,那就难以解决问题了。那为什么不是提出别的问题?因为对于要讨论的主题做好定义是非常重要的,就像我们学习任何一门语言的时候,基本就是先学“我是谁”的句式。做好了定义,那就清楚接下来要用什么方法去解决问题。如果我说“我是Java程序员”,那听者肯定会在脑海里找寻“Java程序员”相关的话题或者问题。但如果我明明是Java程序员却说“我是律师”,那就是欺骗他人了。因此,“编程是什么”这个问题搞不清楚的话,就会被误导。

2022-01-27 18:52:05 830 1

翻译 Data Vault建模简介

Data Vault模型是由Dan Linstedt在20世纪90年代发明的,它面向自然界中经常发现的复杂网络。许多这些自然系统可以用复杂网络的模型来描述,这是由链接或边缘连接的节点或顶点组成的结构。

2021-12-21 14:57:57 929

翻译 Data Vault2.0方法论之审查和改进-全面质量管理

为了实现卓越的质量,管理者和团队往往参考全面质量管理(TQM),它是一套实现质量以应对全球竞争的理论、方法、技术和质量策略。TQM是一个管理流程,重点是持续的质量改进。在TQM中,Total一词是指组织中的每个人和每个组织职能都应该参与质量的持续改进。在这个意义上,质量意味着满足或超过用户对产品或服务质量的期望。管理是指改进和维护业务系统,包括其相关流程和活动。

2021-06-28 14:42:51 500

原创 架构设计策略之风险驱动设计

风险驱动架构设计你今日预咗风险未?每次与项目成员沟通后,应该都会预感项目有风险吧。大概都会遇到这些问题:进度风险、技术难点、需求变更、资源分配问题等等。别和我说,基本没啥风险,项目很稳定。真有这样没风险的项目,那就不需要架构师了。毕竟这样的项目肯定会有成熟的“轮子”,直接借鉴就好了。实际上,没风险的项目很少,需要开发的软件项目总有风险的,因为实际需求都是随时间变化的。

2021-05-16 15:44:31 1685 5

翻译 Data Vault2.0方法论之审查和改进-六西格玛

六西格玛在这一过程改进工作中起着重要的作用。应用六西格玛原理,以实现最大限度地优化企业数据仓库系统构建和实现过程的敏捷性。六西格玛依赖于测量(估计值与实际值),或者KPI来确定项目级别的错误,sprint有多严重失调,以及需要对过程做些什么才能使其恢复到符合性。

2021-05-13 15:01:20 150

翻译 Data Vault方法论之技术编号

技术编号是将基于小数点的数字分配给描述工件和其他重要信息的文本文档和段落。又称科学编号。目标是在项目中唯一地识别文档和已实现解决方案中的每个工件。它应该应用于每个项目或sprint中产生或使用的每个文档或工件。

2021-05-04 23:06:01 203 2

翻译 Data Vault 2.0方法论之并行团队

通过在项目中添加更多的团队成员和整个团队,确定角色和职责有助于扩大项目规模。每个团队都对小范围的交付进行操作,不依赖于其他团队。所有工作都是并行完成的,几乎不需要或不需要同步。它们使用Data Vault 2.0方法论定义的相同模板,并生成遵循相同指南的文档。在实现和交付业务需求时,并行工作的团队使用链接实体同步他们的数据模型,这将在后文“进阶Data Vault建模”中讨论。有了现有的Data Vault团队,新的团队成员不需要有大量的先验知识或Data Vault技能。为了在正在运行的项目中增加新的人

2021-05-03 22:46:29 110

翻译 将软件开发生命周期应用于Data Vault 2.0方法论

软件开发生命周期作为一个小瀑布应用于Data Vault 2.0方法的冲刺中。为了执行这个小型瀑布,使用了一个项目计划。表3.6显示了一个执行新报告的示例。表3.6敏捷项目计划IDWBS任务名称期限前置任务ID13敏捷交付的单一需求58小时23.1选择报告生产(范围)0.5小时33.2估计工作努力0.5小时243.3填写风险评估0.5小时353.4确定报告的来源/数据表4小时463.4.1源到需求矩阵

2021-05-03 22:12:47 139

翻译 数据仓库的软件开发生命周期

数据仓库的软件开发生命周期需求工程设计实施和单元测试集成和系统测试操作和维护传统上,数据仓库项目遵循软件开发生命周期模型的一个变体,称为瀑布模型。虽然文献中有多个版本,各阶段的数量和名称不同,但它们都遵循分阶段的方法。此外,这些模型具有广泛的共同规划,然后是全面的设计、实现和测试。在流程开始时给出用户输入,然后在实施和测试过程中转入技术系统。其中一些分阶段模型允许在过程中回退步骤,例如,如果系统测试发现了需要额外用户输入的问题。图3.15显示了原始瀑布方法的代表性版本。图3.15 瀑布模型该图显示

2021-05-01 22:37:00 735

翻译 Data Vault2.0方法论之项目执行简述

Data Vault2.0方法论之项目执行简述由于敏捷,Data Vault2.0方法论遵循了团队组织的Scrum,并使用了类似于Scrum的进化和迭代方法。以下准则有助于使这一办法取得成功:1.设想初始架构:由于在sprint中没有时间在一步中开发最终架构,因此需要一个允许进化方法的初始架构。2.模型详细信息:与其预先对整个企业数据仓库进行建模,不如只对sprint范围内交付功能所需的区域进行建模。3.早期证明架构:确保架构决策被早期证明。最好是在过程的早期失败,并对架构进行适当的更改,而不是后期

2021-05-01 22:17:07 121

原创 架构设计策略之寻找设计的最佳平衡点

如果没有所谓的“Deadline”(最后期限),我们就不用担心架构设计的问题,因为我们有足够的时间去研究去学习找到最优的架构设计方案。然而,做梦是可以有的。

2021-04-05 22:32:10 251

原创 架构设计策略之寻找够用的设计

要想开发成功的软件,开发者必须根据设计策略去做最优的解决方案。尽管有时候,比较简单的问题,无须考虑太多,“梭哈”就完了,即快速又有效。然而,随着业务的变化和系统复杂性的增加,设计上的问题始终会出现的,就像不规范的代码会带来很多隐患和技术债务,这些都是要还的。凡事预则立,没有架构设计策略的开发,很容易陷入错误混乱中,开发工作难以进行下去。因此,要学会运用思维模式和思维沉淀循环去制定最优的设计策略。

2021-04-02 15:02:55 2076 5

翻译 Data Vault方法论之项目评估FPA

Data Vault 2.0方法论中的评估过程依赖于功能点分析(FPA)。 与其他评估技术相比,这种方法是推荐的,因为它基于将功能分解为单个项,这在Data Vault 2.0中相当容易(由于标准化的工件)。 通过使用FPA,团队成员通过计算单个项目的功能点和估计交付功能点所需的时间来评估数据仓库所需的功能。

2021-04-02 09:42:20 835

原创 架构设计思维模式实践流程

只要开发软件系统,就会有源源不断的需求,因为业务是不断变化的。为了适应这些变化,我们需要运用架构设计思维模式,去调整软件系统的架构设计。因此,我们需要一套可复用、可进化的流程去实践架构设计思维模式。

2021-04-01 11:04:48 248

原创 大数据概论——建设背景

就像侦查、讲事故、做研究分析一样,都是需要先交代清楚相关背景,这样才能对事物有更客观的认识。大数据建设也是一样,需要相关背景来支持。大数据是全数据模式、允许不精确、混杂多样,基于相关关系分析进行预测的存在。例如:人们每天都在创造着海量的数据,文字、图像、声音和影像等数据,体现在我们的社交网络、网购 、金融交易、在线影音娱乐等。这些所有的数据对于用户某种行为的相关关系分析来说,就是大数据。

2021-03-31 13:40:12 254 1

原创 架构设计思维模式

有了《架构设计思维原则》,做架构设计就会有方向和准则,不至于跑偏和做得很糟糕,但是毕竟还是过于理论了。因此,我们需要搭通是理论和实践的桥梁——架构设计思维模式。架构设计思维模式分为四种:理解、探索、展示、评估。- 理解问题:了解所有与系统有关的人以及他们的需求。- 探索想法:为了找到最佳设计,需要研究大量的模式、技术、方案。- 展示想法:脑海中的设计理念转化为有形物品。

2021-03-31 10:45:49 3051 2

翻译 Data Vault2.0方法论之项目定义

讨论的职责之一是创建简单但可扩展的解决方案。要承担起这一责任,必须采用迭代方法开发数据仓库。而不是从一开始就规划完整的解决方案,只计划接下来的几个冲刺。这并不意味着我们没有一个总体的想法或数据仓库的总体目标。这只意味着我们不会立即计划每一项任务到达那里,也不会对交付最终解决方案所需的每一个可用的源或信息集市进行建模。 开发团队必须先问客户需要什么,什么对业务最有价值。这是首先交付的,因为交付的依赖关系是满足的。

2021-03-30 15:58:13 235

原创 架构设计思维原则

无论我们是从零开始构建系统,还是重构系统,其实架构都在系统了。如果你有主动做架构设计,那肯定需要遵循一定的原则去探索和发现架构。如果你没有做架构设计,但根据行业通用标准或者经验,用一套代码(开源或内部模板)来开发。其实这里面就会有架构设计,只是你没有意识到。当然要主动做架构设计,被动是要挨打的。所谓“做事不能没有原则”,主动做架构设计,首先要懂设计原则。下面将讲解设计原则。设计原则设计原则那就像《孙子兵法》一样,指导我们如何思考和解决问题。这里我们参考下《Design Thinking:Under

2021-03-30 11:40:51 3471 3

翻译 Data Vault 2.0方法论之敏捷项目管理

如《Data Vault 2.0方法论——项目计划》所述,Data Vault 2.0方法论促进了定义的、可重复的和治理的开发过程,以及其他特征。然而,这并不意味着目标会过度定义或限制开发过程。我们的目标是使用结构化而敏捷的方法来开发商业智能解决方案。业务敏捷性是指快速适应业务环境变化的能力。为了支持这种能力,数据仓库开发团队也必须应对这些快速变化。IT应该尽可能地避免长期的项目计划,而将重点放在迭代和增量开发上。他们需要能够在两周内适应不断变化的业务需求。

2021-03-29 23:45:27 256

翻译 在Data Vault 2.0方法论中集成CMMI

能力成熟度模型集成(CMMI)是20多年前开发的一个过程改进框架,由美国卡内基梅隆大学软件工程研究所(SED)管理。CMMI是由美国政府(特别是美国国防部)赞助的,被世界各地各种规模的组织使用。它有助于简化成本,减少返工和缺陷率,并改善时间线和质量。

2021-03-27 17:04:17 196

翻译 Data Vault 2.0方法论——项目计划

由于数据仓库是软件的一部分,许多来自行业的学术研究人员和专业人员都同意这样一个事实,即来自软件工程学科的方法可以应用于数据仓库项目。我们已经讨论了一些著名的项目计划方法。

2021-03-26 19:24:03 189

翻译 Data Vault 2.0方法论简介

Data Vault 2.0标准为项目执行提供了一个最佳实践,称为“Data Vault 2.0方法论”。它来源于核心软件工程标准,并对这些标准进行了调整,以用于数据仓库

2021-03-26 15:06:10 440

翻译 Data Vault 2.0架构

DataVault2.0架构基于三层: - 集结区,它从源系统收集原始数据; - 企业数据仓库层,建模为DataVault2.0模型; - 信息交付层,使用星型模式和其他结构的信息集市。

2021-03-24 17:39:12 940

翻译 可扩展数据仓库架构维度

数据仓库系统的业务用户希望加载和准备越来越多的数据,包括数据的种类、数量和速度。此外,典型数据仓库环境的工作负载也在不断增加,特别是当数据仓库的初始版本获得了第一批用户的成功时。因此,可扩展性具有多个架构维度。

2021-03-22 23:49:03 351

翻译 数据仓库架构

为了满足技术期望,数据仓库工程师可以使用各种架构来构建数据仓库。常见的数据仓库架构是基于分层方法的,这在信息系统中很常见。下面将描述其中的两个典型数据架构。

2021-03-22 15:20:40 468

翻译 企业数据仓库环境

企业数据仓库(EDW)是从普通数据仓库演变而来的。企业数据仓库试图表示组织的所有业务数据及其业务规则,而不是将重点放在单个主题域进行分析。然后以业务用户可以使用所有所需主题域的方式显示仓库中的数据。接下来的部分将介绍企业数据仓库的常见业务需求。

2021-03-22 00:23:25 221

翻译 数据仓库的历史

信息已经成为任何组织的主要资产。企业各级用户,包括运营管理者、中层管理者和高层管理,都希望获得能够做出合理决策并为业务增值的信息。每个层级者对所希望获取的信息有着不同的要求,但共同的维度包括信息的准确、完整和一致等。一个理性的经营者将使用可用且可信的信息作为可能影响业务基线的智能决策的根基。数据仓库的目标并不是创造知识或智慧。相反,数据仓库(或商业智能)的重点是通过将数据转移到适当的上下文中,将数据聚合、整合和汇总为信息。

2021-03-21 01:33:29 325

原创 chrome浏览器多页签唯一关闭时自动注销

整体思路按如下问题展开: 1. 多页签如何唯一? 2. 页签唯一了,页签间如何共享信息? 3. 页签间共享信息解决了,能否监听浏览器关闭动作? 4. 浏览器关闭动作监听到了,如何自动注销? 5. 自动注销实现了,是否还存在其他问题?

2020-08-02 17:34:37 928

原创 router.go(-1)后退带参数或者替换参数

问题背景在用户进入了一个带链接参数id的页面A,链接如下:/a?id=1但用户操作实际上是会改变id的值,此时id=2,但链接上的id无变化,然后使用id=2作为参数前进到页面b,链接如下:/b?id=2然后用户点击后退,返回到了页面A,此时的id=1,是最初的页面链接。但用户希望后退也是返回到id=2的页面A,而不是id=1的页面A解决方案通过研究window.history对象的说明和相关函数,发现window.history.replaceState函数可以解决以上的问题。因为r

2020-07-28 11:49:57 5281 1

原创 spring 3++的javaConfig技术

spring 3以及servlet 3以后的版本都支持javaConfig技术以及注解技术,可以抛弃web.xml以及spring的xml配置了。 不用学习xml配置的知识,直接通过注解和硬编码方式去理解,对于开发人员来说是极好的。替代web.xml通过实现WebApplicationInitializer接口就可以了public class MyWebAppInitialize...

2018-08-03 01:08:16 345

原创 泉水经(spring的javaConfig)

spring的javaConfig技术,以胡说八道方式讲述,不懂还请见谅,下篇是正式的技术讲解。

2018-08-03 01:07:18 343

原创 IE浏览器jquery的attr函数以及iframe跨域使用父窗口的document的兼容性BUG

IE版本的水这水非常的深,甚至不同的windows系统出现的问题都不一样。什么时候能做到所有的用户都不用IE10以下的版本,那什么时候这水就浅了。 水的来源就是:并不是每个员工都可以下载软件安装的,但每个员工的电脑都有IE的。 于是我就开始了游泳,噢不!是溺水自救。

2017-08-04 16:42:21 10961 2

原创 DWZ(JUI)查找带回实现回调函数

原来的功能只是带回到输入框里,但实际项目要求带回来数据后立即触发JS函数,这个时候就需要扩展原有的查找带回功能,实现回调函数来满足需求。

2017-07-26 01:15:21 3553

原创 DWZ(JUI)多层弹窗查找带回实现

原功能BUGDWZ框架的查找带回能不能多层实现呢?查找带回弹窗页面里面再设置几个放大镜触发查找带回功能的弹窗?我一开始以为这样是可以的,如果我在第一层弹窗页面没有点过里面的放大镜,那么第一层页面的数据是可以带回的;但是,如果点击了第二层里的放大镜就无法带回数据。

2017-07-26 01:09:57 2735 2

原创 DWZ(JUI)查找带回再次点击已选择的自动勾选

原功能描述DWZ框架的查找带回功能很好用,但在多选的情况下,如果是第一次已选了或者服务器默认带回来的已选内容,再次点击查找带回的放大镜,原来选过的就不会被勾选了。如下图所示: 如果是用户只是在已选的基础上再多勾选一个,那就需要重新勾选已选过的。已选的比较少还好,如果比较多或者是很多层级的树状多选框,那这样的设计太不人性化了。解决办法扩展查找带回的功能,点击放大镜(即查找带回功能)时,获取原有的

2017-07-20 14:25:55 2496

原创 DWZ (JUI)表格Table单击选中功能扩展

原本DWZ框架提供的单选功能是单击选中表单上某一记录,点击设置好a标签按钮,URL自动加上记录Id并弹出dialog窗口,实现对该条记录详细资料的修改。但实际项目还会有更复杂更灵活的操作,而不单单是url的请求执行

2017-07-04 00:10:43 2544

原创 SpringMVC整合KindEditor,实现图片上传、预览、删除

之前我写过一篇关于《DWZ(JUI)整合Kindeditor应用于dialog弹出框》,只是讨论了前端的应用,并没有详细介绍后台代码实现。本文除了介绍后台的代码实现,还顺便介绍一些KindEditor的前端应用技巧。以前的是SSH框架实现KindEditor插件的上传、图片空间管理功能。现在的项目底层框架换成了springmvc,代码虽然变化不大,但是需要注意一些细节的实现。 具体后台实现:@Co

2017-06-24 14:10:10 4798 2

原创 mybatis批量更新update的各种情况总结

项目中,为了提高效率和方便回滚,不单单只是在mvc的服务层设置回滚切点,最好是能在sql里面实现批量更新最好不过了。 mybatis作为强大的持久层框架,当然可以很好地支持批量更新。而且以下代码兼容oracle和mysql数据库不同的id更新相同值的几个字段。传值是map类型,ids可以是list也可以是数组。<update id="updatebatchSame" parameterType

2017-06-07 23:22:28 1260 2

原创 DWZ (JUI)表格Table多选selectedTodo功能扩展

在前端页面我们经常需要多选表格上的一些行去进行删除的批量操作,还有一些状态的改变。但是原有的dwz(JUI)框架只提供了ajax post方式进行提交操作。本人在实际项目中并不需要ajax post提交,希望是执行自定义的js函数,并方面以后项目的灵活使用。//原本的用法://表格每一行的写法<tr target="xxx" rel="xx" class="selected">

2017-05-21 10:06:55 1598 2

hadoop-2.7.7单机win7或win10搭建完整包

运行步骤: 1.在E盘建立apps目录,然后解压到此处。 2.把安装的jdk整个目录也拷贝到这里。 3.使用编辑器打开E:\apps\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd,修改set JAVA_HOME=E:\apps\你的jdk目录名 4.把E:\apps\hadoop-2.7.7\bin\hadoop.dll拷贝到 C:\Windows\System32 5.设置环境变量,新建系统变量,变量名:HADOOP_HOME,变量值:E:\apps\hadoop-2.7.7;编辑 Path 变量增加 %HADOOP_HOME%\bin,重启电脑 6.在cmd输入hdfs namenode -format,看到successfully就说明format成功 7.在E:\apps\hadoop-2.7.7\sbin下按shiift右键打开cmd输入start-all,启动hadoop集群即可 8.出现启动失败,请删除E:\apps\hadoop-2.7.7\work\下各个目录的内容,再次执行步骤6和7 有问题可邮箱联系:[email protected]

2019-08-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除