ganshisheng的专栏

原创 PDM 导出Excel

打开 工具 - Execute Commonds - Edit/Run Scripts 。执行如下代码'******************************************************************************'* File: pdm2excel.txt'* Title: pdm export to excel'* Purpose: To export the tables and columns to Excel'*

原创 PDM 物理模型code&name转大写

打开 工具 - Execute Commonds - Edit/Run Scripts 。执行如下代码Option Explicit ValidationMode = True InteractiveMode = im_Batch Dim mdl ' 当前模型 ' 获取当前模型 Set mdl = ActiveModel If (mdl Is Nothing) Then MsgBox "没有打开一个模型"ElseIf Not mdl.IsKindOf(PdPDM.cls_Mod.

原创 Oracle&Excel VBA写获取表字段类型及约束语句

Oracle： select /*字段及注释*/t1.owner,t1.table_name,t2.comments,t1.column_name,t3.comments, /*字段类型*/t1.data_type,t1.DATA_LENGTH,t1.DATA_PRECISION, /*字段约束*/t1.nullable,t6.c_unique,t6.c_primary,t6.c_rela from all_tab_columns t1 left join all_tab

原创 Excel VBA 词根管理工具

数据仓库的命名规范 俗话说无规矩不成方圆。我们在搭建数据平台的时候，需要先制定好各种规范，越早越好，并且不断的监督大家是否按照约定执行。一旦大家自由发挥，想要再次统一或者重构就非常的困难。会浪费很大的人力成本和时间成本，因此在这里总结一下数据仓库的规范关于词根 词根属于数仓建设中的规范，属于元数据管理的范畴。现在都把这个划到数据治理的一部分。正常来说，完整的数仓建设是包含数据治理的，只是现在谈到数仓偏向于数据建模，而谈到数据治理，更多的是关于数据规范、数据管理。 ...

原创 再问数据中台 - 数据中台建设的最大的挑战是什么

数据中台建设的最大挑战，是如何找到有价值的业务场景。数据中台是一个能力平台，是将企业的数据能力封装到一个平台中，快速提供给业务前台使用的工作。那么企业需要什么样的数据能力，哪些业务需要这些能力，这些数据能力之间的关系是什么？这是一个体系化的工作，是需要进行整体规划和顶层设计的。数据中台从出生那一天起就承担着为业务提供更快的数据服务的使命，所以它是和业务价值紧密绑定的，不能提供业务价值的数据服务就是一种浪费。所以如何能够找到，识别出有价值的业务场景是数据中台建设的最大，也是最紧迫的挑战...

转载 再问数据中台 - 企业数据中台的团队如何构建？绩效如何评价？

数据中台是距离业务更近的能力平台，数据中台是一个需要持续运营的数据服务业务平台，所以数据中台的团队不仅仅是一个技术团队，应该将数据中台当做一个产品团队来构建，整体的结构如下： 数据中台提供两类服务：一类是数据资产目录，数据探索，数据分析等服务，让业务和应用部门的人员能够在数据中台上协作的玩数据。一类是数据服务，让各个业务系统能够调用这些服务，包括决策分析类的非实时服务和实时的嵌入式交易规则服务。对应到这两类服务，数据中台的团队应该包括以下三组：中台运营团队：将整个数据中...

原创 再问数据中台 - 数据中台和业务中台服务有什么区别 应该如何去界定和划分？

在目前，与数据中台齐名的还有业务中台，但是业务中台和数据中台有什么区别呢？数据中台和业务中台都是为业务系统提供服务的中台层，他们的区别在于提供的服务不一样。我们举几个例子：多个电商渠道使用一个下单服务，一个订单接口同时为多个前台系统提供服务，这是业务中台提供的能力。多个前台系统，根据一个用户的手机号，获取对应的画像，用户的标签，这是数据中台提供的服务。将多个支付通道，抽象建立成一个支付API，暴露给前台业务系统，这是业务中台提供的能力。...

转载 再问数据中台 - 数据中台的典型架构是怎样的？

数据中台是直接服务于业务系统的数据服务工厂，狭义上讲，数据中台就是可复用的数据API。站在企业架构的角度，从广义上来讲，数据中台(包含数据平台，数据仓库）应该提供的服务如下图所示： 1.数据资产的规划和治理做中台之前，首先需要知道业务价值是什么，从业务角度去思考企业的数据资产是什么。数据资产不等同于数据，数据资产是唯一的，能为业务产生价值的数据。对于同一堆数据，不同业务部门所关注的数据指标可能完全不同，怎么让各个跨域的业务变成统一的标准，就需要规划企业的数据全景图，将所有有...

原创 再问数据中台 - 数据中台里的数据质量应该如何保障？

过去这么多年的经验教训告诉我们，数据质量的问题是不可能百分之百解决掉的，因为业务变化的速度快于数据变化的速度，这是一个客观存在的而且短期内不可能改变的事实。我们最应该关心的应该是数据如何能够给业务产生价值，即使只有50%的数据准确度，在治理数据质量的同时，依然要找到这些数据可以为业务产生价值的方法和场景。这个问题应该改成，如何治理好现有的数据为业务产生价值。数据治理是要服务于业务场景的，而传统的数据治理方法，更多的将数据和业务独立了出来，最后数据治理项目的成果基本上可以归纳为创造了”...

原创 再问数据中台-数据中台和数据仓库，数据平台的关系是什么？

早期，企业的数据是少量的，利用Excel等数据文件处理工具来进行统计和手工分析。然后，企业希望能够更快的处理比较多的数据，就有了数据仓库的出现，也希望利用数据来支撑运营和分析。接下来不仅有了结构化数据，还出现了非结构化数据，并且运营对于数据的需求越来越多，数据量也越来越大，这就出现了大数据平台，去处理各种不同格式，不同领域的数据，这个过程都是业务数据化的过程。到数字化的今天，企业不仅希望事后的运营能够靠数据支撑，更希望构建数据驱动的业务本身，所以，企业需要将这些数据变成一个个业务服务...

转载 再问数据中台 - 数据中台是什么？

数据中台需求的出现，是企业数字化转型的一个标志性的转折，数据中台成为热点，标志着，“在企业信息化或者数字化的历史上，数据从来没有距离业务这么近，数字化转型正从流程优先走向数据优先”。要想从根本上理解数据中台是什么，要认识到数据和软件的关系信息化和数字化的本质区别是：“信息化是用软件工程技术局部支撑和改良业务，数字化是用数字化技术重塑和转型业务本身”，而数据则是构成数字化业务世界的原子材料。数据从应用诞生的那一天开始就存在，但是，数据并不是第一天就被存储和利用的，应用和数据的发...

原创 数据中台和业务中台的区别

业务中台让前台开发更敏捷，为什么业务中台起的作用是把多个交易权，比如用户查用户创建订单的API，你的生成库存入库单的这种API全部把它合并成一个，然后让前台去调用，它是为了让前台开发更敏捷，速度更快，而且更标准。数据中台是什么？数据中使前台更智慧。当然它也可以加快前台的开发速度，但它更重要的是使前台更智慧。业务系统，原来是跨类的，是分领域的财务系统，我只有财务系统的数据，我就看不到物资系统的数据，我的物资系统的数据，只能看到物资的，我看不到我的设备。所有的跨域的数据融合在一起，形成数据动产，形成数据

原创 数据中台、数据仓库和数据湖传统的区别

数据中台距离业务更近，数据平台、数据湖是被动地响应业务需求，用户说我要什么，然后你有什么数据，然后我来给你提供什么数据服务，但是数据中台是业务需求驱动的业务服务平台。比如说，现在很多企业在做数据中台规划的时候，第一件事情不是去看他的数据，他有什么数据，那是第二件事情，第一件事情先看他需要什么样的数据服务，什么样的数据对他有价值。 数据平台、数据仓库和数据中台的关键关系？ 数据仓库是分析报表及服务，数据平台和数据湖是提供数据集，我把一个数据集给到你，然后业务部门根据这个数据集拿到数据库的链接.

原创 数据中台应该具备的能力

下面这个图，我们把它定义成是现在数据驱动的智能企业的一个模型，然后我们可以看到这里面有六大功能，其中除了灰色的部分，我们认为是传统的数据平台提供的功能。那么之外的这五大功能，我们认为这就是现在企业里面所讲的数据中台所应该具备的能力。如果有一个数据中台所谓的厂商找到大家说我们给大家提供数据中台，我们可以对比一下，他有没有现在所讲的五个功能，五大领域的功能。数据资产的规划和治理你有什么数据资产要存什么数据，这个东西一定是要有统一的规划的，而且是要有系统经营管理的，所以每一个数据中台一定要有一个数

转载 火热的数据中台对企业的价值是什么？

数据实际上是一个非常传统的行业。有软件开始的那一天起，数据这个行业就存在了。比如说原来最早的时候，有非常多的数据报表数据可视化，然后到后来，有了商业智能，有了Data Warehouse（就是数据仓库），然后数据挖掘，并且在数据这个行业里面是有非常多的巨头的，比如teradata、cognos，biee、microstrategy等。数据这个行业不仅仅是软件，它还有管理的部分，也就是说数据治理，即如何让企业的数据治理的质量更好。所以数据这个行业本身是一个非常传统的行业。每个大型一点的企业..

转载 深度剖析数据中台提供的数据服务

数据中台是“数据服务工厂”，所以，数据服务是数据中台的核心能力。那么，数据中台都提供哪些数据服务呢？现在行业里讲的Data as a Service (DaaS)，在Wiki中则特制基于SOAP的API服务。data as a service is enabled by software as a service (SaaS).[1] Like all "as a service" (aaS) technology, DaaS builds on the concept that i..

转载 数据中台赋能企业数字化转型的四个关键成功因素

原创 XX数据中心技术方案

系统建设目标 建设背景 监管背景2016年12月30日颁布的《证券公司全面风险管理规范》要求当中，首次提出“证券公司应当建立健全数据治理和质量控制机制。积累真实、准确、完整的内部和外部数据，用于风险识别、计量、评估、监测和报告”。“证券公司应将数据治理纳入公司整体信息技术建设战略规划，制定数据标准，涵盖数据源管理、数据库建设、数据质量监测等环节。”业务背景中国金融行业发展迅速，随着互联网，软件等行业的推陈出新，全球信息化的进程也日益加快。证券公司在金融市场上发挥着日益重要的作用，也面..

转载 数据中台的使命、愿景、本质和六大核心能力

【转载 #凯哥讲故事系列】参考技术成熟度曲线，数字化转型已经进入成熟期，被业界广泛认知，而数据中台目前正处于期望膨胀期，即将被很多企业应用和验证。数据中台的愿景和使命数据中台成为了数字化转型的下一个趋势，那么数据中台的愿景和使命是什么呢？愿景数据中台的终极愿景是什么数据中台的愿景是打造数据驱动的智能企业 使命数据中台为什么存在 数据中台的使命是赋能业务以数据智能的能力，让业务更智慧，...

原创 Spring依赖注入方式

一、依赖注入（DI）简介     依赖注入背后的基本原理是对象之间的依赖关系,可以通过以下几种方式来实现：构造器的参数、工厂方法的参数，或给由构造函数或者工厂方法创建的对象设置属性。因此，容器的工作就是创建bean时注入那些依赖关系。相对于由bean自己来控制其实例化、直接在构造器中指定依赖关系或者类似服务定位器模式这3种自主控制依赖关系注入的方法来说，控制从根本上发生了倒转，这也正是控制反转名字

原创 正则表达式语法

下面是元字符及其在正则表达式上下文中的行为的一个完整说明：字符 描述\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个 后向引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\\' 匹配 "\" 而 "\(" 则匹配 "("。^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 '\n...

Spring依赖注入方式

[b]一、依赖注入（DI）简介[/b] 依赖注入背后的基本原理是对象之间的依赖关系,可以通过以下几种方式来实现：构造器的参数、工厂方法的参数，或给由构造函数或者工厂方法创建的对象设置属性。因此，容器的工作就是创建bean时注入那些依赖关系。相对于由bean自己来控制其实例化、直接在构造器中指定依赖关系或者类似服务定位器模式这3种自主控制依赖关系注入的方法来说，控制从根本上发生了倒转，这也...

Spring基于IOC容器基本原理

[b]一、简介[/b] org.springframework.beans及org.springframework.context包 是Spring IoC容器的基础。BeanFacotry提供的高级配置机制，使得管理各种对象成为可能,ApplicationContext是BeanFactory的扩展，因而BeanFactory所具备的能力和行为也适用于ApplicationCont...

Hibernate 一对一外键单向关联

[align=center][size=medium]Hibernate 一对一外键单向关联[/size][/align] 基于外键关联的单向一对一关联和单向多对一关联几乎是一样的。唯一的不同就是单向一对一关联中的外键字段具有唯一性约束。只需要将原来的many-to-one元素增加unique="true"属性，用于表示N的一端也必须是唯一的，在N的一端增加了唯一的约束，即成为单向1-1...

java文件操作

[b]1.文件操作的基本流程：[/b] 1、 通过File类找到一个文件 2、 通过File类去实例化字节流、字符流操作类 3、 进行读或写的操作，在写的时候如果文件不存在则会自动创建 4、 关闭流并释放资源[b]2.字节流[/b]在字节流中分为两种： 输出流：OutputStream 输入流：InputStream2.1 输出流...

Hibernate 入门----第一个Hibernate应用程序

(可参考Hibernate中文文档--附件下载)[align=center][size=medium] 第一个Hibernate应用程序 [/size][/align][b]一、首先我们将创建一个简单的基于控制台的(console-based)Hibernate应用程序。[/b]我们所做的第一件事就是把所有需要用到的Java库文件放进开发的目录中。解压缩从Hibernate网站...

原创 JDBC连接数据库

一、连接各种数据库方式速查表　　下面罗列了各种数据库使用JDBC连接的方式，可以作为一个手册使用。 　　1、Oracle8/8i/9i数据库（thin模式） [code="java"]Class.forName("oracle.jdbc.driver.OracleDriver").newInstance(); String url="jdbc:oracle:thin:@lo...

重新添加MySQL服务

系统重装后，服务里的MySQL没了，打开cmd 进入到MySQL的bin目录[code="java"]mysqld -nt --console [/code]作为windows服务启动mysql时可以让windows在启动的时候自动的启动mysql； 如果当前有正在运行的服务的话，用户需要先停止当前服务，停止服务：[code="java"]mysqlad...

Javascript 正则表达式对象

[b]定义 RegExp[/b]声明javascript 正则表达式[code="java"]var　patrn1　=　new　RegExp("abc",　"igm");var　patrn2　=　RegExp("abc",　"igm");var　patrn3　=　/abc/igm;[/code]正则表达式对象 (/i g m) 此对象包含正则表达式模式以及标识如何应...

原创 JavaScript验证正则表达式大全

JavaScript验证正则表达式大全匹配中文字符的正则表达式： [u4e00-u9fa5]匹配双字节字符(包括汉字在内)：[^x00-xff]评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）匹配空白行的正则表达式：ns*r评注：可以用来删除空白行匹配HTML标记的正则表达式：< (S*?)[^>]*>.*?|< .*? />...

线程---生产者消费者问题

在开始之前先简单回顾一下生产者消费者问题:一群生产者在生产消息，并将此消息提供给消费者去消费。它们中间设了具有N个缓存区的缓冲池，生产者每次可将生产的消息放入一个缓存区内，消费者每次可将一个缓存区内的消息拿出来消费。但这个过程有两个条件：任何一方操作一个缓冲区时不能有其它同时对该缓冲区进行操作；只有当缓冲区还有空余，生产者才能生产，只有当缓冲区至少有一个产品，消费者才能从中取出来消费。这里...

ubuntu下手动安装jdk6

1. 手动安装jdk6     首先，在http://java.sun.com下载jdk-6u14-linux-i586.bin    然后，可以把它放置在任何你喜欢的文件夹(安装位置），我放在/home/joybook(我的主机名)/program/java/    下面开始安装jdk：     终端下进入你存放jdk-6u14-linux-i586.bin的目录，    执...

原创 ubuntu解压命令全览

.tar解包：tar xvf FileName.tar打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）---------------------------------------------.gz解压1：gunzip FileName.gz解压2：gzip -d FileName.gz压缩：...

原创 UML 类图关系

出处：http://blog.csdn.net/dylgsy/UML的类图关系分为： 关联、聚合/组合、依赖、泛化（继承）。而其中关联又分为双向关联、单向关联、自身关联；下面就让我们一起来看看这些关系究竟是什么，以及它们的区别在哪里。1、关联双向关联：C1-C2：指双方都知道对方的存在，都可以调用对方的公共属性和方法。在GOF的设计模式书上是这样...

原创 在Ubuntu Linux下安装Tomcat

在新立得下安装tomcat执行命令：sudo apt-get install tomcat5.5完成之后tomcat会自动启动。如果要手工启动/重启/停止Tomcat，建议使用sudo /etc/init.d/tomcat5.5 start | restart | stop，我发现这样并不用像很多网上说的那样需要设置JAVA_HOME之类的环境变量。Ubuntu下的Tomcat...

原创 ubuntu tomcat安装环境变量配置

[b]1.设置java环境变量　[/b] $sudo gedit /etc/profile　　在该文件中加入：　　export JAVA_HOME="/usr/lib/jvm/java-6-sun"　　export CLASSPATH="$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib"　　export PATH=...

在ubuntu下安装Eclipse3.4+MyEclipse7.1

最近有些国外网站封了中国的ip段导致某些网站无法登陆，myeclipse就是其中一个，但myeclipse对于java开发这来说是不可多得的得力开发工具，很多人苦于无法下载（官网无法登陆，代理下载太慢或者时常会断开，国内下载版本较旧）这些链接点进去一样下不了，右键链接属性把地址复制下来用工具下吧LINUX:32bit：[u][url]http://downloads.myeclipse...

ubuntu8.04安装java+eclipse+J2ME+wtk

1.[b]安装java[/b] 可以通过新立得安装最新版本java-6-sun版本 装完后，可以用java -version测试一下2、[b]下载linux的eclipse[/b] 目前最新版本是3.5,个人当初为了与Myeclipse7.1匹配，下载了3.4 32位的版本，具体下载地址如下： linux32的下载地址： [u]...