紫翎观星-CSDN博客

原创使用Spark从MySQL导入数据到HBase

1)在服务器创建HBase表hbase shellcreate 'B58005',{NAME => 'info', VERSIONS => 2}2）代码实现在IDEA下创建maven项目，在pom.xml中加入jar包依赖：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apac...

2018-04-13 11:39:43 2541 1

原创 Ambari2.5.0与HDP2.6.0集群安装配置

Ambari2.5.0与HDP2.6.0集群安装配置1.环境准备2.安装Ambari集群3.安装配置部署HDP集群4.安装部署遇到问题解决方案

2017-05-23 18:03:10 21365 1

原创使用Scala实现文件单词计数

package com.dtapp.baseimport scala.io.Sourceobject WCntApp { def main(args: Array[String]) { val file = Source.fromFile("E:\\abc.txt", "UTF-8") var map = Map.empty[String, Int]

2016-12-22 11:11:05 1438

原创 Spark简介

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。　　Spark 是一种与 Hadoop 相似的开源

2016-12-22 11:11:02 489

原创中艺库平台项目一期问题分析总结和成员讨论

中艺库平台项目一期代码问题分析总结1. 系统性能问题系统经常会在打开首页时超长，这在系统在多个查询点也会出现，这是个原因较多的性能问题，目前选择的一个解决方案是：使用Memcached分布式缓存，目前我已经搭建好了Memcached服务器，写DEMO测试运行正常。2. ACL数据权限问题最初的技术选择采用EMC做企业内容管理的重点是，以它ACL数据权限完整的解决方案为亮点，放弃了...

2014-03-18 11:51:38 150

原创与猎头聊天记录保存

影之魂 10:56:59你好我有个想法等过完年想改做技术经理或技术总监我做架构师4年了不想永远深研技术下去想提高我的综合能力请给我建议和提供合适我的职位信息捷毅猎头林林 13:40:25亲，简历想给发过来一份，我想给亲做个匹配。匹配过后的职位信息我会和亲电话沟通的。影之魂 9:57:10简历等过完年再考虑更新吧可以先给我发些职位信息我看看有什么要求捷...

2014-03-18 10:16:02 256

新接一个项目，着急使用权限功能，就先没写Realm扩展类直接使用JdbcRealm了。已经建好了5个表：用户，角色，权限，和两个中间表，重写了JdbcRealm的三个Query属性：authenticationQuery，userRolesQuery，permissionsQuery。配置时还要把permissionsLookupEnabled属性设置为true，否则permissionsQuer...

2012-09-09 15:47:18 268

原创关于数据库表字段的数据权限设计

细粒度的数据权限不光是数据库表数据行的访问控制，还要有表字段列的访问控制。举个例子：我有个员工表，A用户能查询5条记录，B用户能查询10条记录，但看不见记录中工资字段里的数据，C用户也能查询10条记录，但能看到记录中工资字段里的数据，因为C用户是财务部门的人。对于表数据行的访问控制一般可以采用动态查询来实现，而对于表字段列的访问控制就稍微麻烦些。在你的项目中，是否遇到过类似的需求呢？你有什么好的解...

2011-11-21 14:22:18 687

原创了解内心世界

从以下29个选项中，选择你害怕的8项：1，鬼 2，死 3，失业 4，世界末日 5，失恋 6，离婚 7，失去亲人 8，贫困 9，身边的朋友飞黄腾达 10，战争 11，爱人的背叛 12，老去 13，毁容 14，寂寞 15，无聊 16，残废 17，儿女不孝 18，老无所养 19，一事无成 20，失去信仰 21，失去自由 22，内疚 23，被误解 24，被遗忘 25，失去性能力 26，平庸 27，...

2011-08-07 18:32:34 119

原创 2010年的最后一天

2010年的最后一天，我在涿州办完买房贷款。今年是我事业与爱情双丰收的一年，前景一片光明。家里计划明年要我结婚，结婚意味着宣布我9年的自由生活从此结束，多少有些伤感。祝愿自己未来一年比一年好。...

2010-12-31 22:03:35 82

原创程序员修炼所经历的三层境界

提升技术能力是个长期的事情。每个程序员提升技术能力都会经历三层境界的修炼：修炼第一层境界：剑指四方，试问天下谁与争锋修炼第一层境界的程序员，对Java 开发技术尽数掌握，开发工具掌握的也较为娴熟。可以将第二层次程序员交给的任务完成的很出色，可以按要求独立完成类，接口和算法的开发。注重技巧，对具体的编程语言非常熟悉。能力之所及，皆无不用其极，认为所有开发知识，越是看起来深奥的越值得去...

2009-12-04 13:57:00 416