lgdlxc-CSDN博客

原创 scala中的高阶函数

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=332 排版乱？请移步原文获得更好阅读体验 1.scala中的函数 scala是一门面向对象和函数式编程相结合的语言，前面的文章已经讲了类、对象、继承等面向对象特有的语言特性，接下来将关注一下函数式编程的相关知识。在scala中，函数和变量一样，都是scala的一等公民。与函数相

2017-06-14 17:32:04 621

原创使用@Named注解绑定多个实现(java,scala)

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=330 排版乱？请移步原文获得更好的阅读体验 1.背景最近项目中使用了guice作为依赖注入的框架。碰到一个如下的场景：定义了一个从不同渠道输入数据的接口AbstractImporter,设计之初的目标是抽象从hdfs，kafka，DBMS等数据源输入数据处理。那么对应的实现就会

2017-06-08 10:54:11 4126

原创 8.scala:特质

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=317 总体来说，scala中的特质类似于Java中的接口，但是有别于接口的是特质中既可以有实现方法也可以有抽象方法。 1.特质的定义使用关键字trait来定义一个特质，如： scala 5行 trait Log{ def info(ms

2017-05-02 15:09:22 411

原创 7.scala:继承

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=315 排版乱？请移步原文获得更好的阅读体验类似于java中的继承，在scala中同样有继承一说，而且在很多方面和java中的继承非常的类似，下面详细说明。 1.关键字及重写 scala中表示继承的关键字为extends,如下代码，Student 继承自People: scala

2017-05-02 15:03:44 348

原创 kylin从入门到实战：实际案例

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=308 排版乱？请移步原文获得更好的阅读体验前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理，这篇文章将从一个实际的案例入手，介绍如何在kylin平台上创建一个多维分析项目。 1.创建project 进入kylin操作界面，如果没有project可以创建，kylin

2017-04-14 17:06:47 3335

原创 kylin入门到实战：cube详述

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=306 排版乱？请移步原文获得更好的阅读体验 1.什么是cube？ cube是所有dimession的组合，每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2n个cuboid，如图：对应一张hive表，有time,item,l

2017-04-14 11:24:40 4841

原创 kylin入门到实战：入门

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=292 排版乱？请移步原文获得更好的阅读体验 1.概述 kylin是一款开源的分布式数据分析工具，基于hadoop之上的sql查询接口，能支持超大规模的数据分析。响应时间在亚秒级别，其核心是预计算，计算结果存放在hbase中。 2.特性可扩展超快OLAP引擎

2017-04-12 17:27:03 1162

原创 6.scala中的包

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=287 排版乱？请移步原文获得更好的阅读体验 1.基础特性 scala中的包和java中的包类似，都是用来在大型工程中给类限定一个命名空间。有如下特性：（1）包可以像内部类那样嵌套（2）包路径不是绝对路径。（3）包声明链net.bigdataer.blog并不会自

2017-03-21 19:48:46 282

原创 5.scala中的对象

排版乱？请移步原文获得更好的阅读体验 1.单例对象 scala中没有静态类或者静态方法，都是通过object实现的，它表示某个类的单例对象。如object People是class People的单例对象。 2.伴生对象 java中有些类可能会既有静态方法又有实例方法，在scala中静态方法存在于对象中，也就意味中scala中需要有这么一个东西，它既是类，也含有对象。其中的对象就是

2017-03-17 18:29:20 376

原创 4.scala中的类

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=269排版乱？请移步原文获得更好的阅读体验 ### 1.针对不同字段生成的方法字段生成的方法备注 var/val name 公有的name和name_=方法（仅var）可以被公开访问 @BeanProperty val/var name 公有的name,getNam

2017-03-14 19:43:03 304

原创使用logrotate做nginx日志分割

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=266背景nginx是一款非常优秀的网络代理工具，但是其日志管理有点缺憾：nginx的access_log会无限的增长。我们希望的是它能按照日期去做日志分割。一般有两种方法，自己写脚本实现，一种是使用现成的logrotate工具。本文讲解第二种方法。过程使用logrotate做nginx日志轮询 logr

2017-03-13 16:01:16 806

原创如何成为一名大数据开发工程师

版权申明：转载请注明出处。文章来源：http://bigdataer.net/?p=2391.关于我本人现在北京某大型互联网公司高级数据开发工程师一枚，三年工作经验，一年多面试官经验。2.为啥要写这篇文章？面试中经常会遇到这种情况：之前专心写web的Java码农突然转型想做大数据了，然后写几个大数据的项目经验跑来面试，结果就是一问三不知，还有好多人只是搭了个Hadoop环境就说自己是搞大数

2017-03-13 11:07:50 24600 2

原创一篇文章学会spark-streaming

版权申明：转载请注明出处。文章来源：bigdataer.net 1.什么是spark-streaming？实际生产中会有许多应用到实时处理的场景，比如：实时监测页面点击，实时监测系统异常，实时监测来自于外部的攻击。针对这些场景，twitter研发了实时数据处理工具storm，并在后来开源。spark针对这些场景设计了spark-streaming实时计算模型，它允许用户使用一系

2017-03-10 18:02:43 392

原创是时候给你的微信公众号请一位专属客服了

1.为什么要写这篇文章？一是因为经常逛知乎，发现好些知乎大神的签名上都放的自己的微信公众号，但是关注之后就回一句简单的谢谢关注之类的话，缺乏互动性。二来是之前网盘共享了一堆本科生的毕设，为了防止别有用心的人拿去卖，加了密码，想要获取密码的话得加我微信验证。最近好多人都来加微信求密码，实在忙不过来，于是就想到了搞一个微信公众号的聊天机器人。于是乎借着周末的时间搞了一个能自动回复密码的机器人儿，但

2017-03-06 21:11:50 2040

原创 spark数据监控实战

转载请注明出处。更多文章请访问 http://bigdataer.net 1.概述数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力，所以一个好的数据监控系统或者一个合理的数据监控方案对于数据质量的保证至关重要。本文将展示一种实际生产中使用过的数据监控方案，并给出相关的代码。数据计算采用spark，报警形式采用

2017-03-02 20:54:11 3439

原创 3.scala容器

3.scala容器 a:focus { outline: thin dotted #333; outline: 5px auto -webkit-focus-ring-color; outline-offset: -2px;}a:hover,a:active { outline: 0;}a { color: #0088cc;

2017-02-09 19:05:16 456

原创 2.scala控制结构、函数、异常处理

2.scala控制结构、函数、异常处理---小书匠,在线编辑器,MARKDOWN,Evernote,文件版本 a:focus { outline: thin dotted #333; outline: 5px auto -webkit-focus-ring-color; outline-offset: -2px;}a:hover,a:active

2017-02-08 20:07:43 432

原创 scala基础

1.scala中的变量 scala中的变量分为不可变变量和可变变量。不可变变量声明为 val a = 0 可变变量声明为 var a = 0 可以不用制定变量的类型，scala语言有强大的类型推断。当然，在必要的时候也可以指定类型，如 val a:String ="hello" 2.scala中的数据类型 scala中不刻意区分基本数据类型和引用数据类型。同样的，也

2017-02-07 19:40:24 319

原创 Hadoop多路径输出(MultipleOutputs)

使用Hadoop进行数据处理时，有时候需要将计算结果根据不同的条件存入不同的分区。比如：计算顾客是否回头购买的时候，会将回头了的顾客数据和未回头的顾客数据分别存入不同的表。可以使用MultipleOutputs实现。需要在reduce类中定义MultipleOutputs,并且重写Reducer的setup()方法和cleanup()方法。具体实例如下public static c

2015-11-16 17:51:01 1036

原创 Hadoop分布式缓存(DistributedCache)

概述DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理.DistributedCache 可将具体应用相关的、大尺寸的、只读的文件有效地分布放置。DistributedCache 是Map/Reduce框架提供的功能，能够缓存应用程序所需的文件（包括文本，档案文件，

2015-11-14 20:17:29 3311

原创 hadoop自定义数据类型

Hadoop的基本数据类型是基于对Java的基本数据类型的封装，如int对应IntWritable,Long对应LongWritable。和Java中自定义数据类型一样，某些时候我们也会在Hadoop中创建自定义数据类型。Hadoop中自定义数据类型必须实现WritableComparable接口举例：import java.io.DataInput;import java.io

2015-11-13 17:25:27 1101

原创 Java内存溢出及jvm内存设置

内存溢出类型(1)java.lang.OutOfMemoryError: PermGen space JVM管理两种类型的内存，堆和非堆。堆是给开发人员用的上面说的就是，是在JVM启动时创建;非堆是留给JVM自己用的，用来存放类的信息的。它和堆不同，运行期内GC不会释放空间。如果web app用了大量的第三方jar或者应用有太多的class文件而恰好MaxPermSize设置较小，超出了也

2015-11-10 16:42:30 2548

原创 Java内存回收

可进行回收的内存有回收之前需要判断内存是否可以被回收，主要有两种算法(1)引用计数算法(非Java)(2)根搜索算法(Java)内存回收算法介绍(1)标记-清除算法（非Java）回收前状态回收后状态优点：实现简单，其他算法的基础缺点：效率低；会产生内存碎片（2）标记-整理算法(非Java)回收前状态

2015-11-10 16:15:19 522

原创 Java内存模型

虚拟机栈• 每个线程会创建一个虚拟机栈，每个方法(局部变量)的执行时会创建一个栈帧，一个方法(局部变量)的执行过程对应一个栈帧在虚拟机栈中的入栈到出栈的过程。• 栈帧：存储局部变量表、操作数栈、动态链接、方法出口等信息• 局部变量表：存放编译器可知的各种基本数据类型以及对象引用• 操作数栈： Java虚拟机的指令从这里获取操作数、压入结果操作数• 动态链接：符号引用，在运行期间

2015-11-10 15:43:53 399

原创 mongo创建服务器连接及简单查询

1. Java语言连接mongo库需要mongo提供的驱动包，类似于传统数据库使用的jdbc包。一般将连接的参数写在配置文件中，这些参数有：#是否重试autoConnectRetry=true#连接池大小poolSize=50#主机地址hosts=ip:port#数据库名称dbName=dbname#数据库连接用户名userName= username

2015-10-09 10:39:46 2813

原创 hive表数据导出到csv乱码原因及解决方案

hive表中的数据使用hive - e"select * from table">aa.csv导出到csv文件的时候在window中用Excel打开查看的时候是乱码，而且格式也不对。原因有下面两个：1.乱码的原因是用excel打开csv时格式默认为gbk，但是从hive中导出来的是utf8的2.格式不对的原因是csv文件的列分隔符是逗号或者\t，而hive中默认使用\001

2014-12-24 17:46:34 15374 1

原创 hive中建表及put数据

在hive中创建一张order表，语句如下：create

2014-11-21 14:17:37 3638

原创 sql中join、left join、left outer join、right join 的区别

left join(左连接)：返回左表中所有记录和you

2014-11-19 18:27:21 1219

原创 java中利用开源HttpClient包抓取网页

1.用到的jar包：commons-logging.jarcommons-httpclient.jar(此包的版本为3.1)commons-codec.jar2.源码：package test;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.Dat

2013-04-19 21:42:51 962

原创 vb.net+sql 餐饮管理系统

餐饮管理系统设计文档0背景:随着餐饮行业的发展,餐饮行业的管理越来越趋向于精细化，自动化，智能化。餐饮业的管理开始注重细节，将利润与每个细节结合起来，力求资金的有效运转，因此要求餐饮管理系统能详细记录每次服务的内容以及时间。以便于从大量的数据中分析顾客的偏好，以及某一种菜品的销售与季节等其他因素的关系。力求菜品随顾客的口味变化。与此同时，顾客的要求逐渐趋向个性化，频繁的提前订餐及退订对于传

2013-04-09 20:10:25 9012 4

原创 DIY 版QQ 之界面

2.代码部分/** * */package demoswing;import java.awt.*;import javax.swing.*;/** * @author *** * date 2012年9月14日8:28:22 * 功能：生成QQ登陆界面 */public class DemoQQ extends JFrame{ public

2013-04-09 19:48:14 1311

原创 java调用matlab实例（以四则运算为例）

Java调用matlab进行简单的四则运算所用软件平台：eclipse、matlab2010b1. 先在matlab中定义一个function，名字是operation，其中a,b是参数2. 点击“文件->保存”,选择路径，保存成为一个.m文件3. 在matlab的命令窗口输入“deploytool”，出现如下界面：4. 在Name行

2013-04-09 12:24:09 1712 3

原创 C语言通讯录

一、引言为了系统的运用C程序设计方面的知识，考察自身知识结构上的不足，巩固程序设计基础，我做了一个通讯录管理系统。我觉得它的综合性比较强，不仅能运用到初级设计的顺序，选择，循环等的结构，同时还可以体现c语言的特色，比如说指针、结构体、共用体、文件。通讯录中涉及到的电话号码是整形数据，而姓名则是字符型的，同时邮箱又是整形和字符型数据的混合使用。有利于加强对数据类型的掌握。通讯录要求的基本功能

2013-04-08 22:21:36 1219

microsoft visual c++ 14.0

在安装python依赖包的时候，报错信息"microsoft visual c++ 14.0 is required"的解决办法。 1. 下载此文件、2.解压安装、3.再次执行pip install xx命令或者使用python setup.py install命令。

2018-11-28

HibernateTools-3.2.4

HibernateTools-3.2.4,Hibernate工具包，开发使用，欢迎下载

2018-04-27

tk.eclipse.plugin.htmleditor_2.2.0.jar，eclipse插件

2018-03-30

（1）系统管理模块包括切换系统，系统设置，退出系统这几个功能。切换系统能弹出登录界面方便另外一位用户使用系统；系统设置包括用户密码修改、主界面网页设定、系统风格选择，用户在登入系统后可进入用户密码修改模块更改自己的密码；主界面网页设定的作用是更改每个角色登陆到系统看到的主菜单界面的网页的url，可以设定不同角色的用户进入系统后看到的网页内容是不同的。系统风格设置可以改变系统的风格，选择用户喜欢的风格。退出系统能关闭所有使用的资源，退出整个系统。（2）人事管理模块包括员工信息管理和系统用户管理。其中，员工信息管理能对普通员工的信息执行增删改查等操作，系统用户管理能对系统用户的信息进行增删改查。（3）菜单管理模块能够对菜单的编号、名称、价格、分类等执行增删改查操作。（4）报表统计模块能对员工的学历信息以图表的形式统计并展现；通过大量的消费数据得出顾客喜欢的菜品以及喜欢的菜品组合，并用饼图进行反应，方便管理人员作出正确的决策；库存信息统计能够很直观的反应当前库存的状况；历史账单统计能够让用户一览流水数据。除此之外，报表还可以以word、excel、pdf等形式导出。（5）库存管理模块能够实现对物料的编号、名称、单价、数量、分类等的增删改查管理。（6）订餐及收款模块包含预定、退订、点菜、结账等功能。席位共有20个，未预定时桌位的颜色是绿色的，点击预定后桌位变为黄色，并弹出顾客信息登记界面，包括客户的编号、姓氏、电话、已预订的桌位号以及预定时间，且已经预定的桌位不能再次订餐。点击退订能对已经定的桌位进行退订，退订后桌位颜色变为绿色，对于已经就餐的桌位不能退订。已预订或未预定的桌位均能点菜，点菜时弹出点菜界面，包括已点的菜品及每份菜的数量，点菜之后餐桌颜色变为红色。结账模块用来对已经就餐的餐桌结账，结账界面的信息包括桌号，消费清单，应付款。输入实收金额，自动计算找零金额。并显示当前的操作员及操作时间，点击完成将以上信息写入数据库，打印按钮的操作状态变为可操作，点击打印按钮能够打印顾客回执

2014-07-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

microsoft visual c++ 14.0

HibernateTools-3.2.4

tk.eclipse.plugin.htmleditor_2.2.0.jar，eclipse插件

vb.net+sqlserver餐饮管理系统

Java EE户籍管理系统

java二维码生成工具

java调用matlab

matlab2010b注册码

空空如也