- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 IDEA 创建scala class
创建modle指定modle 名称，如scala安装scala 插件Project Structure > Project Settings > Modules选定要创建scala class 的module ，右键，Add，Scala这个时候，会发现[module_name].iml 如本文中，scala.iml 中多了一行（这就是好多文章提到的，解决idea创建不了scala class 的方法）...
2021-05-20 10:30:12
932
原创 LeetCode 20 有效的括号
非科班想去大厂，就要把数据结构和算法学好。因为大厂一面就会让手写代码，由于自己没有准备，被大厂一面手写算法所伤，遂励精图治，开始到LeetCode刷题。可一开始效果特别不好，现在总结原因有两个，1、解决问题的思想考虑不到。2、照搬网上搜到的代码后，很快就忘记，而且对照搬的代码没有好坏的认识。如今找到了正确的学习方式，和大家分享：理论基础很重要，一边看数据结构与算法的书籍，一边刷对应类型的题。这...
2018-10-23 19:47:09
193
原创 单链表反转
public ListNode reverseList(ListNode head) { if (head == null) return null; ListNode p = head.next; head.next = null; ListNode q = head; ListNode pr; ...
2018-10-22 14:20:17
201
原创 IDEA 利用SpringBoot搭建Web服务
直接上操作流程 New Project-->Spring Initializr--Next2 自定义Group、Artifact。next3 只选择Web-->Web 即可，从右边来看就是加依赖，项目建好后也可以加。 next4 项目名称、项目所在位置自定义。 Finsh 5 项目建好后结构如下6 看眼pom文件spring-b...
2018-07-31 18:24:29
487
原创 org.apache.kafka.common.errors.TimeoutException
记录一下这个坑：org.apache.kafka.common.errors.TimeoutException问题出在集群的kafka版本是1.0.1而项目的依赖使用的是0.10.2.0
2018-07-11 17:41:41
5516
1
原创 Kafka消费异常处理
异常org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time bet...
2018-06-13 16:30:00
28530
4
原创 Mac IDEA 本地运行WordCount程序
一、前提1、在Mac通过jps查看进程，保证如下五个进程存在DataNode、NameNode、SecondaryNameNode、NodeManager、ResourceManager2、准备要计算的文件在项目根目路径下创建source/word文件夹，并创建words文件文件内容如下shanghai,5shanghai,2beijing,3shanghai,1beijing,6二、程序...
2018-05-25 18:42:26
1830
1
原创 MacOs Hadoop环境搭建 IDEA开发MapReduce程序及调试
公司有个计算需求，由于不能通过连接公司的Hadoop集群进行本地编写MR程序进行调试所以直接自己搭建一个本地Hadoop环境进行MR程序测试，然后再讲程序打包丢到公司Hadoop集群别的不说，直接上干货环境操作系统：MacOS开发环境：IDEA步骤：一、下载hadoop安装包:http://hadoop.apache.org/releases.html公司目前使用2.6.5，为了避免版本上的麻烦，...
2018-05-11 16:57:04
3033
转载 很好的技术贴链接整理---kylin
Apache Kylin 高级设置：联合维度（Joint Dimension）原理解析Apache Kylin 高级设置：层级维度（Hierarchy Dimension）原理解析Apache Kylin高级设置： 必要维度 （Mandatory Dimension）原理解析Apache Kylin 高级设置：聚合组（Aggregation Group）原理解析Apache Kylin在美团点评的...
2018-02-26 20:42:37
376
原创 kylin 权威指南----读书笔记2
写在前面：本文都是我对kylin有一定了解后，再看权威指南时的笔记，有的只记下了自己认为重要的概念，有的几下自己没有掌握的概念，所以有一定片面性，如果您正在使用kylin，个人建议还是用一个下午看看kylin权威指南，比不懂概念一直找度娘省时高效。点击下载kylin权威指南内容基于kylin1-5-2本文从多个角度介绍了Cube的优化方法：从Cube剪枝角度，从并发粒度角度，从RowKey设计角度...
2018-02-23 16:14:55
602
原创 kylin 权威指南----读书笔记1
本文都是我对kylin有一定了解后，再看权威指南时的笔记，有的只记下了自己认为重要的概念，有的几下自己没有掌握的概念，所以有一定片面性，如果您正在使用kylin，个人建议还是用一个下午看看kylin权威指南，比不懂概念一直找度娘省时高效。点击下载kylin权威指南维度和度量维度是指审视数据的角度，它通常是数据记录的一个属性，例如时间地点等度量是基于数据所计算出来的考量值，通常是一个数值，如销售额，...
2018-02-23 16:13:04
1220
原创 Kylin遇到的问题记录--#3 Extract Fact Table Distinct Columns
问题：job执行到#3报错问题分析：由于报java heap space错，首先想到的是调大reduce、jvm这两个参数（我的另外一篇博文提到），结果还是不奏效。由于我是身边第一个吃螃蟹的人，只能硬着头皮接着考虑出现问题的原因，心态从焦虑逐渐沉静下来，仔细思考了自己的表此表仅有两个维度，但是每个维度的基数都特别大，其中一个10000+，另外一个2000000+后来又经过查看大量资料，发现这种基数...
2018-02-12 14:08:38
2429
原创 kylin 通过jdbc驱动进行sql查询
1、创建maven工程，添加依赖<!-- https://mvnrepository.com/artifact/org.apache.kylin/kylin-jdbc --> <dependency> <groupId>org.apache.kylin</groupId> <artifactId>kylin-jdbc<...
2018-02-12 13:44:46
3088
转载 为什么需要使用视图
转自http://blog.csdn.net/yu616568/article/details/50548967 Kylin在使用的过程中使用hive作为cube的输入，但是有些情况下，hive中的表定义和数据并不能满足分析的需求，例如有些列的值需要进行处理，有些列的类型不满足需求，甚至有时候在创建hive表时为了图方便，hive中的所有列都被定义成了string，因此很多情况下在使用...
2018-02-09 19:51:05
2427
原创 kylin 增量更新cube设置
完整脚本，亲测没有问题#!/bin/bash - cubeName=daily_monthly_alive today=`date +%Y-%m-%d` tdTs=`date -d "$today 08:00:00" +%s` endTime=$(($tdTs*1000)) curl --user ADMIN:KYLIN -X PUT -H 'Conte...
2018-02-09 19:35:59
3679
4
原创 Kylin遇到的问题记录--reduce 内存分配不足
问题：reduce内存分配不足解决：http://kylin.apache.org/docs20/install/advance_settings.html解决实例：
2018-02-09 19:11:40
1939
Apache Kylin 权威指南
2018-02-12
Nginx-1.9.7
2017-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人