- 博客(34)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 计算机基础知识
-0]原码1000 0000在除符号位外按位取反后得到[-0]反码1111 1111，[-0]反码1111 1111再+1后因为符号位发生了进位，得到[-0]补码1 0000 0000。9位二进制的[-0]补码1 0000 0000已经超出了8位二进制的位数限制，那只能保留最低的8位二进制，即最高位1要被舍弃，因此最后[-0]补码还是0000 0000。-2-1=1111 1110【-2的补码】+1111 1111【-1的补码】=1111 1101【补码】，对应原码1000 0011。
2024-04-18 09:01:48
251
原创 AIGC相关学习
1） 我们要拥有快速学习的能力我在一线在产业界和学术界中很大的感触，就是技术革命的节奏越来越快。这就告诫我们必须培养快速学习这一核心能力，否则就会跟不上时代的变化。2）学会适应我们需要适应AI的辅助，利用AI来增强自己，把它真正作为一个工具。总的来说，快速学习的能力、创新能力和驾驭使用AI工具的能力，这三项能力是我认为需要增强的。对于大数据开发来说，掌握AIGC系统框架。
2024-04-09 21:00:35
600
原创 广告相关串烧
实时竞价(RTB)生态体系&原理RTB广告生态体系: DSP需求方平台+SSP供应方平台+Ad Exchange实时竞价广告避免了流量浪费，并将利益最大化;交易时间：50ms以内计费方式：竞价CPM+竞价CPC
2020-08-03 16:14:05
170
原创 Spark编程常用操作
创建DataFrame从list创建l = [('Alice', 1)]# 类型自动推测，默认列名df=sqlContext.createDataFrame(l) # DataFrame[_1: string, _2: bigint]# 指定列名sqlContext.createDataFrame(l, ['name', 'age']) #DataFrame[name: string,
2017-12-12 18:31:16
370
原创 Scala模式匹配
主目录模式匹配匹配变量值// 只要一个case分支满足并处理了,就不会继续判断下一个case分支// 如果值为下划线,则代表了不满足以上所有情况下的默认情况如何处理val grade = "A"val name = "Leo"grade match { case "A" => println("Excellent") case "B" => println("Good") /
2017-11-15 18:51:21
257
原创 Scala常用类
常用类Array长度不可改变的数 组val a = Array("hello", "world")//或者使用new创建val a = new Array[String](10)a(0) = "hi"//排序scala.util.Sorting.quickSort(a)ArrayBuffer类似java的ArrayList，长度可变import scala.collection.mut
2017-11-15 18:50:59
252
原创 Scala常用表达式
常用表达式if表达式可以返回值的，类型会自动推断val isAdult = if (age > 18) 1 else 0循环while(true) {}for(i <- 1 to n) {} //[1,n]for(i <- 1 until n) {} //[1,n)for(i <- (1 until n).reverse) //反向遍历for(c <- "Hello World")
2017-11-15 18:50:02
1115
原创 Scala面向对象编程
类的定义package com.scala //定义包名// 定义类的时候自动引入主构造函数，参数和类参数一致// 没有定义在任何方法或者是代码块之中的代码,就是主constructor的代码// 类参数带val或var修饰的,自动成为类的实例,可以通过对象.变量名引用// 没有带var或var修饰的,外部无法引用class Student(val name: String,...
2017-11-15 18:49:37
284
原创 Scala隐式转换和隐式参数
隐式转换和隐式参数 Scala在面对编译出现类型错误时，提供了一个由编译器自我修复的机制，编译器试图去寻找一个隐式implicit的转换方法，转换出正确的类型，完成编译 优点使代码简洁,但可读性差val num: Int = 3.5 // Compile Error// 如果在上面加一个隐式转换方法之后，就没问题了implicit def double2Int(d: Double)
2017-11-15 18:46:10
266
原创 Scala基本语法
变量声明：val vs varval name: String = "name"var name = "name"val声明的是常量，无法改变变量值var声明的是变量，可以改变引用值变量类型可选，不写则依据值自动推导lazy变量,不马上计算，使用的时候才计算// 通配符import scala.io.Source._// scala.Predef对象和java.lang 、scala
2017-11-15 18:45:41
176
原创 Scala vs Java
Scala vs Java都是基于Java虚拟机，也即需要编译为字节码，字节码由虚拟机解释执行Scala可以任意调用Java的代码scala有支持REPL交互式的解释器,会快速编译scala代码为字节码,然后交给JVM来执行。REPL指Read(取值)-> Evaluation(求值)-> Print(打印)-> Loop(循环)scala没有++、--操作符没有java的基本数据类型(如
2017-11-15 18:45:05
453
原创 Scala函数式编程
函数(function) vs 方法(method)函数函数定义使用：=>, 如val f1 = (x:Int) => x+3f1的类型是Int=>Int,也即是个函数，输入是Int，返回是Int类型的函数函数是一个完整的对象，和普通对象一样，有属于的类型，如Function1<T,T>(描述有一个输入参数,返回的是T),有方法，如apply appl...
2017-11-15 18:44:10
204
原创 Scala actor
主目录Akka Actorimport akka.actor.Actorimport akka.actor.ActorSystemimport akka.actor.Props //定义一个Actorclass HelloActor extends Actor { //如果接收到"hello",返回"您好", 如果接收到其它，返回"您是？" def receive = { ca
2017-11-15 17:53:23
274
原创 hive sql分区和条件优化
分区过滤如果不加分区，默认会扫描整个表的数据如何查看表有哪些分区：show partitions databaseName.tableName如何确认分区是否生效：explain dependency sql分区放置位置普通查询，分区过滤放在where后面，如 select * from table1 t1 where t1.date between '20151205' and '2
2017-02-17 17:02:51
7287
原创 hadoop示例代码
hadoop示例代码序列化和反序列化 IntWritable writable = new IntWritable(10); ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(); DataOutputStream dataOutputStream = ne
2017-02-03 20:35:20
639
1
原创 centos7安装python3.5
安装依赖yum groupinstall "Development tools"yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y下载python包 h
2016-10-28 13:14:32
1093
原创 centos安装python2.7和pip2.7
安装python2.7yum groupinstall -y "Development tools"yum -y install gcc gcc-c++ make zlib-devel pcre-devel openssl-devel install perl perl-devel perl-ExtUtils-Embed libcurl-devel lrzsz lzo lzop libcurl-
2016-06-27 18:47:03
6219
原创 spark开发环境
使用maven管理scala依赖包scala开发环境idea 如果没有scale-archetype-simple这项，可以通过新添加获取 <groupId>net.alchim31.maven</groupId><artifactId>scala-archetype-simple</artifactId><version>1.5</version><packaging>mave
2016-05-08 18:16:54
738
原创 tableau连接集群及实战（未完）
tableau有着强大的可视化功能，需要从集群拉取数据，考虑网络和数据的共享，将tableau server放在集群相同网络，tableau desktop从server端做和共享worksheet
2016-05-07 11:34:44
2468
2
原创 currying优点示例
Γ(n)=(n−1)!∀n∈ℕ\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N 函数式编程经常要用到高阶函数，scala可以简写返回值类型是函数的函数，简写的函数就叫currying函数 - 疑问一：为什么需要将多个参数的函数拆成多个函数呢 - 求和∑baf(a)\sum_{a}^bf(a)def sum(f: Int => Int, a: Int, b
2016-05-07 11:24:26
385
原创 scala学习笔记目录(整理中)
Scala vs Java基本语法函数式编程隐式转换和隐式参数面向对象编程模式匹配常用表达式常用类Scala actor参考JIM MCBEATH：Scala Functions vs Methods
2016-04-28 22:19:47
1530
原创 hue相关
Hue账户名修改Hue支持账户密码、账户权限的管理，但不支持用户名的修改。如果有员工更替，账号名也需要相应变更。可以通过后台数据修改，主要两个表以及对应的两个字段auth_user(username)useradmin_userprofile(home_directory)
2016-04-20 19:03:36
1004
原创 配置python镜像源
安装python第三方库一般使用工具easy_install和pip，他们都是从Python的官方源pypi.python.org/pypi 下载到本地，然后解包安装。 不过因为某些原因，访问官方的pypi不稳定，很慢甚至有些还时不时的访问不了。可以通过配置镜像源。vi ~/.pip/pip.conf [global] index-url=http://pypi.douban.com/simp
2016-03-25 22:09:43
530
原创 登录cloudera manager，并查询impala query历史java示例
通过java登录cloudera manager，并进行impala query历史查询示例！
2016-03-17 17:21:38
2720
1
原创 hive sql join优化
1.分区过滤分区过滤什么什么意思：如果不加分区，默认会扫描整个表的数据分区用什么来描述：一般有时间，如year，month，day，hour，当正常表的字段使用怎么知道一个表是否有分区看表的字段是否有类似“month，day，hour”这样的字段show partitions databaseName.tableName怎么知道加的分区是否有效：执行的sql会有日志，如果map
2016-01-06 16:29:48
691
原创 spark文档汇总
1.spark的谣言粉粹系列1.1 Spark Misconceptions 解释了spark不是内存计算模型、spark对比hadoop并不能都快10x-100x、spark并不是什么新的技术1.2 spark系列中文文章 博主是中科院的博士，人很nice，这个中文系列是目前我见到最好的。
2015-12-24 15:25:01
955
原创 cloudera manager和cdh目录空间报警解决
相信使用cloudera manager管理集群最先遇到的一个问题就是目录空间不够默认路径都在系统盘，系统盘一般不会很大。所以最笨的办法是安装包的路径和各个组件输出路径配置到其他大的目录，但这种方式不利于维护！我现在都是所有报警目录都做软链接到大的磁盘目录，如，/data目录空间较大，挂了一个2个T的磁盘，可以软链接到这，如 mv /dfs /data/ ln -s /data/dfs /dfs
2015-10-27 10:50:42
5455
原创 cloudera manager下的hive权限配置
前言公司运营、BI以及财务不同部门不同人员需要hive数据查询服务，所以需要分配不同的权限给相关人员权限配置主要涉及两项：认证(authentication)：验证用户所用的身份是否是对的授权(authorization)：验证用户所用身份操作是否有权限cloudera集成的hive认证支持常用的LDAP和kerberos，授权使用的是他自家的sentry，sentry目前还处在孵化中。为了推
2015-10-10 15:49:40
6077
原创 cloudera集成kafka
CDH这个大包没有将kafka集成进来，所以单独来说下kafka既然kafka没有被集成进来，为什么添加服务的时候能看到有kafka 所看到的其实是Kafka Custom Service Descriptor (CSD)，这仅仅是一个kafka服务的描述和相关的配置参数，真正的安装包需要单独下载步骤本文所使用版本见（cloudera manager和cdh离线安装）主页->主机->Parce
2015-10-06 19:48:53
2344
原创 cloudera manager和cdh离线安装
cloudera manager和cdh离线安装前言之前使用apache hadoop版本安装部署集群，需要自己控制各个组件版本，以及添加节点和服务要花很多时间，所以使用cloudera来进行安装和管理，以及后期方便维护与升级。目前我厂集群正式环境使用的是这种方式组件介绍cloudera公司在apache hadoop发行版基础上，bug fixs和加入额外的一些组件，整体测试打包发行的版本叫CDH
2015-10-02 15:07:20
2859
原创 开源组件介绍
1集群为什么选择cloudera manager之前使用apache hadoop版本安装部署集群，需要自己控制各个组件版本，以及添加节点和服务要花很多时间，所以使用cloudera来进行安装和管理，以及后期方便维护与升级。目前我厂集群正式环境使用的是这种方式2组件介绍cloudera公司在apache hadoop发行版基础上，bug fixs和加入额外的一些组件，整体测试打包发行的
2014-09-21 13:09:56
1668
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人