- 博客(63)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hive-2-基本类型
基本类型列类型整型：INT字符串类型：包含两种数据类型：VARCHAR和CHAR。Hive遵循C-类型的转义字符。时间戳：它支持传统的UNIX时间戳可选纳秒的精度。日期：DATE的值在年/月/日的格式形式描述{{YYYY-MM-DD}}小数点：decimal(10, 0)联合类型：UNIONTYPE<>文字浮点类型：浮点类型是只不过有小数点的数字。组成DOUBL...
2019-12-09 19:55:16
195
原创 Hive-1-基础
Hadoop简介Hadoop是一个开源框架来存储和处理大型数据在分布式环境中。包含两个模块，一个是MapReduce，另一个是Hadoop分布式文件系统（HDFS）。MapReduce：是一种并行编程模型，在大型集群普通硬件可用于处理大型结构化，半结构化和非结构化数据。HDFS：Hadoop分布式文件系统是Hadoop框架的一部分，用于存储和处理数据集。提供了一个容错文件系统在普通硬...
2019-12-07 15:15:20
147
原创 寻玉-理论-源码阅读方式/技巧
技巧1梗概先让项目可以跑起来（很重要）debug打印日志以及修改log4j日志级别查看调用栈全文搜索大胆猜测在验证（？）思考、交流多思考很有必要，可能以后在自己的项目中就会用这种思想这种技巧，所以需要多思考。多与一些大佬交流。坚持上面的都是次要的，这条是最重要的：坚持，滴水穿石、持之以恒，可能在短期看不出来效果，因为需要一个量变到质变以及破茧成蝶的过程。自评...
2019-11-14 20:05:32
108
原创 RASA-1-基础说明
摘要本文内容基于RASA官网Rasa是一个基于多轮对话的框架，其中包含两个模块Rasa core与Rasa nlu。Rasa nlu是用来理解语义的，包括意图识别、实体识别，它会把用户的输入转换为结构化的数据。...
2019-11-06 14:20:29
684
1
原创 服务基本估算&性能监控告警
主要内容服务资源基本估算服务性能常用指标打点组件介绍和使用告警系统配置说明服务资源基本估算基本资源4种基本资源：cpu：时间~程序耗时 * 服务负载内存：在线运行空间~程序数据结构使用磁盘：离线空间~文件存储网络：外部资源~网络延迟和可达性CPU时间 ~ 程序耗时 * 服务负载基本度量公式：1 CPU = 1 sec（秒）= 1000ms（毫秒）假设服务A处理一...
2019-10-17 16:22:23
393
原创 lambda-2-function-Predicate
Predicate示例Predicate简介Predicate用于分配lambda表达式。functional interface为功能性接口(函数式接口)，有此注解的接口类只有一个对外接口方法。Predicate的接口为test(T t)。当我们将对象传递至这个方法时，它将通过分配的lambda表达式来评估对象。语法介绍：public static void main (Strin...
2019-10-09 19:41:44
129
原创 lambda-3-stream
1、stream简单运用 List<String> list = Arrays.asList("hello", "wworld", "aaaa"); // list.forEach(str -> System.out.println(str.toUpperCase())); List<String> resultList...
2019-10-09 19:41:30
78
原创 lambda-1-lambda简介
lambda用法1、函数式接口函数式接口用@FunctionalInterface注解标注的接口类，lambda必须和函数式接口的抽象函数描述一样的参数类型。@FunctionalInterfaceinterface Converter<F, T> { T convert(F from);}可以使用lambda接口实现Converter接口Converter&...
2019-10-09 17:42:05
506
原创 linux日常1-记录
1、截取文件前100行# 截取文件前100行，输出至a.txthead -100 filename > a.txt# 截取文件最后100行，输出至b.txttail -100 filename > b.txt2、查看文档# 显示文件里匹配"关键字"那行以及上下5行cat xx.log | grep -C 5 '关键字'# 显示"关键字"及前5行cat xx.log ...
2019-10-08 21:12:04
74
原创 java日常1-集合-记录
1、去除list中的null元素推荐使用方法(JDK中方法)public static <T> List<T> removeNull(List<? extends T> oldList) { oldList.removeAll(Collections.singleton(null)); return (List<T>)oldList;}...
2019-10-08 20:45:15
89
原创 leetcode-1
题目给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]思路拿到题目后...
2019-09-29 14:30:10
73
原创 scala-1-简介
1、Scala语言介绍1.1、语言类型scala是面向对象语言。是函数式编程语言。是静态类型语言，不提供冗余类型的信息。大多数情况下，不需要指定类型。scala运行在JVM上。scala编译器将scala代码编译成java字节代码，然后通过scala命令执行。scala可以执行java代码。scala可以做并发和同步处理。1.2、Scala与Javascala具有与java完...
2019-09-11 19:19:59
358
原创 AI-一些概念
1、NLP的一些概念NER：命名实体识别，用于确定文本中哪些词条属于命名实体，类别范围包括人名，组织，地点等。NLP：自然语言处理NLTK：自然语言工具包PCA：主成分分析法ancher：锚点。像是一个迅速定位器一样是一种页面内的超链接。...
2019-06-19 21:07:57
81
原创 hadoop-1-简介
hadoop简介1、hadoop适用场景适合：大规模数据、流式数据（写一次，读多次）；商用硬件不适合：低延时的数据访问；大量的小文件；频繁修改文件（基本就是写一次）2、hadoop架构hdfs：分布式文件存储；yarn：分布式资源管理；mapreduce：分布式计算；others：利用yarn的资源管理功能实现其他的数据处理方式。3、hdfs3.1、简介分布式文...
2019-06-04 20:03:54
249
原创 elastic search_1_基本概念
基本概念1、索引（Index）es将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。相当于SQL中的一个数据库，或者一个存储方案schema。一个es集群可以创建任意数目的索引。2、类型（Type）类型是索引内部的逻辑分区，一个索引可以定义一个或多个类型。相当于SQL中的表。3、文档（Document）文档时Lucene索引和搜索的原子单位，是包含了一个或多个域的...
2019-05-30 14:45:06
335
原创 python-yield from用法详解
yield fromyield from是python3.3新出现的句法1、替代内层for循环def chain(*param): for it in param: yield from its = 'ABC't = tuple(range(3))print(list(s, t))最终的输出为[‘A’, ‘B’, ‘C’, 0, 1, 2]yield from完全...
2019-05-29 16:23:57
1121
1
原创 nodejs-3-细节
细节1、REPL（交互式解释器）REPL表示一个电脑的环境，Node自带了REPL，可以执行以下任务：读取（读取用户输入，解析输入了Javascript数据结构并存储在内存中）；执行（执行输入的数据结构）；打印（输出结果）；循环（循环操作以上步骤直到用户退出）。可以进行简单的运算。可以将数据存储在变量中。变量声明用var关键字时，不会打印出来。多行表达式。可以使用_获取上一个表达式的...
2019-05-24 14:43:50
88
原创 nodejs-2-第一个应用
第一个应用1、引入required模块使用require指令载入http模块，实例化http：var http = require("http")2、创建服务器使用http.createServer()的方法创建服务器，并使用listen方法绑定8080端口。通过request、response参数来接收和响应数据。实例：var http = require('http');...
2019-05-23 19:54:57
83
原创 nodejs-1-安装
nodejs安装1、安装首先，从https://nodejs.org/en/download/下载对应平台的安装程序，推荐win下载msi文件，可以直接add to path，避免了环境变量配置的过程。安装好之后，在cmd下键入node -v，安装正常会显示响应的版本号。键入node，进入node.js交互环境，此环境下，可以任意输入JavaScript语句。2、npmnpm为N...
2019-05-23 14:52:24
70
原创 python-15-异步IO
异步IO1、协程在执行过程中，子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。一个线程执行的过程中。优势在于极高的执行效率，不需要线程切换；不需要多线程的锁机制。通过generator实现。子程序就是协程的一种特例def consumer(): r = '' while True: n = yield r if...
2019-05-21 10:04:37
73
原创 python-14-web开发
web开发1、http协议http实在网络上传输html的协议，用于浏览器和服务器的通信。http请求的流程：1、浏览器首先向服务器发送HTTP请求，请求包括： 方法：GET/POST 路径：/full/url/path 域名：由Host头指定2、服务器向浏览器返回HTTP响应，响应包括： 响应代码：200成功；3xx重定向；4xx客户端请求有错误；5xx服务器端处理时发生错...
2019-05-20 20:40:29
81
原创 python-14-网络编程
网络编程1、TCP编程1.1、客户端AF_INET代表使用的是ipv4协议。SOCK_STREAM指定使用面向流的TCP协议。这样，一个socket对象就创建成功了，但是还没有建立连接。connect建立连接。s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)s.connect((地址, 端口号))...
2019-05-20 20:15:29
67
原创 python-13-常用第三方模块
常用第三方模块1、Pillow处理图像2、requests请求3、chardet用于检测编码。chardet.dect(data)4、psutil
2019-05-20 20:03:07
224
原创 python-12-常用内建模块
常用内建模块1、datetimefrom datetime import datetimenow = datetime.now() # 获取当前dateTime，到微秒，类型为datetime.datetimedt = datetime(2015, 4, 19, 12, 20) # 用指定的日期时间创建datetimedt.timestamp() # 把datetime转换为timest...
2019-05-20 19:37:21
99
原创 python-11-正则表达式
正则表达式1、基础在正则表达式中，如果直接给出字符，就是精确匹配。\d匹配一个数字，\w匹配一个字母或数字。.可以匹配任意字符。*表示任意个字符；+表示至少一个字符；\s表示匹配一个空格；?表示0个或1个字符；{n}表示n个字符，{n,m}表示n-m个字符。对于’-'这种特殊字符，要用\转义。2、进阶[0-9a-zA-Z_]：可以匹配一个数字、字母或者下划线；[0-9a-zA-...
2019-05-20 16:39:43
83
原创 python-10-进程和线程
进程和线程多任务有三种方式：多进程、多线程、多进程加多线程1、多进程linux操作系统提供了一个fork()系统调用，调用一次，返回两次，因为**操作系统自动把当前进程复制了一份，然后分别在父进程和子进程内返回。**子进程返回0，父进程返回子进程id。子进程字需要调用getppid()就可以获得父进程的id。getpid()为获取当前进程id。1.1、multiprocessing...
2019-05-20 16:04:50
77
原创 python-9-IO
IO1、文件读写1.1、读文件打开文件对象，可以用python内置的open()函数。f = open(地址, ‘r’)，如果文件不存在，则返回一个IOError的错误。如果read入去成功，会把内容读到内存，用一个str对象表示。**最后一步调用close()方法关闭文件。**常用try…finally来实现。可以反复调用read(size)方法每次最多读取size个字节的内容。调用...
2019-05-20 11:52:02
100
原创 python-main
基础1、判断变量是否为None主要有三种写法：if x is None:if not x:if not x is None:2、lambda函数的用法被称作匿名函数，没有具体名称的函数，允许快速定义单行函数，可以用在任何需要函数的地方。lambda与def的区别：def创建方法是有名称的，lambda没有；lambda会返回一个函数对象，但这个对象不会赋给一个标识符，而...
2019-05-18 21:25:06
86
原创 python-8-错误、调试和测试
调试测试1、错误处理1.1、trypython内置了一套try机制。若except后存在finally语句块，则执行except之后会执行finally。不同的错误可以用多个except来捕获。存在Exception。可以跨越多层调用，最底层出错，只要某个上层捕获到了，就可以处理。不需要在每个可能出错的地方去捕获错误，只要在合适的层次去捕获错误就可以了。1.2、调用栈如果没有错...
2019-05-17 18:02:00
101
原创 python-7-面向对象高级编程
面向对象高级编程参考java：数据封装、继承、多态。多出来的概念：多重继承、定制类、元类。1、slots使用MethodType(方法, 对象)给对象(实例)绑定一个方法。对一个实例绑定的方法对另一个实例是没有用的。可以用：类.方法=方法。把类绑定一个方法。这样所有实例均可以使用。如果要限制Student的实例只能添加name和age属性class Student(objec...
2019-05-17 17:27:29
90
原创 python-6-OOP
面向对象编程1、类和实例创建实例：bart = Student()可以自由地给一个实例变量绑定属性。如给bart绑定一个name属性。__init__方法第一个参数是self，表示创建的实例本身，在__init__方法内部，可以吧各种属性绑定到self上。有了此方法，在创建实例时，就不能传入空的参数了，必须传入与__init__方法匹配的参数。2、数据封装参考java。3、访...
2019-05-17 14:55:13
91
原创 python-5-模块
模块1、模块简介在python中，一个.py文件就称之为一个模块module。相同名字的函数和变量完全可以分别存在于不同的模块中。尽量不要与内置函数名字冲突。为了避免模块名冲突，python又引入了按照目录来阻止模块的方法，称为包package。引入包之后，只要顶层包名不与别人冲突，所有模块都不会与别人冲突。模块名变为：包名.模块名。每个包下面都有一个_init_.py的文件，这个文件...
2019-05-16 21:17:50
90
原创 python-4-函数式编程
函数式编程1、简介Functional Programming。允许把函数本身作为参数传入另一个函数，还允许返回一个函数。2、高阶函数2.1、变量可以指向函数abs(-10)是函数调用，abs是函数本身。函数本身可以赋值给变量，即：变量可以指向函数。f = abs f(-10) --> 102.2、函数名也是变量对于abs()这个函数，完全可以把abs看成是...
2019-05-16 20:51:46
103
原创 python-3-高级特性
高级特性1、切片1.1、对于获取指定索引范围的操作可以用切片比如L[0:3]。获取前三个元素；若第一个索引是0，也可以用L[:3]。tuple也可以用切片操作，获取的结果仍然是tuple。字符串也可以看做是一种list，每个元素就是一个字符。[::2]每2个数取一个。2、迭代python的for循环可以用在所有可迭代对象上，无论有无下标。迭代value，可以用for value ...
2019-05-16 16:36:59
141
原创 python-2-函数
函数1、创建函数1.1、定义函数定义函数def my_abs(x):定义一个什么都不做的空函数，可以使用pass语句：def nop(): passpass可以用来做占位符。1.2、参数检查若参数个数不对，会跑出TypeError错误。数据类型检查可以使用内置函数isinstance()实现：def my_abs(x): if not isinstan...
2019-05-15 21:15:50
213
原创 python-1-简介
1、基础1.1、基础语法以#开头的语句是注释；当语句以：结尾时，缩进的语句视为代码块；Python时大小写敏感的。1.2、数据类型整数：整数运算永远是精确地（除法也是）；浮点数：对于很大或很小的浮点数，必须使用科学计数法表示，把10用e代替，1.23X10^9就是1.23e9，或者12.3e8。浮点数和整数在计算机内部存储的方式是不同的。浮点数会有四舍五入的误差。字符串：注意...
2019-05-15 20:32:28
604
原创 面试题-mysql1
1、索引是什么索引是为了加速对表中数据行的检索而创建的一种分散存储的数据结构。关系型数据库的索引一般为硬盘级索引。2、B+树2.1、二叉查找树第一个元素为根节点，后面元素比他大的放右边，小的放左边。若后续插入的元素都比根节点大，则会变成一个线性链表的数据结构，与无索引相同。2.2、平衡二叉查找树节点左右叶子节点层级差不超过1。频繁变更的列最好不要建立索引，左旋右旋会造成...
2019-04-18 22:28:33
95
原创 面试题-JVM2-类加载过程
1、代码运行步骤首先，虚拟机进程首先从classpath中找到Text.class文件，读取这个文件中的二进制数据，然后吧Text类的信息存放到运行时数据区的方法区中。然后，JVM定位到方法区中的Text类的Main方法的字节码，开始执行它的指令。在堆内为一个新的实例分配内存，这个实例持有着2、类的加载顺序父类静态代码块（不包括静态方法）；子类静态代码块（不包括静态方法）；...
2019-04-13 22:48:29
199
原创 面试题-JVM-GC
1、GC基础1.1、GC基础算法标记清除、标记整理、复制、分代。这些算法做的第一件事都是标记。1.2、JVM标记算法JVM标记算法采用了根搜索引擎，根有几种：1、JVM栈(虚拟机栈)的引用；2、静态类、常量的引用；3、本地栈中的引用；4、本地方法的引用；标记分为几个阶段：1、标记直接和根引用的对象；2、标记间接和根引用的对象；3、由于分代算法，被老年代对象所引用的新生代的...
2019-04-10 16:17:25
153
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人