- 博客(54)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 MacOS下使用Navicat连接localhost报错
MacOS下安装好MySQL后使用Navicat连接localhost，出现报错解决办法：
2020-06-02 06:44:13
994
原创 Tomcat 8接收HTTP请求失败的一种报错
一个项目发送HTTP请求到另一个项目，发现另一个项目并没有收到请求，之前Tomcat 7升级到了Tomcat 8，发现是请求中包含了特殊字符 [ ]，才导致的请求失败。这是因为Tomcat严格按照 RFC 3986规范进行访问解析，而RFC 3986规范定义了URL中只允许包含英文字母（a-z A-Z）、数字（0-9）、-_.~ 4个特殊字符以及所有保留字符（RFC 3986中指出了以下字符为保...
2019-10-28 14:20:22
901
原创 Java HTTP post请求中某一个参数太长的问题
公司项目碰到一个问题，是从一个项目post请求到另一个项目，由于其中的一个参数是在太长，会报如下错误。java.lang.IllegalArgumentException: Request header is too large通过更改server.xml的方式配置Tomcat。<Connector connectionTimeout="20000" port="8080" prot...
2019-10-24 16:22:31
4363
原创 macOS Mojave下安装最新的MySQL
可能是版本更新的原因，MacOS安装MySQL网上很多教程不起作用，现在记录一下最新的安装步骤。去官网下载mysql双击镜像文件 - > 双击.pkg文件 -> 出现安装界面后，点击继续，直到输入管理员密码进入系统偏好设置，在最下面找到mysql图标，启动mysql服务配置mysql环境 １. cd /usr/local/mysql/bin 查看是否有mysql文件 ...
2019-04-20 14:33:29
422
原创 通过Impala thrift API接口进行Impala查询
最近需要做一个通过java提交Impala查询的功能，翻阅了一些资料，可以通过Cloudera Manager提供的API实现Impala查询但是多了一层CM平台，如果CM平台不稳定，很可能会导致Impala查询出错。如果能直接让Impala查询并返回结果是最好的方式了。参考GitHub上一位大佬的代码，网上并没有直接可用的jar包或者java文件，需要通过thrift文件生成java文件，...
2018-12-24 17:14:20
3660
2
原创 JQuery DataTables中关于行号显示的问题
DataTables是一个非常好用的表格插件，关于它的行号显示的方法可分为两种，第一种是知道表头，可以在columns中添加即可；第二种是不知道表头，这时候就不能用第一种简单的办法啦。方法 一知道表头，可以直接在columns中添加$('#example').dataTable({ columns: [ //行号 { &amp;amp;amp;amp;amp;quot;data...
2018-12-24 15:09:45
780
原创 Spark动态资源分配
cloudera manager默认是开启了spark动态资源分配的，即spark.dynamicAllocation,enable=truecloudera manager默认的动态配置参数似乎不是很合理，比如spark.dynamicAllocation.schedulerBacklogTimeout这个参数的默认值是1秒，即当任务调度延迟超过1秒的时候，会请求增加executor，而且是...
2018-10-10 14:54:48
2242
原创 Hadoop—关于YARN
Apache YARN（Yet Another Resource Negotiator）是Hadoop的集群资源管理系统。YARN被引入Hadoop 2，最初是为了改善MapReduce的实现，但它具有足够的通用性，同样可以支持其他的分布式计算模式。 YARN提供请求和使用集群资源的API，但这些API很少直接用于用户代码。相反，用户代码中用的是分布式计算框架提供的更高层的API，这些A...
2018-09-27 20:46:35
1705
原创 hive 从Excel中导入数据
拿到Excel表后将数据保留，其他的乱七八糟都删掉，然后另存为txt格式的文本，用nodepad++将文本转换为UTF-8编码，此处命名为cityprovince.txt将cityprovince.txt传入操作的Linux环境中hive建表，注意字段类型要相同drop table tmp.cityprovince;create table tmp.cityprovince...
2018-08-21 15:09:00
2978
原创 Hadoop小结
Google大数据技术：MapReduce、BigTable、GFSHadoop：一个模仿Google大数据技术的开源实现 HDFS的概念数据块磁盘中的关系：HDFS同样也有块（block）的概念，但是大很多，默认为128MB。与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块大小的多个分块（chunk），作为独立的存储单元。但与其他文件系统不同的是，HD...
2018-08-08 20:02:00
710
原创 Spark基本架构及原理
转自：http://www.cnblogs.com/tgzhu/p/5818374.html Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：Spark...
2018-07-23 19:32:00
478
原创 Spark RDD
转自：https://blog.csdn.net/u011564172/article/details/53310530概要 RDD是为了处理迭代算法和数据发掘应运而生的，keep数据在内存，显著提升性能。 RDD基于lineage实现容错，而不是shared state的update。简介 背景 原有的并行框架MapRe...
2018-07-18 14:31:00
251
原创 Hive初识（四）
Hive本质上是一个数据仓库，但不存储数据(只存储元数据(metadata))，用户可以借助Hive使用sql对存储在分布式文件系统中的大数据集进行读写Hive查询语言（HiveQL）是一种查询语言，Hive处理在Metastore(元数据存储)分析结构化数据。SELECT语句用来从表中检索的数据。WHERE子句中的工作原理类似于一个条件。它使用这个条件过滤数据，并返回给出一个有限的结果。语法：下...
2018-07-13 16:29:58
182
原创 Spark知识点
1.Spark架构分布式spark应用中的组件 在分布式环境下，Spark集群采用的是主/从结构。在一个Spark集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器（Driver）节点。与之对应的工作节点被称为执行器（executor）节点。驱动器节点可以和大量的执行器节点进行通信，它们也都作为独立的Java进行运行。驱动器节点和所有的执行...
2018-07-13 16:28:32
728
原创 Hive初识（三）
根据用户的需求创建视图。可以将任何结果集数据保存为一个视图。视图在Hive的用法和SQL视图用法相同。它是一个标准的RDBMS概念。我们可以在视图上执行所有DML操作。创建一个试图可以创建一个试图，在执行SELECT语句的时候，语法如下：CREATE VIEW [IF NOT EXISTS] view_name [(column_name [COMMENT column_comment], ......
2018-07-11 16:53:34
156
原创 Hive初识（二）
Hive分区Hive组织表到分区。它是将一个表到基于分区列，如日期，城市和部门的值相关方式。使用分区，很容易对数据进行部分查询。表或分区是细分成桶，以提供额外的结构，可以使用更高效的查询的数据。桶的工作是基于表的一些列的散列函数值。例如，一个名为Tab1表包含雇员数据，如id，name,dept和yoj（加盟年份）。假设需要检索所有在2012年加入，查询搜索整个表所需的信息员工的详细信息。但是，如...
2018-07-11 16:35:52
149
原创 Hive初识（一）
LOAD DATA语句一般来说，在SQL创建表后，我们就可以使用INSERT语句插入数据。但在Hive中，可以使用LOAD DATA语句来插入数据。LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1,partco2=val2...)]LOCAL是标识符指定本地路径...
2018-07-11 15:50:54
811
原创 图解HTTP总结（8）——确认访问用户身份的认证
Session 管理及 Cookie 应用 基于表单认证的标准规范尚未有定论，一般会使用Cookie来管理Session（会话）。基于表单认证本身是通过服务器端的Web应用，将客户端发送过来的用户ID和密码与之前登录过的信息做匹配来进行认证的。但鉴于HTTP是无状态协议，之前已认证成功的用户状态无法通过协议层面保存下来，即，无法实现状态管理，因此即使该用户下一次继续访问，也无法区分他...
2018-06-07 20:23:35
578
原创 图解HTTP总结（7）——确保Web安全的HTTPS
HTTP 主要有这些不足， 例举如下。 通信使用明文（ 不加密） ， 内容可能会被窃听。 不验证通信方的身份， 因此有可能遭遇伪装。 无法证明报文的完整性， 所以有可能已遭篡改。 我们把添加了加密及认证机制的 HTTP 称为 HTTPS（HTTP Secure）。HTTPS 是身披 SSL 外壳的 HTTP HTTPS 并非是应用层的一种新协议。 只是...
2018-06-07 16:53:54
227
原创 图解HTTP总结（6）——HTTP首部
HTTP报文首部 HTTP 协议的请求和响应报文中必定包含 HTTP 首部。 首部内容为客户端和服务器分别处理请求和响应提供所需要的信息。 对于客户端用户来说， 这些信息中的大部分内容都无须亲自查看。 HTTP请求报文在请求中，HTTP报文由方法、URI、HTTP版本、HTTP首部字段等部分构成。HTTP响应报文在响应中，HTTP报文由HTTP版本、状态码（数字和原因短语）、HTTP首部...
2018-06-07 16:01:37
242
原创 图解HTTP总结（5）——与HTTP协作的Web服务器
一台 Web 服务器可搭建多个独立域名的 Web 网站， 也可作为通信路径上的中转服务器提升传输效率。 用单台虚拟主机实现多个域名 HTTP/1.1 规范允许一台 HTTP 服务器搭建多个 Web 站点。 比如， 提供 Web 托管服务（Web Hosting Service） 的供应商， 可以用一台服务器为多位客户服务， 也可以以每位客户持有的域名运行各自不同的网站。 这是因为利用了虚...
2018-06-07 15:32:07
129
原创 图解HTTP总结（4）——返回结果的HTTP状态码
HTTP状态码负责表示客户端HTTP请求的返回结果、标记服务器端的处理是否正常、通知出现的错误等工作。 状态码的类别2XX 成功200 OK表示从客户端发来的请求在服务器端被正常处理了。在响应报文内，随状态码一起返回的信息会因为方法的不同而发生改变。204 No Content该状态码代表服务器端接收的请求已成功处理，但在返回的响应报文中不含实体的主体部分。另外，也不允许返回...
2018-06-07 14:06:38
263
原创 图解HTTP总结（3）——HTTP报文内的HTTP信息
HTTP通信过程包括从客户端发往服务端的请求及从服务器端返回客户端的响应。 用于HTTP协议交互的信息被称为HTTP报文。客户端的HTTP报文叫做请求报文，服务器端的叫做响应报文。HTTP报文本身是多行（CR+LF作换行符）数据构成的字符文本。 HTTP报文大致可分为报文首部和报文主体两块。两者由最初出现的空行（CR+LF）来划分。通常，并不一定要有报文主体。...
2018-06-07 10:58:49
244
原创 图解HTTP总结（2）——简单的HTTP协议
HTTP协议是一种不保存状态，即无状态（stateless）协议。HTTP协议自身不对请求和响应之间的通信状态进行保存。也就是说在HTTP这个级别，协议对于发送过的请求或响应都不做持久化处理。 使用HTTP协议，每当有新的请求发送时，就会有对应的新响应产生。协议本身并不保留之前一切的请求或响应报文的信息。这是为了更快的处理大量事物，确保协议的可伸缩性，而特意把HTTP协议设计...
2018-06-06 20:10:11
182
原创 图解HTTP总结（1）——了解Web及网络基础
Web页面不能凭空显示出来。根据Web浏览器地址栏指定的URL，Web浏览器从Web服务器端获取文件资源等信息，从而显示出Web页面。 Web使用一种名为HTTP（HyperText Transfer Protocol，超文本传输协议）的协议作为规范，完成从客户端到服务端等一系列运作流程。而协议是指规则的约定。Web是建立在HTTP协议上通信的。 TCP/IP...
2018-06-06 18:24:29
145
原创 Shell入门
Shell是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。shell脚本（shell script），是一种为shell编写的脚本程序。业界所说的shell通常都是指shell脚本，但shell和shell scrip是两个不同的概念。shell...
2018-06-03 15:30:36
168
原创 Linux基本的指令操作
绝对路径：路径的写法，由根目录/写起，例如：/usr/share/doc这个目录。相对路径：路径的写法，不由/写起，例如由/usr/share/doc要到/usr/share/man底下时，可以写成：cd../man这就是相对路径的写法啦。处理目录的常用命令：ls：列出目录cd：切换目录pwd：显示目前的目录mkdir：创建一个新的目录rmdir：删除一个空的目录cp：复制文件或目录rm：移除文件...
2018-06-02 21:00:58
194
原创 python网络爬虫入门范例
python网络爬虫入门范例Windows用户建议安装anaconda，因为有些套件难以安装。 安装使用pip install * 找出所有含有特定标签的HTML元素 找出含有特定CSS属性的元素取得所有a标签内的链接 Chrome插件InfoLite可以检查元素的标签获取内文页面 [:-1]表示到最后一个，最后一个...
2018-06-01 17:11:01
282
转载 Java基础——反射
反射是框架设计的灵魂！使用的前提条件：必须先得到代表的字节码的Class，Class类用于表示.class文件(字节码)一、反射的概述 Java反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法，对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为Java语言的反射机制。 要想剖析一个类，必须先要获取到该类...
2018-05-02 20:53:05
126
原创 Python知识点进阶——生成器
生成器 为什么要将列表转化为迭代器？ 因为列表太大的话用内存太大，做成迭代器可以节省空间，用的时候再拿出部分。 生成器是不会把结果保存在一个系列中，而是保存生成器的状态，在每次进行迭代时返回一个值，知道遇到StopIteration异常结束。创建生成器 先看个例子当要生成的list非常大时，会抛出异常，存储报错。那怎样生成这种巨大的list呢？可以看出b是一...
2018-04-26 16:31:47
294
原创 Python知识点进阶——迭代器
可迭代对象可迭代对象可以简单的理解为用for循环遍历的，如list、tuple、dict、set、str判断一个对象是否是迭代器：可以将数据类型 和 是否为可迭代对象 比较来判断是否是可以迭代发现整型是不能迭代的。迭代器一定是可迭代对象，拥有next（）方法next（）方法可以获取迭代器的下一个元素对list使用next（）方法，发现抛出异常，提示list不是一个迭代器所以可迭代对象不一定是迭代器...
2018-04-26 14:13:48
326
原创 Python知识点进阶——细节问题
int（）强制转换浮点数在int（）的强制转换浮点数时候，不管是正数还是负数，只取整数部分。注意：这里不是向上或者向下取整，也不是四舍五入。无限递归递归是为了将问题简化为更小规模的同类型问题，最后加以解决。但是有一种情况是递归时不断调用自身，达到不了最简单的情况，所以一直找不到递归的出口当我们运行调用这个函数时，系统抛出异常，意思是达到了最大的递归深度。字符串是不可变的字符串和元组是不可变的数据类...
2018-04-25 20:42:06
167
原创 Python知识点入门笔记——Python文件操作、异常处理及random模块使用
文件是存储在外部介质的数据集合，通常可以长久保存，前提是介质不易损坏Python的绝对路径写法：E:\\编程学习资料\\爬取某社区高清无码大图.pyE:/编程学习资料/爬取某社区高清无码大图.py注意：应该用双反斜线或者斜线区分层次在Python3.X中，文件默认的编码方式是utf-8,字符串等所有的文本字符使用的是Unicode编码，可以使用encode（）方式转换成utf-8.Python中使...
2018-04-25 16:01:29
120
原创 Python知识点入门笔记——特色数据类型(函数)
函数的定义def 函数名(形式参数): 函数体 [return 返回值]def是系统的关键字。如果是自定义函数，函数名要复合变量命名规则，并且不能是系统关键字(jupyter中，打出系统关键字是绿色的)def和return是绿色的，也就是系统关键字函数的调用函数的调用很简单，只要根据函数的定义形式将实际计算时的参数值传进去就行(也可能没有参数)函数调用格式：函数名（实际...
2018-04-24 17:04:22
132
原创 Python知识点入门笔记——特色数据类型(集合)
集合是一种不重复的无序集集合用花括号来定义{}集合和字典一样，里面的顺序是无序的，{1,2,3}和{3,2,1}是相等的集合的元素不可重复，也就是说{1,2,2,3}是不存在的，应该写为{1,2,3}集合里的元素需要是不可变类型，和字典中的键一样，所以集合可以理解为，只有键没有值的字典。集合的创建1.直接使用大括号{}创建集合元素是不可变类型所以可以使用数值，字符串，元组而不能使用列表，字典当做元...
2018-04-23 21:30:52
175
原创 Python知识点入门笔记——特色数据类型(字典)
Python中字典是一些列键 (key) 值 (value) 对组成的，形式如下{键1：值1，键2：值:2}每个键值对用冒号隔开，每对之间用逗号隔开键必须是唯一的，必须是不可变的，如字符串，数字，元组值可以是任何数据类型。创建几个奇葩的字典：创建空字典：除了直接用大括号创建字典，还可以用dict()来创建字典用法如下：通过放入列表套元组或者元组套列表实现或者列表套列表、元组套列表还可以这种情况下，...
2018-04-23 20:51:54
267
原创 Python知识点入门笔记——特色数据类型(元组)
元组(tuple)是Python的另一种特色数据类型，元组和列表是相似的，可以存储不同类型的数据，但是元组是不可改变的，创建后就不能做任何修改操作。创建元组 用逗号隔开的就是元组，但是为了美观和代码可读性，我们一般加小括号上面的元组中包含了列表，元组允许嵌套，元组包含了可变类型(因为列表是可变的数据类型：我们能对列表值修改，所以说列表是可变类型)。特殊情况：创建一个元素的元组...
2018-04-23 16:20:59
189
原创 Python知识点入门笔记——特色数据类型(列表)
Python中提供了列表这种数据类型(类型为list)来存储多个值构成的序列用逗号将不同数据分隔开，整体放在一个方括号[]里就创建了列表列表中的数据类型可以是相同的，也可以是不同的列表中还可以嵌套列表使用加号连接列表列表复制列表*次数求列表长度检查列表中是否存在某个元素（返回是bool值）删除列表del 列表名删除列表中某个索引的元素del list[i]返回列表中最大的值max（列表名）list...
2018-04-23 10:04:44
131
原创 Python知识点入门笔记——基本控制流程
复合赋值语句在Python中，可以使用一次赋值符号，给多个变量同时赋值： 划重点：age_1,age_2 = age_2,age_1这种操作是Python独有的if-else-elif判断语句结尾的冒号用英文的冒号for循环for循环的格式：for 循环变量 in 对象：循环语句Python中break结束本次循环，跳出所有的循环；c...
2018-04-22 20:11:11
129
原创 Python知识点入门笔记——基本运算和表达式
变量：Python的变量不需要单独定义，直接在赋值的过程中完成定义。当直接运行一个没有赋值过的变量时，会报错。当不需要某个变量时，可以用del来删除每个变量都占据着一定的内存空间，当变量被删除了之后，这段内存空间就被释放了。Python有自动垃圾回收机制，会自动释放不再使用的内存。转换变量类型float()：将其他类型数据转换为浮点数float(25)25.0str()：将其他类型数据转换为字符...
2018-04-22 17:15:06
148
技巧：如何用一年时间获得十年的经验
2018-04-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人