- 博客(55)
- 收藏
- 关注
RSS订阅转载 CSS之CSS 基础
CSS之CSS 基础概述层叠样式表（Cascading Style Sheet，简称：CSS）是为网页添加样式的代码。和 HTML 类似，CSS 也不是真正的编程语言，甚至不是标记语言。它是一门样式表语言，这也就是说人们可以用它来选择性地为 HTML 元素添加样式。举例来说，要选择一个 HTML 页面里所有的段落元素，然后将其中的文本改成红色，可以这样写 CSS：p { color: red;}CSS规则集让我们来仔细看一看上述CSS：整个结构称为 规则集（通常简称“规则”），各部分释
2021-03-08 21:40:03
147
原创 org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024)
org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024)默认大小 :spark.driver.memory = 1g调整上述参数到一个合适大小即可。一般如果存在广播变量的情况下需要调整driver内存。...
2021-02-24 15:32:50
3966
原创 hive 查看表大小
因为hive底层数据存储用的还是hadoop，所以查看表大小可以直接用hadoop提供的查看文件目录命令：hadoop fs -count -q -h hive表所在目录-h是将字节显示转为GB的方式显示。
2021-02-24 11:02:31
2179
原创 spark row java.lang.NullPointerException:value at index is null
spark row java.lang.NullPointerException:value at index is null在用row.getString 或者row.getLong之前，先用isNullAt判空。
2021-02-08 09:34:39
1423
原创 Hadoop单节点机器安装
Hadoop单节点机器安装安装的hadoop版本hadoop版本：2.10.1下载地址：https://archive.apache.org/dist/hadoop/common/支持平台liunx平台无论是作为开发和生产都是被支持的，hadoop测试过2000个节点在liunx的运行情况windows平台也支持，但是不建议使用，下面的的安装步骤是基于liunx平台的安装条件JDK1.7+hadoop2.6以及比2.6低的版本都需要JDK1.6以上的版本（包括1.6）hadoop
2021-02-07 22:44:22
98
原创 -bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
liunx中使用java命令出现如下错误：-bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录用命令安装好glibc之后问题就解决：yum install glibc.i686
2021-01-30 20:42:20
310
原创 vim: error while loading shared libraries: /lib64/libgpm.so.2: file too short
vim: error while loading shared libraries: /lib64/libgpm.so.2: file too short在liunx中使用vim命令出现如下错误：vim: error while loading shared libraries: /lib64/libgpm.so.2: file too short解决步骤：1、yum reinstall -y gpm-libs2、yum reinstall -y perl-libs3、yum update4
2021-01-30 11:36:40
709
原创 unpack could not create JAR file
unpack could not create JAR file在Linux上安装jdk的时候出现了下列错误，错误原因是因为在64位系统中安装了32位的jdk。下载的时候注意CPU架构和位数：Error: unpack could not create JAR file: /usr/java/jdk1.8.0_281-i586/lib/tools.jarPlease refer to the Troubleshooting section of the Installation Instru
2021-01-30 11:14:20
654
原创 软件包 jdk1.8-2000:1.8.0_281-fcs.aarch64 是针对 different 构架的
软件包 jdk1.8-2000:1.8.0_281-fcs.aarch64 是针对 different 构架的liunx安装jdk的rpm包的时候出现：软件包 jdk1.8-2000:1.8.0_281-fcs.aarch64 是针对 different 构架的从oracle官网下载的对应cpu架构错误，一个是X86的，一个是arm的。...
2021-01-30 11:05:19
6296
原创 Oozie Namenode/jobTracker not allowed, not in Oozies Whitelist
Oozie Namenode/jobTracker not allowed, not in Oozies Whitelist出现这种错误情况一般是两种情况,在oozie-site.xml中分别加入如下配置即可：E0901 Namenode not allowed, not in Oozies Whitelist在下面配置对应的hadoop namenode地址和端口即可<property> <name>oozie.service.HadoopAccessorService.
2021-01-22 18:02:28
480
原创 hadoop 启动java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName
hadoop 启动java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformNameorg.apache.hadoop.util.PlatformName属于hadoop auth包里面的一个类。默认引入hadoop client的时候不会带入hadoop auth这个包。引入hadoop client的时候需要带入hadoop auth包。还有一种情况是引入的低版本的hadoop auth包。改为引用相同包即可。<de
2021-01-19 14:19:30
2147
原创 spark yarn 提交任务后退出进程
spark提供如下配置配置默认值解释开始版本spark.yarn.submit.waitAppCompletiontrue在集群模式下，控制客户端是否等待退出，直到应用程序完成。如果设置为true，客户端进程将保持活动状态，并报告应用程序的状态。否则，客户端进程将在提交后退出。1.4写法./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --depl
2021-01-19 09:28:45
1104
原创 spark官网无法下载spark问题
spark官网无法下载spark问题可以直接从spark提供的存档目录里面下载。http://archive.apache.org/dist/spark/
2021-01-13 16:36:49
1486
1
原创 Java网络编程Socket原理
Java网络编程之底层Linux的Socket网络套接字用户态和内核态用户态和内核态主要是基于操作系统Linux来说的。内核态：内核态其实可以直接理解为内核，主要是控制CPU或者磁盘、网卡等硬件设备这些资源。用户态：用户态是权利有限的程序，我们可以理解为不能直接使用CPU或者磁盘、网卡等资源的程序，我们写的大多数程序运行在用户态，比如JVM。为什么要有用户态和内核态？主要为了集中管理和调配资源以及保护资源和系统。毕竟CPU和内存以及IO设备这些资源任何程序都能随便调用和访问，对于这些资源本身来说
2021-01-11 21:34:33
506
原创 Spring事件机制实现
Spring事件机制实现导读Spring一整套事件机制的主要是扩展了JDK中的事件，主要作用是***解耦***，下面主要从源码以及如何使用Spirng事件以及主要一些应用场景讲解Spring事件机制。如何使用Spring事件机制事件我们可以把他理解为一个对象，Java里面直接继承EventObject类，Spring中可以继承ApplicationEvent，通过上面的两种继承方式这个对象就变成了一个可以被监听的事件。例如下面两种事件实现方式：package com.demo;import
2020-12-28 22:50:11
287
原创 vue样式scoped属性以及不生效
scoped 作用<style scoped>.content { font-size: 14px;}</style>实现组件样式的私有化，不对全局造成样式污染。例如：/* A组件样式对字体设置为红色 */<style>.content { font-size: 16px; color: red;}</style>/*B组件对样式字体不设置颜色 */<style>.content { font-size: 1
2020-10-15 19:12:25
722
原创 java spark(spark sql)操作cassandar
前期准备：cassandra集群（可以参考网站 https://cassandrazh.github.io/）spark集群（可以参考我的文章 http://www.jianshu.com/p/756209fa7078）1、spark中配置cassandar相应的jar包不配置会报如下异常：ClassNotFoundException:com.datastax.
2017-12-19 09:18:18
1695
原创 spark集群安装
安装环境：linux centos6.x注意：此处直接使用spark是可以不需要安装hadoop的1、修改hosts文件（集群节点都要修改，这里是3台），修改地址为/etc/hosts 172.16.101.60 namenode 172.16.101.74 datanode1 172.16.101.75 datanode22
2017-12-06 09:20:40
255
原创 sql newid()随机函数
从A表随机取2条记录,用SELECT TOP 10 * FROM ywle order by newid()order by 一般是根据某一字段排序,newid()的返回值 是uniqueidentifier ,order by newid()随机选取记录是如何进行的newid()在扫描每条记录的时候都生成一个值, 而生成的值是随机的, 没有大小写顺序. 所以最终结果再按这个排序, 排序的
2012-02-07 15:07:41
687
原创 Flash中flash包、fl包和mx包的区别
1、flash包是FlashPlayer的核心，fl包和mx包都是扩展自flash包2、fl包用于Flash CS，mx包用于Flex Builder3、在所有项目中都能使用flash包4、在纯ActionScript项目和Flash CS项目中不能使用mx包，准确点说是不能使用mx包中，与UIComponent有关的包。其他的包貌似可以使用，不过我也没有都测试过，看到有A
2012-01-31 09:27:22
2290
翻译 为什么我们需要编码规范
Why Have Code Conventions 点击打开链接Code conventions are important to programmers for a number of reasons:80% of the lifetime cost of a piece of software goes to maintenance.Hardly any s
2012-01-30 09:40:58
2268
原创 resource is out of sync with the file system 解决方法
在eclipse中，启动run on server时报错：Resource is out of sync with the file system: ……..查阅资料后发现这是文件系统不同步的问题，是因为在eclipse之外对工程中的resource进行修改引起的；但是，有时没有在eclipse之外进行修改，也会报类似的错误。解决办法：需要手动刷新一下资源管理器。（1）
2012-01-12 10:38:52
382
原创 javascript 面向对象(一)
几个基本概念：1、引用，其实就是我们平时所说的指针，指针是什么，就是地址，内存地址。如果我们把Javascript看做是一门面向对象的语言，则每一个对象都有一个引用指向。javascript就是通过控制引用来做到灵活性的。2、作用域：javascirpt的作用域有2个要注意的地方，与我们平时不一样。 var count = 0 ; //javascript
2012-01-09 22:17:49
587
原创 JSP隐式对象
使用隐式对象注意：1.简化了JSP 页面开发，2.隐式对象名称是JAVA的保留字，3.隐式对象不需要再去实例化由JSP内部实现和管理的内部对象，4.通过隐式对象来访问网页的动态内容，JSP隐式对象是web容器加载的一组类。对照个图解，看下下面我摘的一篇文章。详细的：① out - javax.servlet.jsp.jspWriter out对象用于把结果输出到网页上。
2012-01-06 17:26:44
509
原创 最近开发项目心得
项目是J2EE平台的一个管理系统。都是个人心得，仅供参考，欢迎指正。下文不给予性能，单纯从页面的可扩展和可维护来考量。首先说下整体架构，采用MVC架构，分为3层，框架使用当下流行的SSH（Struts2.x+Spring3.x+Hibernate3.x）。SVN做代码管理。分模块开发。1、前端页面，个人觉得前端页面风格跟技术一定要统一.js框架尽量根据需求只选择一种，我们使用的
2012-01-06 13:03:40
797
转载 自定义JSP标签：TagSupport类的生命周期
它的声明周期各个阶段的具体执行过程：（1）、当JSP容器在解释JSP页面时，如果遇到自定义标签的开始标记，将利用“标签处理类”建立一个“标签处理对象”。在建立“标签处理对象”的过程中，JSP容器会回调setPageContext()方法，然后根据自定义标签的属性值来初始化“标签处理对象”的属性。（2）、接着JSP容器会运行doStartTag()方法内的程序代码，然后根据此方法的返
2012-01-06 11:21:17
536
原创 字节顺序
对于跨越多字节的程序对象，我们必须知道两个东西，一个是这个对象的地址是什么；另一个是存储器如何排列这些字节。在几乎所有的机器上，多字节对象都被储存为连续的字节序列。假设一个类型为int的变量x的地址为0x100.那么，x的4个字节将被存储在存储器的0x100、0x101、0x102、0x103三位置。排列表示一个对象的字节有两个通用的规则：假设有一个w位的整数，每一位我们表示成[X
2012-01-03 22:29:35
809
原创 水平切分数据库方式
为了提高系统性能、可用性以及扩展性。横向扩展数据层已经成为架构研发人员首选的方式。常见的方式：1、负载均衡策略：通过负载均衡策略，有效的降低了单台 机器的访问负载，降低了宕机的可能性；2、通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；3、通过读写分离（主从）策略更是最大限度了提高了应用中读取 （Read）数据的速度和并发量。
2011-12-29 16:50:24
348
原创 构架师自我培养过程
构架师不是通过理论学习可以搞出来的，不过不学习相关知识那肯定是不行的。总结构架师自我培养过程大致如下，仅供参考。1、构架师胚胎（程序员）学习的知识是语言基础、设计基础、通信基础等，应该在大学完成，内容包括java、c、c++、uml、RUP、XML、socket通信（通信协议）——学习搭建应用系统所必须的原材料。2、构架师萌芽（高级程序员）学习分布式系统、组建等内容，可
2011-12-27 15:26:14
591
原创 書摘-何谓数据结构
何谓数据结构数据结构是在整个计算机科学与技术领域上广泛被使用的术语。它用来反映一个数据的内部构成，即一个数据由那些成分数据构成，以什么方式构成，呈什么结构。数据结构有逻辑上的数据结构和物理上的数据结构之分。逻辑上的数据结构反映成分数据之间的逻辑关系，而物理上的数据结构反映成分数据在计算机内部的存储安排。数据结构是数据存在的形式。数据结构是信息的一种组织方式，其目的是为了提高算法的效率，它通
2011-12-21 09:49:53
862
原创 java守护线程和守护线程
java程序中得main()方法，将作为该应用初始线程的起点，任何其它线程都是由这个初始线程启动的。在java虚拟机内部有两种线程：守护线程和非守护线程。守护线程通常是由虚拟机自己使用的，比如执行垃圾收集任务的线程。但是，java程序也可以把他创建的任何线程标记为守护线程。而java程序的初始线程-就是开始于main()的那个，是非守护线程。只要还有任何非守护线程在运行，那么这
2011-12-16 11:10:29
359
原创 书摘-可伸缩性-垂直伸缩
支撑高访问量WEB应用随着访问量的增长，通常其瓶颈会出现在CPU或内存上，网络IO或磁盘IO出现瓶颈的几率较低!增加CPU后：要做到增加CPU后系统的服务能力线性增长，要求系统能够随着CPU的增加,响应速度提升或同时可用于处理请求的线程增加，主要下面三种情况，增加CPU后系统的服务能力无法线性增长1、锁竞争激烈锁竞争激烈造成很多线程都在等待锁，此时即使增加CPU，却无法让线程得
2011-12-15 10:23:45
565
原创 书摘-构建高可用性和可伸缩系统
高可用性对于互联网应用或企业 中得大型应用而言，多数都要求尽可能做到7X24小时不间断的运行，要完全做到不间断的运行，基本上不太可能！为了实现高可用，要避免系统中出现的单点、保障应用自身的高可用、面对访问量及数据量不断增长带来的挑战！书中提到构建高可用性的几点：第一点是从硬件出发，第二点是从自身应用出发！1、避免出现单点（硬件）单点现象是指系统部署再单台机器
2011-12-15 09:56:44
575
原创 http content-type
HTML text data (RFC 1866)html htmtext/htmlPlain text: documents; program listingstxt c c++ pl cc htext/plainRichtext (obsolete - replaced by text/enriched) text
2011-12-13 10:12:49
480
转载 javascript 全局属性和函数
顶层函数（全局函数）FF: Firefox, IE: Internet Explorer函数描述FFIEdecodeURI()解码某个编码的 URI。15.5decodeURIComponent()解码一个编码的 URI 组件。15.5encodeURI(
2011-12-12 15:34:21
452
原创 javascript typeof 运算符
typeof 运算符是返回一个用来表示表达式的数据类型的字符串。使用方法：typeof[()expression[]] ;其中expression 参数是需要查找类型信息的任意表达式。 JavaScript中typeof运算符说明typeof 运算符把类型信息当作字符串返回。typeof 返回值有六种可能： "number," "string," "boolea
2011-12-12 15:25:55
474
翻译 减少全局变量污染
Javascript可以很随意地定义哪些可保存所有应用资料的全局变量.不幸的是，全局变量消弱了程序的灵和性，所以应该避免！最小化全局变量的一个方法是在你的应用中只创建唯一一个全局变量：var MYAPP = {};该变量此时变成了你的应用容器：MYAPP.stooge ={ "first-name":"Joe", "last-name":"Howard"
2011-11-26 16:44:41
2575
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人