Yoga-jiang-CSDN博客

原创 Windows + IntelliJ IDEA 下配置 python scala 插件的方法

Windows + IntelliJ IDEA 下配置 python scala 插件的方法1.访问http://www.python.org/download/下载最新的Python版本 2.下载，解压 3.配置环境变量，PATH 4.测试安装是否成功 5.Hello World 6.在intellij idea离线安装Python plugin (...

2017-03-20 16:01:40 4343 1

转载 hive优化大全-一篇就够了

1.概述　　在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。2.介绍　首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优

2021-01-25 14:36:43 3698

转载非常详细地Hive的基本操作和一些注意事项

1.概述　　上一章《那些年使用Hive踩过的坑》介绍了Hive的基本架构及原理，加下来介绍Hive的基本操作和一些注意事项。2.基本操作2.1Create Table2.1.1介绍 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外

2020-11-25 10:43:51 680

原创重复写文件脚本，测试数据专用

import oswith open(’/opt/bh/hub/flipos_order_info/5/1574611200/2019_order_info.csv’,“a+”) as f1:for i in range(10000):with open(’/opt/bh/hub/flipos_order_info/5/1574611200/20191125_order_info.csv’,...

2019-11-28 18:05:52 196

转载基于Apache Kylin大数据多维查询分析平台实践

https://blog.csdn.net/liuxinli/article/details/84345248

2019-11-22 17:17:14 203

原创 python md5加密代码实现

代码如下：coding: UTF-8 *import os import hashlibm = hashlib.md5() rootPath = “/home/dmp_ipg/yoga/data3” targetPath = “/home/dmp_ipg/yoga/data4” list = os.listdir(rootPath)for i in range(0,l...

2018-03-08 11:48:15 1265

转载 Linux 下上传下载命令，SCP，SFTP，FTP

scp帮助命令： man scpscp功能：下载远程文件或者目录到本地, 如果想上传或者想下载目录，最好的办法是采用tar压缩一下，是最明智的选择.从远程主机下载东西到本地电脑拷贝文件命令 scp user@host:/path/file /localpath 即 scp 用户名@IP:/文件路径 /本地文件路径如果拷目录就 scp -r user@host:/dirpath /

2017-04-06 14:34:28 13095

转载 Python编码格式说明及转码函数encode和decode的使用

字符串编码常用类型：utf-8,gb2312,cp936,gbk等。Python中，我们使用decode()和encode()来进行解码和编码在python中，使用unicode类型作为编码的基础类型。即 decode encodestr ———> unicode ———>stru = u’中文’ #显示指定unicode类型对象u str = u.encode(‘gb

2017-04-05 14:14:22 1268

转载下一代Apache Hadoop MapReduce框架的架构

背景随着集群规模和负载增加，MapReduce JobTracker在内存消耗，线程模型和扩展性/可靠性/性能方面暴露出了缺点，为此需要对它进行大整修。需求当我们对Hadoop MapReduce框架进行改进时，需要时刻谨记的一个重要原则是用户的需求。近几年来，从Hadoop用户那里总结出MapReduce框架当前最紧迫的需求有：（1）可靠性（Reliability）– JobTracker不可靠（

2017-04-05 10:09:13 664

转载常用 Git 命令清单

常用 Git 命令清单我每天使用 Git ，但是很多命令记不住。一般来说，日常使用只要记住下图6个命令，就可以了。但是熟练使用，恐怕要记住60～100个命令。下面是我整理的常用 Git 命令清单。几个专用名词的译名如下。 Workspace：工作区 Index / Stage：暂存区 Repository：仓库区（或本地仓库） Remote：远程仓库一、新建代码库

2017-03-29 17:31:33 341

转载安装numpy+scipy+matlotlib+scikit-learn及问题解决

这篇文章主要讲述Python如何安装Numpy、Scipy、Matlotlib、Scikit-learn等库的过程及遇到的问题解决方法。最近安装这个真是一把泪啊，各种不兼容问题和报错，希望文章对你有所帮助吧！你可能遇到的问题包括：ImportError: No module named sklearn 未安装sklearn包 ImportError: DLL load failed: 找不到指定

2017-03-20 17:54:08 890

原创 Quartz使用-入门使用(java定时任务实现)

2015-10-22 22:44:24 577

转载 eclipse中maven配置

1.下载Maven官方下载地址：http://maven.apache.org/download.html选择你所希望下载的版本，并保存到常用安装目录。这里以Maven 3.2.2 (Binary zip)为例（二进制文件可直接使用）。2.解压maven到软件安装常用目录如： D:\Softwares\apache-maven-3.2.23.打开系统环境变量

2015-04-27 09:44:26 283

转载 httpClient获取Jsoup解析网页

因项目需要从某个网站爬取一点数据，故我将爬取记录如下，以后说不定还能用得到呢，废话少说，进入正题：HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。本文首先介绍 HTTPClient，然后根据作者实际工作经验给出了一些常见问题的解决方法。

2015-03-20 11:49:36 435

原创 Jsoup 解析Html源码实例

最近在做数据挖掘的过程中需要对html的源码进行解析，用到了Jsoup这个解析工具，下面写个基本实例来展现它的用法。需要用到jar包：jsoup-1.7.2.jar，可以到jsoup的官网下载：http://jsoup.org/download[java] view plaincopyprint?import java.io.File

2015-03-11 17:29:47 555

原创 jsoup解析HTML用法小结

使用HttpClient+jsoup做采集器有一段时间了，发现jsoup很好用，而且还有很多方便的东西都没怎么用上。于是想根据官网上的cookbook来对jsoup的使用做个小结，或者是归纳。按功能分类做个列表，方便在写程序的时候快速翻阅。1、jsoup的HTML文档（Document）对象模型Document对象由Element和TextNode对象组成继承链Document

2015-03-11 17:06:10 956

原创使用JSoup解析HTML文件

HTML是WEB的核心，互联网中你看到的所有页面都是HTML，不管它们是由JavaScript，JSP，PHP,ASP或者是别的什么WEB技术动态生成的。你的浏览器会去解析HTML并替你去渲染它们。不过如果你需要自己在Java程序中解析HTML文档并查找某些元素，标签，属性或者检查某个特定的元素是否存在的话，那又该如何呢？如果你已经使用Java编程多年了，我相信你肯定试过去解析XML，也使用过类似

2015-03-11 16:57:54 763

原创【Jsoup学习礼记】消除不受信任的HTML (来防止XSS攻击)

问题在做网站的时候，经常会提供用户评论的功能。有些不怀好意的用户，会搞一些脚本到评论内容中，而这些脚本可能会破坏整个页面的行为，更严重的是获取一些机要信息，此时需要清理该HTML，以避免跨站脚本cross-site scripting攻击（XSS）。方法使用jsoup HTML Cleaner 方法进行清除，但需要指定一个可配置的 Whitelist。String un

2015-03-11 15:57:24 652

原创【jsoup的学习礼记】设置一个元素的HTML内容

问题你需要一个元素中的HTML内容方法可以使用Element中的HTML设置方法具体如下：Element div = doc.select("div").first(); // div.html("lorem ipsum"); // lorem ipsumdiv.prepend("First");//在div前添加html内容div.append("Last");

2015-03-11 15:51:29 563

原创【Jsoup学习礼记】设置元素的文本内容

问题你需要修改一个HTML文档中的文本内容方法可以使用Element的设置方法：:Element div = doc.select("div").first(); // div.text("five > four"); // five > fourdiv.prepend("First ");div.append(" Last");// now: First

2015-03-11 15:51:22 497

原创【Jsoup学习礼记】示例程序: 获取所有链接

这个示例程序将展示如何从一个URL获得一个页面。然后提取页面中的所有链接、图片和其它辅助内容。并检查URLs和文本信息。运行下面程序需要指定一个URLs作为参数package org.jsoup.examples;import org.jsoup.Jsoup;import org.jsoup.helper.Validate;import org.jsoup.nodes.Docu

2015-03-11 15:48:03 715

原创【Jsoup学习礼记】设置属性的值

问题在你解析一个Document之后可能想修改其中的某些属性值，然后再保存到磁盘或都输出到前台页面。方法可以使用属性设置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value).假如你需要修改一个元素的 class 属性，可以使用 Element.

2015-03-11 15:48:02 670

原创【Jsoup学习礼记】处理URLs

问题你有一个包含相对URLs路径的HTML文档，需要将这些相对路径转换成绝对路径的URLs。方法在你解析文档时确保有指定base URI，然后使用 abs: 属性前缀来取得包含base URI的绝对路径。代码如下： Document doc = Jsoup.connect("http://www.open-open.com").get();Element l

2015-03-11 15:46:53 516

原创【Jsoup学习礼记】从元素抽取属性，文本和HTML

问题在解析获得一个Document实例对象，并查找到一些元素之后，你希望取得在这些元素中的数据。方法要取得一个属性的值，可以使用Node.attr(String key) 方法对于一个元素中的文本，可以使用Element.text()方法对于要取得元素或属性中的HTML内容，可以使用Element.html(), 或 Node.outerHtml()方法示例

2015-03-11 15:45:51 515

原创【Jsoup的学习礼记】使用选择器语法来查找元素

问题你想使用类似于CSS或jQuery的语法来查找和操作元素。方法可以使用Element.select(String selector) 和 Elements.select(String selector) 方法实现：File input = new File("/tmp/input.html");Document doc = Jsoup.parse(inpu

2015-03-11 15:36:04 662

原创【Jsoup学习礼记】使用DOM方法来遍历一个文档

问题你有一个HTML文档要从中提取数据，并了解这个HTML文档的结构。方法将HTML解析成一个Document之后，就可以使用类似于DOM的方法进行操作。示例代码：File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://example.com

2015-03-11 15:34:40 530

原创【Jsoup学习礼记】从一个文件加载一个文档

问题在本机硬盘上有一个HTML文件，需要对它进行解析从中抽取数据或进行修改。办法可以使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法：File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "

2015-03-11 15:33:01 432

原创【Jsoup学习礼记】从一个URL加载一个Document

存在问题你需要从一个网站获取和解析一个HTML文档，并查找其中的相关数据。你可以使用下面解决方法：解决方法使用 Jsoup.connect(String url)方法:Document doc = Jsoup.connect("http://example.com/").get();String title = doc.title();说明con

2015-03-11 15:28:40 538

原创【Jsoup学习礼记】解析一个body片断

问题假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。办法使用Jsoup.parseBodyFragment(String html)方法.String html = "Lorem ipsum.";Document d

2015-03-11 15:20:34 471

原创【Jsoup学习礼记】解析一个HTML字符串

存在问题来自用户输入，一个文件或一个网站的HTML字符串，你可能需要对它进行解析并取其内容，或校验其格式是否完整，或想修改它。怎么办？jsonu能够帮你轻松解决这些问题解决方法使用静态Jsoup.parse(String html) 方法或 Jsoup.parse(String html, String baseUri)示例代码：String html = "F

2015-03-11 15:19:14 529

原创【Jsoup学习礼记】解析和遍历一个HTML文档

如何解析一个HTML文档：String html = "First parse" + "Parsed HTML into a doc.";Document doc = Jsoup.parse(html);(更详细内容可查看解析一个HTML字符串.)其解析器能够尽最大可能从你提供的HTML文档来创见一个干净的解析结果，无论HTML的格式是否完整。比如它可以处理：

2015-03-11 15:16:40 316

转载 CentOS-6.3安装配置JDK-8

系统环境：CentOS 6.3 64位安装方式：rpm安装软件：jdk-8-linux-x64.rpm下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html检验系统原版本[plain] view plaincopyprint?

2014-09-19 14:31:45 522

原创 hive-学习内容

1 hive的正则匹配搜索表 show table

2014-09-18 10:26:33 454

原创 hive_优化

什么是数据倾斜•由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点Hadoop框架的特性•不怕数据大，怕数据倾斜•jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的•sum,count,max,min等UDAF，

2014-09-10 10:56:06 419

转载 Hadoop集群（第5期）_Hadoop安装配置

1、集群部署介绍1.1 Hadoop简介　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。　　对于Hadoop的集群来讲，可以分

2014-09-03 10:20:12 360

转载 linux远程下载文件的两种方法之 ftp命令和scp命令

ftp命令：服务器有安装ftp Server，另外一台linux可以使用ftp的client程序来进行文件的拷贝读取和下载。　1. 连接ftp服务器　　格式：ftp [hostname| ip-address]　　a)在linux命令行下输入：ftp 192.168.26.66　　b)服务器询问你用户名和口令，分别输入用户名和相应密码，待认证通过即可。　2. 下载文件

2014-09-03 09:57:57 2293

转载 hive 基础内容

（一）： Hive 是什么在接触一个新的事物首先要回到的问题是：这是什么？这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put

2014-08-29 11:18:26 425

转载配置Hive

配置HiveHive的配置文件名为hive-site.xml，你可以在Hive安装目录下的conf目录下找到这个文件。如果你发现该目录下没有这个文件，你可以通过复制hive-default.xml.template来生成该文件。当然，你也可以在进入hive时指定参数来明确指明配置文件所在目录。比如：hive --config /home/user/hive-conf你也可以在进入h

2014-08-21 16:05:09 526

转载我们每天使用互联网，你是否想过，它是如何实现的？全世界几十亿台电脑，连接在一起，两两通信。上海的某一块网卡送出信号，洛杉矶的另一块网卡居然就收到了，两者实际上根本不知道对方的物理位置，你不觉得这是

我们每天使用互联网，你是否想过，它是如何实现的？全世界几十亿台电脑，连接在一起，两两通信。上海的某一块网卡送出信号，洛杉矶的另一块网卡居然就收到了，两者实际上根本不知道对方的物理位置，你不觉得这是很神奇的事情吗？互联网的核心是一系列协议，总称为"互联网协议"（Internet Protocol Suite）。它们对电脑如何连接和组网，做出了详尽的规定。理解了这些协议，就理解了互联网

2014-07-11 14:15:17 5453

转载 HTTP 协议详解

相关文章：HTTP 协议之压缩　　当今web程序的开发技术真是百家争鸣，ASP.NET, PHP, JSP，Perl, AJAX 等等。无论Web技术在未来如何发展，理解Web程序之间通信的基本协议相当重要，因为它让我们理解了Web应用程序的内部工作. 本文将对HTTP协议进行详细的实例讲解，内容较多，希望大家耐心看。也希望对大家的开发工作或者测试工作有所帮助。使用Fiddler工具非

2014-07-09 11:52:31 375

空空如也

空空如也