csdn_dengfan-CSDN博客

原创 windows idea中用scala操作本地spark，hadoop，及打包成jar 详细步骤

目标：在idea中用scala编写简单代码，从本地hdfs中（或本地目录）读取文件，通过spark处理后，结果输出到本地dhfs或本地目录。然后修改代码，将项目打成jar包，上传到linux中，在spark集群上运行。环境：hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018以上环境的具体安装配置和idea的基本操作分别见：win...

2019-03-10 13:04:39 1461

原创 windows 安装配置 hadoop2.7.2 spark2.2.3 初学入门

Hadoop1.下载安装包，不赘述了。我解压路径为：E:\soft\hadoop-2.7.22.修改etc文件夹下的文件：core-site.xml：<configuration><property><name>f...

2019-03-10 11:12:30 2072

原创 windows上 IntelliJ IDEA安装scala环境详细初学

对我来说，编程的世界里，没有比安装配置环境更恶心的了。这次配置scala也一样，不过总算成功了。下面列出详细步骤。准备：1.你要安装好jdk版本1.8以上。2.自行下载最新IDEA：https://www.jetbrains.com/idea/download/#section=windows，自己破解。我使用的是idea2018破解版：https://pan.baidu.com...

2019-03-09 13:19:22 11179 1

原创 IntelliJ IDEA 软件界面乱码，菜单乱码解决。

这里的乱码，不是指项目运行时的中文乱码，而是idea软件界面乱码，菜单乱码，即遍英文也是乱码的问题。这里不说版本，我从14一直安装2018，都是这个问题。应该和我的win7系统有关。没遇到最好，遇到了可以参考。1.安装idea，运行idea（如图所示连英文都是乱码），一直点下一步，随便建一个项目，点Next->点ok->点finish，进入主界面（菜单...

2019-03-09 13:10:36 4120 3

原创 hive For direct MetaStore DB connections, we don't support retries at the client level异常

在练习hive分区时，上传数据到分区，出现以上错误。解决办法如下：1.mysql-connector-java这个jar包的版本不对，换个版本。我mysql5.7 ，mysql-connector8.0的，后来换成mysql-connector5.1的。2.hive默认编码utf-8，查看mysql编码：show variables like '%charac%';把编码要改成下图...

2019-03-01 16:22:32 1496

原创 centOs7安装mysql

centOs7不再支持yum安装mysql，默认支持mariadb。即使用yum install mysql 下载的也是mariadb。所以我们通过mysql官方指定的yum源来安装。1.去https://dev.mysql.com/downloads/repo/yum/选择一个合适自己的，点击后面的download，点击No thanks, just start my downlo...

2019-02-27 20:31:54 198

原创 java的arrayCopy用法

先贴上语法:public static void arraycopy(Object src, int srcPos, Object dest, int destPos,

2017-10-12 12:25:36 80372 7

原创 php和html

最近又从php入门开始看,看了一章,有些新的想法,记录.以前在看标签的时候,对于action后面的url,我的潜意识觉得就是数据传输给php处理,返回结果.潜意识的重点是放在逻辑上的,即只要见到这些url,就会想到php逻辑处理.所以很多时候,只要看到这种在页面中出现的url,都会潜意识的去想:这个url的逻辑处理会不会很复杂,很麻烦...看着满页的url,头都大了

2017-07-03 23:06:58 432

原创 php在linux上解析word文档

最近简单试了一下这个问题,记下流程:1.在linux上安装antiword(网上安装方法很多,搜索一个即可).2.在php上解析一个word文件为text串,这个串是多行的串,即包含很多换行符.$filename = '/home/den/ttt.doc';$content = shell_exec('/usr/local/bin/antiword -w 0 -m UTF-8.txt

2017-06-26 15:49:40 1607 1

原创观察者模式-php

观察者模式:当你的某个功能在后期可能添加很多不太相干的功能时,可以考虑使用观察者模式,如一个用户登录类,后期可能要求,记录登录用户日志,短信提醒,邮件提醒等功能.个人更愿意叫他补丁模式.简单说,就是将每个补丁定义为一个类,这些补丁类实现同一接口,这些补丁类实现同一方法.原始类只要接收这些补丁类的对象,然后运行对象中的方法即是执行补丁.class Login{ priva

2017-03-14 15:36:13 343

原创 composer windows安装,使用新手入门

一.前期准备:1.下载安装包,https://getcomposer.org/download/2.在php.ini文档中打开extension=php_openssl.dll3.下载php_ssh2.dll、php_ssh2.pdb,http://windows.php.net/downloads/pecl/releases/ssh2/0.12/4.把php_ssh2.d

2017-02-07 16:48:47 29284 4

原创 php array_walk , array_reduce和array_filter函数

1.array_walk:将数组中的元素(键+值)依次取出传给处理的函数,函数处理完就完了,没有返回值.$arr1=array( 'name'=>'zhangsan', 'age'=>300,);array_walk($arr1,function($val,$key){echo '参数: '.$key.' 值: '.$val.'';});结果:参数:

2016-12-30 14:58:43 1876

原创 php function 定义时函数名前加&符号的意义

看了很多帖子,但是都不能理解,又去看了很多资料,终于名白了.记下备忘.问题:php在声明函数时,函数名前面的&符号有什么用?一直想不通.很多帖子说类似于变量的$a=&$b,但是$b在声明的时候前面可没有加&符号啊?那么这个函数名前面加&有什么用呢?用网上例子试一下:function &test(){ static $b = 0; //声明一个静态变量

2016-12-28 12:30:53 3311

原创一次请求中数据的传递流程

看过多篇文章后,决定总结一下,一以供将来复习:流程:1.应用层:提供各种服务的接口,如文件传输,邮件收发,远程通信等等,应用层规定了传输的数据的格式(文件,网页,邮件....)协议:FTP(File Transfer Protocol）是文件传输协议，一般上传下载用FTP服务，数据端口是20H，控制端口是21H。Telnet服务是用户远程登录服务，使用23H端口

2016-11-10 15:07:52 772

原创 php 生成器入门理解

概念太晦涩,看不懂,直接上例子:问题:得到一个1-1000000的整数数组,然后用foreach遍历输出如果没有生成器,这样做:$arr=range(1,1000000);//这个函数最终会返回一个数组;foreach ($arr as $key => $value) {//此时遍历的是整个放在内存中的数组 echo $key.'=>'.$value.''; //输

2016-10-25 12:57:23 417

原创 php微信支付（仅pc端扫码支付模式二）详细步骤.----仅适合第一次做微信开发的程序员

本人最近做了微信支付开发,是第一次接触.其中走了很多弯路,遇到的问题也很多.为了让和我一样的新人不再遇到类似的问题,我把我的开发步骤和问题写出来,以供参考.开发时间是2016/8/10,所以微信支付的版本也是对应此时的版本.一.前期准备：首先你们公司开通微信支付功能后，会收到一份邮件，里面有账户相关信息，一般有：微信支付商户号，商户平台登录帐号，商户平台登录密码，申请对应的公众号，公众

2016-08-12 12:34:59 22456 24

原创 php微信支付（仅Jsapi支付）详细步骤.----仅适合第一次做微信开发的程序员

本人最近做了微信支付开发,是第一次接触.其中走了很多弯路,遇到的问题也很多.为了让和我一样的新人不再遇到类似的问题,我把我的开发步骤和问题写出来,以供参考.开发时间是2016/8/2,所以微信支付的版本也是对应此时的版本.一.前期准备：首先你们公司开通微信支付功能后，会收到一份邮件，里面有账户相关信息，一般有：微信支付商户号，商户平台登录帐号，商户平台登录密码，申请对应的公众号，公众号

2016-08-08 15:48:10 48962 12

csdn_dengfan的博客