- 博客(34)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Java发送Https post请求（已封装，可直接用）
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.OutputStream;import java.net.HttpURLConnection;import java.net.URL;import java.security.SecureRandom;import java.security.cert.CertificateExcep.
2020-11-21 12:36:21
6962
4
转载 XML 解析错误:格式不佳 位置:。。。。
XML 解析错误:格式不佳 位置:http://localhost:8080/bookmanagement/bookinfolist问题：在Firefox浏览器调ajax获取json数据时，控制台提示“XML 解析错误：格式不佳”。因为ajax请求指定了数据类型是json，后台返回数据如果不指定内容类型是文本，默认就是html类型，这样返回到前端就会自动调用html的解析器对文件进行解析，因此报这个异常（在Chrome没有这个错误）。解决方法：设置ContentType为文本或者json
2020-06-17 16:40:32
3230
1
原创 请求转发和重定向的区别
1、请求转发是同一个请求，而重定向会产生两个不同的请求；2、请求转发必须转发到同一应用下的其他资源，而重定向可以定向到任意资源；3、请求转发过程中地址栏不变，而重定向客户端的地址栏会显示新地址；4、原request数据是否可用：请求转发可用，重定向不可用；5、请求转发在服务器端完成，而重定向在客户端完成；6、请求转发的速度快，而重定向速度慢；7、请求转发必须是在同一台服务器下完成，而重定向可以在不同的服务器下完成。...
2020-06-05 19:46:03
1613
原创 ArrayList源码解析笔记
一、ArrayList概述（一）简介（引用源码顶部注释）List接口的大小可变数组的实现。实现了所有可选列表操作，并允许包括null在内的所有元素。除了实现List接口外，此类还提供一些方法来操作内部用来存储列表的数组的大小。（此类大致上等同于Vector类，除了此类是不同步的。）size、isEmpty、get、set、iterator和listIterator操作都以固定时间运行...
2020-03-25 20:59:13
179
原创 ConcurrentHashMap源码详解
一、简介ConcurrentHashMap是Java5中支持高并发、高吞吐量的线程安全HashMap实现。ConcurrentHashMap继承AbstractMap类，实现了ConcurrentMap,Serializable接口。jdk1.8之前由Segment数组结构，HashEntry数组结构和链表组成，Segment是可重入锁（ReentrantLock），每个Segment的结构和...
2020-03-22 17:37:26
179
转载 Hadoop 2.x 原理详解
一、1.x出现的问题，2.x的解决方法 在Hadoop1.x结构中主要出现了两个问题： 1）单点故障。 2）内存受限，可扩展性低。在Hadoop2.x结构解决上述两个的问题： 1）解决单点故障：通过HA高可用，主备Namenode切换解决。 2）解决内存受限问题：通过HDFS Federation联邦机制，水平扩展，多个Namenod...
2020-03-08 16:07:58
351
原创 java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
我在进行MapReduce本地测试的时候，遇见下面的报错：Exceptioninthread"main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIOSWindows.access0(Ijava/lang/String;I)Z原因：在调用NativeIO中的ac...
2020-02-20 17:06:23
340
原创 Error:Eclipse的DFS Locations报错“Operation category READ is not supported in state standby”
Error:Operation category READ is not supported in state standby待机状态下不支持操作类别读取错误原因：之前是使用的Hadoop1.x，marsEclipse也是配置的之前的1.x，然后配置完HA后，显示我的master处于standby状态解决办法：1、我集群的ActiveNameNode是node1，但是程序路径是node...
2020-02-14 16:17:27
363
2
原创 Hadoop详细的理论基础
一、Hadoop分布式文件系统HDFS1.认识HDFS1）HDFS基于流式数据，为处理超大型文件（PB级别）的需求而设计。2）流式数据：将数据序列化为字节流来存储，这样不会破坏文件的结构和内容。字节数据可以分片或者分块切分出来，更方便传输和存储。另外当超大规模的文件本身就已经超越了单台服务器的存储窖，需要多台服务器同时存储，就要将文件序列化为字节的序列，然后按照字节的顺序进行...
2020-02-14 12:45:59
416
原创 Win10下marsEclipse的DFS Locactions和Map/Reduce Locations不见了的解决方法
DFS Locactions：从Window->perspective->open perspective -> other ->找到 Map/Reduce，打开就出来了Map/Reduce Locations：从Window->Show View -> Other进去，然后搜索Map/Reduce Locations就找到了...
2020-02-11 13:29:01
782
转载 checksum算法详细的计算方法、实现思路与python校验验证
1.checksum是什么？Checksum：【电脑】总和检验码，校验和。在数据处理和数据通信领域中，用于校验目的的一组数据项的和。这些数据项可以是数字或在计算检验总和过程中看作数字的其它字符串。它通常是以十六进制为数制表示的形式通常用来在通信中,尤其是远距离通信中保证数据的完整性和准确性2.计算方法1、 先将需要计算checksum数据中的checksum设为0；2、 计算chec...
2020-02-11 12:02:29
14242
转载 List，Set，Map详解及区别
一、List接口List是一个继承于Collection的接口，即List是集合中的一种。List是有序、不唯一的队列，List中的每一个元素都有一个索引；第一个元素的索引值是0，往后的元素的索引值依次+1。和Set不同，List中允许有重复的元素。实现List接口的集合主要有：ArrayList、LinkedList、Vector、Stack。ArrayListArrayList...
2020-02-05 17:45:17
186
原创 多态的转型（父类子类的向上向下转型）
1、前提条件：类与类之间必须有父子类关系2、多态中成员的特点①多态成员 变量：编译运行看左边 Fu f=new Zi(); System.out.println(f.num); //f是Fu中的值，只能取到父类中的值②多态成员 方法：编译看左边，运行看右边 Fu f1=new Zi(); Syste...
2020-02-05 15:30:40
796
1
原创 Hadoop yarn以及yarn的HA搭建
关于MapReduce的工作原理详解：https://www.cnblogs.com/laowangc/p/8961946.html这篇文章大家可以看看上一次搭建HDFS的HA时的设计如下：这次YARN的HA的架构设计如下：实际上RS配置在node12好一些，毕竟文本块在node12上，但是我们这里node12压力大，所以RS放在node34上YARN的HA的搭建...
2020-02-03 13:12:13
301
原创 Hadoop_HDFS的HA配置（图文详细）
HDFS HA with QJM官方文档上一篇文章讲了搭建Hadoop1.x集群，Hadoop1.x集群配置规划如下图所示：Hadoop2.x集群配置规划如下图所示：下面开始配置HA，HA的配置是基于了上次搭建的Hadoop1.x集群，Hadoop1.x集群的规划见上图1、关闭原来的node1作为激活状态的namenode集群进入到node1操作#s...
2020-01-09 20:45:59
1065
原创 error：HDFS的HA不能自动故障转移StandbyNN转到ActiveNN，Unable to fence NameNode
报错:UnabletofenceNameNodeatnode2/192.168.1.201:8020问题出在当ActiveNameNode崩溃挂掉后，StandbyNameNode不能选举争取到Active，会一直处于Standby状态解决方法：安装插件psmisc#yum -y install psmisc注意一下，每个nameNode都需要装psmisc插件...
2020-01-09 20:41:45
458
原创 error：eclipse的Hadoop插件连接Hadoop被拒绝
朋友玩hadoop的时候使用eclipse插件出了点小问题，之前玩的好好地，玩的挺开心的，突然就被拒绝连接了，有点懵，和他一起瞅了两眼报错：java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused解决...
2020-01-08 14:25:13
932
转载 Centos7下DFS Location看不到，window—>show view—>other下也没有MapReduceTools的解决办法
环境：Centos7eclipse: eclipse-jee-mars-2-win32-x86_64.ziphadoop: hadoop-2.5.2.tar.gzjdk:jdk1.8问题：在linux下配置eclipse的hadoop环境时，hadoop-eclipse-plugin-2.5.2.jar拷贝到eclipse的plugins下后，在windows->pr...
2020-01-02 19:00:08
638
原创 Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local
警告信息如下：Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop252/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard n...
2020-01-02 16:33:40
6077
原创 Hadoop如何查看、进入、退出safemode安全模式
hadoop dfsadmin -safemode get # 查看安全模式状态hadoop dfsadmin -safemode enter # 进入安全模式状态hadoop dfsadmin -safemode leave # 离开安全模式
2020-01-01 19:02:33
4117
原创 Centos7环境下Hadoop1.x集群搭建详解（图文）
话不多说，直接进入正题hadoop官网：https://hadoop.apache.org/规划如下：一、准备虚拟机1、安装了jdk我这里安装的是jdk1.8 Centos下安装jdk1.82、设置固定iphttps://www.cnblogs.com/lfhappy/p/10798400.html3、关闭防火墙关闭防火墙：（仅设置这个，在下...
2019-12-29 19:42:18
171
原创 Centos7下时间同步设置
Centos没有设置时区，导致时间不准确，在做定时器之类的时，会出现时间不准的问题1、安装ntp服务软件包：yum install ntp -y2、将ntp设置为缺省启动：systemctl enable ntpd3、启动ntp服务：service ntpd restart4. 将系统时区改为上海时间（即CST时区）：ln -sf /usr/share/zoneinfo/A...
2019-12-29 15:00:14
280
1
转载 Centos7无法联网的解决办法
1、第一种情况：ONBOOT设置成了no，需要改成yes路径：/etc/sysconfig/network-scripts/ifcfg-ens33可以直接执行一下命令进入编辑模式：#vim /etc/sysconfig/network-scripts/ifcfg-ens33注意一下，文件名“ifcfg-ens33”在不同的镜像中文件名不同，但是前缀都是“ifcfg-en”...
2019-12-29 14:07:32
906
原创 Centos修改主机名hostname与ip地址
1、修改主机名hostname：执行以下命令# vim /etc/hostname 进入hostname文件改完之后按“Esc”退出编辑模式，然后输入“:wq”写入并保存退出（w写入，q保存退出）2、修改ip地址执行以下命令#vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改完成后，记住一定要执...
2019-12-29 12:52:18
1066
转载 “熵”详细学习笔记——什么是熵？有什么性质？联合熵等其他熵的作用
熵大概是统计学、信息学中最让人纠结的基本概念之一。很多的人对于熵是什么多多少少能说出一二，但是不能准确的表达出来。我们都知道熵可以用来描述含有的信息丰富程度的多少，但具体指什么呢？在讲到熵之前，在这里我先讲一个“自信息”目录1.自信息（信息量）2.熵的引入3.信息熵（香农熵）3.1基本性质或特点1）基本性质1： 若事件x的所有状态n发生概率都一致，即都为1/n，那么信息...
2019-12-16 20:03:55
6332
转载 AttributeError: 'GridSearchCV' object has no attribute 'grid_scores_'
1、报错原因产生AttributeError: 'GridSearchCV' object has no attribute 'grid_scores_'错误的原因是因为：旧版本用的"grid_scores_"，而sklearn0.20版本中将grid_scores_剔除掉，新增了"cv_results_"代替它2、新旧版本用法导入模块：from sklearn.mod...
2019-11-23 19:38:57
5774
原创 AttributeError: 'Series' object has no attribute 'sortlevel'
1、原因pandas的包中在0.23.4版本中就取消了sort方法，老版本的Series和DataFrame对象中还包含这个函数，新版本中推荐使用sort_index和sort_values函数2、解决方法import pandas as pdimport numpy as npser_obj =pd.Series(np.random.randn(12), ...
2019-11-06 19:25:41
2434
原创 小项目小结readme:爬取“东方财富网”的所有股票信息
项目内容：爬取“东方财富网”的所有股票信息=================================================================mysql10.0 redis2.4.5 selenium3.141 firefox70.0.1 geckodriver0.26=====================...
2019-11-04 19:35:23
257
原创 python爬虫使用redis_set与md5去重实例
去重是一种思想，不要拘束于某一个点上，去重的方法多种多样，但是各有优点和弊端去重的五种方式详细分析1、set与md5的特点set：无序，不重复，没有索引md5主要特点：不可逆 md5加密为什么不可逆2、不去重的弊端：①、数据重复在进行批量海量的数据爬取的过程中，不可避免的会有大量的数据是重复的，这个时候就可以选择性的爬取，重复的部分筛掉。...
2019-11-03 20:01:45
663
原创 python_selenium定位class选择器时遇见含有空格的复合类精确定位解决办法
1、解决办法from selenium import webdriverdriver=webdriver.Firefox()driver.get(url)#根据复合类属性‘page-item next’定位到指定的classdriver.find_elements_by_css_selector('[class="page-item next"]')2、遇见的问题与分析...
2019-11-02 17:05:27
1448
原创 pyhon使用pip安装卸载selenium和安装firefox驱动，及使用selenium启动firefox浏览器
使用selenium的时候要注意版本兼容问题，使用selenium2.x的时候，firefox必须47以下，可以不需要安装webdriver驱动。但是使用selenium3.x的时候，firefox版本必须47及以上，需要安装geckodriver。在使用selenium与firefox、geckodriver时需要注意版本兼容问题。1、安装卸载selenium1.安装selenium...
2019-10-20 16:38:10
702
2
原创 阿里云云服务器新手入门以及云服务器连接Xshell6、Xftp6
1、购买登录/注册官网，查看云服务器购买列表，购买时选择操作系统镜像、地区、购买时长等，购买云服务器后会发送短信通知（学生可以搜索“阿里云云翼计划”购买特惠云服务器，需要实名认证与学生认证）2、云服务器简单操作1）设置密码设置密码完成后需要重启云服务器，新密码才会生效设置密码有两种方式①、在左侧菜单栏选择“服务器运维 远程连接”，在下方找到“设置密码”，点击根据...
2019-07-19 20:58:25
530
原创 CentOS7安装Tomcat8并配置自启动详解
1、搜索tomcat，去官网下载tomcat8 下载链接2、解压tomcat81）使用ssh上传即可我这里是使用Xftp6传输的在/home目录下创建一个tomcat文件然后将下载的tomcat8压缩包传输到/home/tomcat下2）解压tomcatcd /home/tomcat #进入tomcat文件tar -zxvf apa...
2019-07-16 16:49:11
969
原创 CentOS7安装JDK1.8 64位
1、检查是否已经安装了JDKjava -version #检查是否安装了JDK1）显示“-bash: java: command not found”，则表示没有安装2）已安装2、搜索JDK，找到需要下载的版本yum search jdk #搜索jdk选择需要下载的版本，我这里选择的是JDK1.8 64位，复制下来java-1.8.0-openjdk-...
2019-07-16 16:46:42
739
libweibo-master.zip
2020-04-30
datas_new.csv
2020-02-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人