- 博客(50)
- 收藏
- 关注
RSS订阅
原创 hadoop学习总目录
更新中...一、linux和高并发1.1 linux下软件简单安装点此链接1.2 linux下设置帮助文件为中文点此链接1.3 linux脚本编程基础点此链接1.4 网络编程——1、协议基础点此链接1.5 网络编程——2、通信基础点此链接1.6 网络编程——3、服务器基础点此链接1.7 LVS高并发与负载均衡点此链接1.8 nginx...
2019-06-26 18:40:59
273
转载 数据仓库之拉链表（二）使用拉链表更新数据
前提假设： 数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据； 如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史； 订单状态包括三个：创建、支付、完成 创建时间和修改时间只取到天，如果原订单表中没有状态修改时间，那么抽取增量就比较麻烦，需要有个机制来确保能抽取到每天的增量数据； 原系统中订单表结构为： CREATE TABLE orders ( orderid INT, createtime STRING, modified
2021-02-10 11:43:58
1379
原创 linux下使用crontab创建定时作业
最近服务器中日志文件满了，需要定时清理，先总结一下。清理策略：将压缩7天前的日志，清理30天前的日志。1、crontab启停/sbin/servicecrondstart//启动服务/sbin/servicecrondstop//关闭服务/sbin/servicecrondrestart//重启服务/sbin/servicecrondreload//重新载入配置查看crontab服务状态：servicecrondstatus手动启动cronta...
2021-02-08 15:28:51
305
原创 weblogic部署后浏览器乱码问题解决
主要问题有三个，数据库编码问题、weblogic编码问题、浏览器编码问题表，三个要统一，在此统一设置成utf-8为例。1、数据库编码设置：（1）查看oracle数据库编码语句：select userenv('language') from dual;（2）导入sql文件时编码要为utf-8！2、weblogic编码设置：weblogic默认编码为ansi，在此改为utf-8：（1）修改${DOMAIN_HOME}\bin\setDomainEnv.sh文件，在最后添加ex
2020-12-10 17:49:55
980
原创 Maven报错 Return code is: 501 , ReasonPhrase:HTTPS Required. -＞ [Help 1] 解决
背景：出错如下出错原因是2020年1月起maven只支持https请求。解决方法：在maven的settings.xml的mirrors标签中添加如下内容<mirror> <id>repo1</id> <mirrorOf>central</mirrorOf> <name>Human Readable Name for this Mirror.</name> <u
2020-08-19 10:29:30
2132
转载 搭建IIS文件服务器
使用的操作系统为Windows 10 企业版，其他Windows系统类似，请借鉴：一、当然，开始肯定没有IIS，那该怎么办？需要一个软件环境进行搭建，具体方法如下：1）打开“控制面板”，找到“程序与功能”，如下图所示：2）点进去之后，找到“启用或关闭Windows功能”，如下图所示：3）点进去之后，将“Internet Information Services”下所有节点都打勾（这样就搭建了一个功能完全的HTTP/FTP服务器），注意“WebDAV发布”必须要...
2020-07-10 15:44:42
750
原创 windows下使用tensorflow1.12时bug解决
背景：在windows下使用tensorflow会报错“xxx.so”文件找不到。错误如下：tensorflow.python.framework.errors_impl.NotFoundError: D:\Program Files (x86)\python35\lib\site-packages\tensorflow\contrib\coder\python\ops\_coder_ops....
2019-12-20 17:05:09
483
原创 微信小程序实现websocket聊天室
在微信小程序中建立聊天室。目录一、在web项目中导入javax.websocket-api-1.0-rc4.jar包二、编写支持websocket的controller类三、在微信小程序中编写JavaScript代码web服务器环境：1、myeclipse2、 jdk1.73、 tomcat8 (使用tomcat7可能出现其他问题)4、 在WEB-INF/li...
2019-08-14 21:37:06
2816
3
原创 微信小程序开发（以知晓云SDK作为后端）
本篇介绍知晓云SDK开发需要注意的地方。目录一、知晓云配置二、微信开发者工具中配置知晓云插件三、连接数据库四、通过链接访问知晓云数据库中文件资源4.3 在微信公众平台中配置知晓云数据库域名4.2上传文件到知晓云数据库4.3编写微信小程序中访问代码一、知晓云配置1.1 小程序授权登录知晓云进入控制台。选择 开发--设置添加知晓云插件...
2019-08-14 21:09:44
1168
原创 Hadoop MapReduce wordcount 实例简单介绍
本篇介绍MapReduce wordcount简单实例，在此之前请搭建好hadoop ha高可用环境和myeclipse上hadoop api环境配置，如果没有请参考hadoop ha 高可用搭建和hadoop hdfs的api简单使用。目录一、总体架构二、配置hadoop环境三、wordcount实例编写一、总体架构总体结构如下表所示，即hadoop ha 之上添加了RS...
2019-06-27 12:31:20
370
原创 hadoop hdfs的api简单使用
本篇介绍myeclipse下测试hdfs的操作，本篇是在另一篇博文hadoop ha 高可用搭建的基础上搭建的。目录一、windows下环境配置二、location 连接测试三、hadoop hdfs api 测试一、windows下环境配置1）创建hadoop_home文件夹，在此为D:\Program Files\Hadoop；2）将hadoop-2.6.5.tar...
2019-06-26 18:36:36
1160
原创 hadoop ha 高可用搭建
该ha搭建是在hadoop全分布式基础上搭建，关于hadoop全分布式搭建可以参考另一篇hadoop3分布式环境基础搭建。目录一、高可用简介二、配置hadoop三、zookeeper安装及配置四、namenode节点信息同步五、zookeeper格式化、ha启动及测试一、高可用简介多个namenode，增加namenode增加可用性。ha角色分配如下NN...
2019-06-25 16:32:55
306
原创 hadoop3分布式环境基础搭建
本篇问hadoop3最基础搭建。目录一、hadoop简介二、hadoop3伪分布式搭建2.1 安装及配置2.2 启动2.3测试三、全分布式搭建3.1 node01安装及配置3.2 node02~node04配置3.3 启动3.3测试一、hadoop简介二、hadoop3伪分布式搭建在虚拟机上配置一台hadoop伪分布式环境（一台机器上...
2019-06-23 16:36:19
1815
原创 nginx集群与高并发
本篇介绍nginx，nginx的作用是反向代理和负载均衡。目录一、nginx简介二、nginx安装三、nginx配置3.1 在nginx上部署两个项目3.2 nginx负载均衡四、nginx负载均衡时session问题4.1 安装memcached4.2 配置监听地址4.3 tomcat服务器中添加jar包4.4 tomcat配置4.5 nginx...
2019-06-17 18:36:49
9733
原创 LVS高并发与负载均衡
本篇介绍lvs负载均衡器，并使用keepalived增强lvs的稳定性。目录一、负载均衡模型简介1.1 逻辑模型简介1.2 动态NAT模式实现1.3四层DR（直接路由）模式实现1.4 隧道（ip嵌套ip）模式实现1.5 隐藏VIP（对于后端服务器）的方法二、lvs原理三、lvs-DR模型实验3.1 实验环境介绍3.2实验步骤四、keepalive...
2019-06-16 14:35:00
608
原创 网络编程——3、服务器基础
网络编程——1、协议基础，点击此处。网络编程——2、通信基础，点击此处。网络编程——3、服务器基础，本篇。本篇包括网络编程概述、UDP简介、TFTP简介、TCP编程等，在此之后可以查看另一篇网络通信基础。。目录一、客户端实现二、单进程服务器2.1 单进程实现2.2 单进程非阻塞实现2.3 TCP服务器（select版）2.4 epoll版服务器实现三、多...
2019-06-11 17:14:25
381
原创 网络编程——2、通信基础
网络编程——1、协议基础，点击此处。网络编程——2、通信基础，本篇。网络编程——3、服务器基础，点击此处。本文为网络通信基础。目录一、交换机与集线器二、arp和icmp三、路由器简介四、ip地址与mac地址的不同五、访问网站过程、http服务器、dns服务器配置六、tcp的三次握手、四次挥手6.1 tcp的三次握手6.2 tcp的四次挥手6.3 ...
2019-06-09 17:02:04
309
原创 网络编程——1、协议基础
网络编程——1、协议基础，本篇。网络编程——2、通信基础，点击此处。网络编程——3、服务器基础，点击此处。本篇包括网络编程概述、UDP简介、TFTP简介、TCP编程等。目录一、tcp/ip协议简介二、端口三、IP地址四、MAC地址五、socket简介六、UDP网络通信过程七、模拟QQ聊天-多线程实现八、wireshark抓包工具的使用九、tft...
2019-06-06 17:02:57
436
原创 linux脚本编程基础
本篇为linux脚本编程基础。目录一、bash1.1 bash1.2 source命令和./命令二、文本流及重定向2.1文本流2.2 重定向三、shell变量四、引用五、算术表达式六、添加用户脚本（练习）七、流程控制一、bash1.1 bashbash是一个解释器，可以从1）用户交互输入2）文本文件输入中执行命令。在命令行输入bash命令...
2019-06-05 17:03:13
343
原创 linux下设置帮助文件为中文
本篇设置中文显示和设置帮助文档为中文。1.设置系统默认语言为中文（对应每个shell而言，重启后会变成英文，所以每次都需要执行）echo $LANG输出：en_US.UTF-8 （此时为英文）LANG=zh_CN.UTF-8echo $LANG输出：zh_CN.UTF-8 （此时为中文）2.安装中文支持•yum groupinstall "Chinese Suppo...
2019-06-01 17:27:02
4239
原创 linux下软件常用安装方式（Redhat系列）
本篇介绍linux下的编译安装、rpm安装、yum安装三种软件安装方式。一、编译安装•1，下载源码包•2，解压缩：tar -xzvf filename•3，cd：vi README•4，./configure [可选安装参数] （执行过程中可能出现以下错误，并解决） –检查操作系统 –检查编译环境（如果编译环境缺少gcc，用下面命令安装...
2019-06-01 16:33:13
1454
原创 VMware的三种联网模式
1、NAT模式VMware虚拟出交换机，物理机和虚拟机连接到该虚拟交换机，虚拟机访问外网时VMware自动转换ip地址。注意：在该模式中，其他访问一切正常，唯一的问题是物理机ping不同VMware虚拟出的网关（上图的192.168.33.1），查阅资料可能的原因是“VMWare 的设定就不允许 NAT 转发来自于 host 的虚拟网卡过来的包。应该是直接就不响应 ARP 了”。2...
2019-05-18 18:07:52
436
原创 51寄存器表
MCS－51单片机的特殊功能寄存器 符号 地址 功能介绍 B F0H B寄存器 ACC E0H 累加器 PSW D0H 程序...
2019-05-02 21:53:20
3877
1
原创 MATLAB仿真PID控制器与模糊控制器
摘要：使用matlab编写PID控制器与模糊控制器，并对原理进行解析。背景： 小白自学。基础：1、视频“自动控制原理”，1-3章，柠檬大学，点此链接2、《基于MATLAB的系统分析与设计——模糊系统》，楼顺天等，西安电子科技大学出版社，1-80页。3、视频“单片机STM32——PID算法讲解”，1-6节，ArgonGhost，哔哩哔哩，点此链接。4、视频“第9章线性系统的状态空...
2019-03-04 16:06:10
14916
2
转载 关于可重入函数（可再入函数）和模拟堆栈（仿真堆栈）
作者：xzp21st 邮箱： [email protected] 撰文辛苦，转载请注明作者及出处关键字：keilc51，模拟堆栈，可重入函数调用，参数传递，C?XBP，C?ADDXBP摘要：本文较详细的介绍了keilc51可再入函数和模拟堆栈的一些概念和实现原理，通过一个简单的程序来剖析keilc51在大存储模式下可重入函数的调用过程，希望能为keilc51和在51系列单片机上移植嵌入式实...
2019-02-20 19:20:18
620
2
转载 51单片机寄存器功能一览表
21个特殊功能寄存器(52系列是26个)不连续地分布在128个字节的SFR存储空间中，地址空间为80H-FFH，在这片SFR空间中，包含有128个位地址空间，地址也是80H-FFH，但只有83个有效位地址，可对11个特殊功能寄存器的某些位作位寻址操作(这里介绍一个技巧：其地址能被8整除的都可以位寻址)。在51单片机内部有一个CPU用来运算、控制，有四个并行I/O口，分别是P0、P1、P2、P3...
2019-02-16 22:54:39
781
原创 MATLAB设计模糊控制器并用simulink仿真
本人菜鸟，初学模糊控制器，为了方便以后查阅写此博文，欢迎初学者借鉴，高手指点！环境：MATLAB R2012a目录一、设计模糊控制器1.1 创建项目文件夹1.2 打开MATLAB 1.3 设计模糊控制器二、设置控制系统三、simulink仿真一、设计模糊控制器1.1 创建项目文件夹在此路径如图1.2 打开MATLAB打开MATLAB R201...
2018-12-29 18:58:31
47047
44
原创 scrapy爬虫框架简单实例
声明：初学scrapy，总结学习内容。目录一、安装scrapy二、创建工程三、编写代码 3.1 item文件编写3.1 spider文件编写3.2 pipeline文件编写3.3 setting文件修改四、测试一、安装scrapypip install scrapy 二、创建工程scrapy startproject mySpider ...
2018-10-06 17:36:59
17143
8
原创 linux下Redis数据库配置
声明：刚学了一个小时，现总结一下。以后再作优化。目录一、安装Redis数据库二、配置Redis数据库 2.1 修改bind属性2.2 关闭保护模式2.3 作为守护进程三、使用Redis数据库3.1 启动Redis数据库服务3.2 查看Redis服务状态3.3 远程连接Redis数据库3.4 关闭Redis数据库一、安装Redis数据库$ w...
2018-10-05 21:52:43
912
转载 单片机结构和原理讲解！
89C51单片机结构框图1、一个8位 的微处理器CPU。2、片内数据存储器(RAM128B/256B）:用以存放可以读/写的数据，如运算的中间结果、最终结果以及欲显示的数据等。3、片内4kB程序存储器Flash ROM（4KB）:用以存放程序、一些原始数据和表格。4、四个8位并行I/O（输入/输出）接口 P0~P3:每个口可以用作输入，也可以用作输出。5、两个或三个定时/计...
2018-09-28 09:56:07
1625
转载 什么是ROM、RAM、DRAM、SRAM和FLASH的区别
转自：http://www.21ic.com/jichuzhishi/mcu/memory/2014-04-23/322864.htmlROM和RAM指的都是半导体存储器，ROM是Read Only Memory的缩写，RAM是Random Access Memory的缩写。ROM在系统停止供电的时候仍然可以保持数据，而RAM通常都是在掉电之后就丢失数据，典型的RAM就是计算机的内存。RA...
2018-09-28 09:51:38
234
原创 在树莓派上安装MPlayer播放器
一、升级安装程序sudo apt-get updatesudo apt-get upgrade二、安装VLCsudo apt-get install vlc三、安装MPlayer用以下命令安装MPlayer并重启sudo apt-get install mplayer mplayer-gui alsa-base alsa-utils pulseaudio mpg12...
2018-09-11 12:55:55
7730
原创 DDoS木马删除
最近云服务器报错，查看是被DDoS攻击了，经过一些努力，终于完成删除，现总结如下。目录一、检测命令是否被更换二、查看木马源文件 三、删除3.1 在crontab计划任务中删除3.2 删除计划任务文件 3.3 删除libudev4.so木马源文件四、删除开机启动项中的木马文件4.1 删除开机启动木马文件4.2 删除启动脚本中木马文件五、检查和重启5.1...
2018-09-09 10:11:06
4474
原创 Linux网卡错误解决方案
解决网卡错误，如无eth0等。目录一、编辑文件 70-persistent-net.rules二、编辑文件 ifcfg-eth0三、重启附：dns配置方法一、编辑文件 70-persistent-net.rules命令如下：vi /etc/udev/rules.d/70-persistent-net.rules删除旧网卡信息，新网卡改名为eth0二...
2018-09-05 14:44:39
2461
原创 基于步科（Kinco HMI 2.5）的组态软件使用
本篇介绍Kinco HMI 2.5的组态软件使用，图标如下目录 一、新建工程并配置连接1.1 根据工程选择PLC与HMI型号1.2 配置PLC连接与选项二、组态画面编辑2.1 打开画面窗口2.2 编辑画面2.3 组态变量与PLC程序变量连接三、组态程序下载到HMI3.1 连接3.2 编译3.3 下载一、新建工程并配置连接1.1 根据工...
2018-08-24 12:56:57
7366
6
原创 组态王7.5的WEB发布
本篇是基于组态王7.5的Web发布实现。目录 一、Web发布原理1.1 Web发布原理1.2 实验架构二、工程配置2.1 数据服务器工程配置2.2 Web服务器工程配置2.2.1 连接远程站点2.2.2 网络配置2.2.3 编写Web服务器画面三、IIS服务器配置3.1 安装IIS服务3.2 本机开放80端口四、Web发布五、IE浏览...
2018-08-24 11:39:30
16319
3
原创 组态王7.5的移动客户端发布
目录一、客户端变量配置二、移动客户端发布三、在移动端测试一、客户端变量配置打开组态王的移动端开放工具 打开变量配置窗口，首先进行变量组配置，如下所示 然后对用户配置，即哪些用户可查看哪些变量组中的变量 二、移动客户端发布打开组态王的移动客户端运行工具采用默认配置，如下所示，启动服务三、在移动端测试在移动端浏览器中输入http:...
2018-08-23 18:46:19
9979
3
原创 PLC通过DDE通讯——基于Codesys和组态王7.5进行数据采集
本篇文章在另一篇文章——PLC通过ModbusTCP通讯——基于组态王7.5进行数据采集的基础上用另一种方法进行数据采集。硬件环境：WAGO（万可）750-881PLC。软件环境： 桌面环境：Win10 PLC编程：Codesys2.3 DDE通讯软件：Excel2016总体架构如下：...
2018-08-23 11:40:17
4719
1
原创 组态王与mysql数据库通过ODBC连接
重点写在前面！环境：mysql5.5 32位 + mysql-connector-odbc-5.1(注意5.1可行，5.3不可行！！！)；注意：在win7控制面板中的ODBC默认是64位的，所以不可用！需要用“C:\Windows\SysWOW64\odbcad32.exe”才能创建ODBC连接，此应用为32位连接用！结果：win7和win10下测试通过！目录一、安装mysql-c...
2018-08-22 19:03:07
12868
2
原创 PLC通过ModbusTCP通讯——基于组态王7.5进行数据采集
在本篇博文中通过一个具体实例学习组态王的基本功能。以组态王7.5为例！目录一、启动组态王并新建工程二、新建设备2.1 新建PLC设备——通过ModbusTCP连接2.2 新建DDE设备三、新建变量四、新建画面五、报警配置5.1 新建报警组5.2 设置报警变量5.3 创建报警窗口5.4 设置报警弹出窗口5.5 报警信息自动存入数据库六、实时曲...
2018-08-22 16:46:17
23235
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人