- 博客(368)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 转载计算机网络：子网划分、子网掩码、CIDR 、路由聚合相关计算详解
转载一篇计算机网络：子网划分、子网掩码、CIDR 、路由聚合相关计算详解
2022-09-01 18:20:29
150
1
原创 WordPress Composer detected issues in your platform: Your Composer dependencies require the followin
WordPress 遇到的两个问题：Composer detected issues in your platform: Your Composer dependencies require the following PHP extensions to be installed: bcmath, curl很久没登录我的网站了，访问时突然出现第一个问题，直接显示“Composer detected issues in your platform: Your Composer dependencies
2020-12-29 14:03:42
15801
原创 位操作
位操作一个算法给定一个数，找出下一个比它大且值为1的位元数与之相同的数字。 算法作用：当用位串表示子集时，比如某位为1就表示某个元素再子集中，此算法可以用来找出元素个数为一定值的全部字集.举例： 假设待计算位串是xxx0 1111 0000 那么下一个比它大且值为1的位元个数相同的数字应是 xxx1 0000 01111.step1： 保留最右侧位元为1的值，并将其他位元置0， 此时s=xxx0 0001 0000s=x&-x step2: 计算结果中最靠左的一个位元, 此时r=
2020-09-15 23:17:15
276
1
原创 “Invalid application runtime - a runtime component is missing:/base/x64/IISConfigurator.exe“.Azure
有网友是这么说的：The fix for me was to uninstall Microsoft Azure Authoring Tools - v2.9.6 and Microsoft Azure Authoring Tools - v2.9 from the build agent (which removed “C:\Program Files\Microsoft SDKs\Azure.NET SDK\v2.9\bin\runtimes\base\x64\IISConfigurator.exe”
2020-08-18 20:16:05
201
原创 实际经历的Spark应用场景一：小量数据清洗
前言：由于是出于兴趣自学Spark的相关基础知识，工作中我身边也没有合适的场景必须需要使用Spark。比如数据量大到单机跑好几个小时还跑不完等等。我对于Spark的运用也仅限于练习几个例子。所以我一直感受不到Spark的威力，也不清楚哪些场景适合Spark。Spark的适用场景是什么？ 这是我几个周以至于直到现在都在思考的问题，因为我工作中并用不上它……。（欢迎各位读者分享下自己经历过的Spark使用场景）但是最近我在工作中遇到一个场景并且用Spark花了几分钟给解决了。 这让我有点高兴，因为我用S
2020-08-18 20:12:02
431
原创 Spark RDD Transformation 练习
在过去的几个月里，我断断续续写了Spark，Spark SQL, Spark Streaming相关的文章，自己也对Spark有了一个基本的认识。 但是仅仅这样不能算学会了spark。回想过去一年里看过的书，只有那些写过博客的内容才印象深刻，其他的书甚至都忘了讲什么的。再加上最近我一直在思考怎么才算掌握spark,用spark 能解决什么问题？ 正所谓纸上得来终觉浅，绝知此事要躬行。所以我写这篇Spark RDD 练习，帮助我们加深对Spark知识的理解。这篇博客涉及到的知识点有：如何反转pair
2020-07-11 22:30:07
417
原创 Spark Streaming(二) Structed Streaming
Spark Streaming(二) Structed Streaming本文详细介绍下Spark Streaming的第二代引擎Structed Streaming，包括Structed Streaming的概述，核心概念，Structed Streaming相关的应用等。Structed Streaming 概述Structed Streaming 有两个关键思想：以处理批量计算的方式对待流计算和与存储系统的事务集成，以提供端到端、只需一次的保证。以处理批量计算的方式对待流计算以处理批量
2020-06-06 22:12:56
473
原创 Spark Streaming(一) 基础知识介绍
本文介绍流处理的概念，流处理引擎环境和Apache Spark Streaming概述。流处理批数据处理是指通过固定的输入数据集运行计算逻辑，并在结束时产生结果。这意味着处理将在到达数据集末尾时停止。相比之下，流处理是关于通过无界数据集运行计算逻辑，因此处理是连续且长时间运行的。虽然批处理数据与流数据的区别主要在于有限性，但由于流数据的无界数据性质、实时数据的传入顺序、数据到达的不同速率以及面对机器故障时对正确性和低延迟的期望，流数据处理要比批数据处理复杂得多，也更具挑战性。流处理的挑战流数据
2020-05-21 23:45:58
537
原创 SparkSQL 高级篇(一) 聚合操作
SparkSQL 高级篇(一) 聚合操作聚合操作聚合操作是大数据分析过程中一个常用的操作，用来分析汇总数据，或者生成汇总报告。聚合通常需要对整个数据集或一个或多个列进行某种形式的分组，然后对每个组应用聚合函数，如求和、计数或求平均值。Spark提供了许多常用的聚合函数。这里介绍下基本的聚合函数和分组聚合操作函数。首先创建一个用于demo的DataFrameval flight_summa...
2020-05-02 00:41:01
1680
原创 Spark SQL(二) DataFrames相关的Transformation操作
Spark SQL(二) DataFrames相关的Transformation操作DataFrames是不可变的，且与其相关的Transformation操作和RDD的相关操作一样都是返回一个新的DataFrame.DataFrames TransformationsselectselectExprfilter/wheredistinct/dropDuplicatessort/o...
2020-05-02 00:40:25
538
原创 Spark SQL(一) 如何创建DataFrames
Spark SQL(一) 如何创建DataFramesSpark SQL包含两个主要的部分，第一部分是DataFrames和Datasets, 第二部分是Catalyst optimizer.DataFrames和Datasets是结构性API的展示，定义了操作结构化数据的高层次API,而Catalyst optimizer则是在背后对处理数据的逻辑进行优化，以加速处理数据的速度。结构化数...
2020-05-02 00:39:45
188
原创 Spark RDD(三) 键值对RDD相关的转换和动作操作
Spark RDD(三) 键值对RDD相关的转换和动作操作本篇文章主要介绍和key/value pair RDD相关的转换(transformation)和动作(action)操作。键值对RDD和普通RDD不同，在普通RDD中，一行数据代表一个单独的值，比如一个整数或者一个字符串。 而键值对RDD中一行数据是一个元组，在元组中第一个元素是key值，第二个元素值vaule值。 key和value...
2020-05-02 00:39:14
1437
原创 Spark RDD(二) RDD的相关行为(Action)操作
Spark RDD(二) RDD的相关行为(Action)操作Action操作会真正触发转换逻辑(转换操作参见上一篇Spark RDD(一))。本文主要介绍常见的Action操作。常见Action操作有以下9种：collect()count()first()take(n)reduce(func)takeSample(withReplacement, n, [seed])take...
2020-05-02 00:38:45
411
原创 Spark RDD(一) RDD的创建和转化操作
Spark RDD(一) RDD的创建和转化操作RDD 有几个特点不可变容错并行数据结构内存中计算数据分区和存放丰富的操作函数RDD 的操作行为可以分为两类：转换和行为。转换是一个延迟操作，返回的结果是另外一个RDD。行为是另一种操作，会触发转换逻辑。行为的结果一般是返回一个结果，或者把结果写到磁盘。创建RDD 有3种方式：(1) parallelize一个object...
2020-05-02 00:38:09
546
原创 执行“spark.sql()”报错Failed to start database ‘metastore_db’ with class loader
如何解决windows下执行“spark.sql()”报错Failed to start database ‘metastore_db’ with class loader现象描述执行DataFrame的相关操作时可以正常运行，但是执行spark.sql()这个会出现下面的错误Caused by: ERROR XJ040: Failed to start database ‘metastor...
2020-05-02 00:36:41
933
原创 Linux Bash Shell (五)--如何创建临时文件， 分割大文件？
Linux Bash Shell (五)–如何创建临时文件， 分割大文件？前言这篇文章主要包含3个部分：如何利用mktemp创建临时文件如何利用split分割大文件如何利用csplit分割大文件让我们一起来学习吧~利用mktemp创建临时文件在写脚本的过程中，我们经常需要存储临时数据，在linux系统下最合适放临时数据的地方是/tmp,这个目录下的内容会在重启的时候被清除。m...
2019-12-03 22:30:55
508
原创 Linux Bash Shell (四)--sort 和uniq命令
Linux Bash Shell (四)–sort 和uniq命令前言这篇文章主要介绍Linux Bash Shell 中的sort和uniq命令。sort命令可以对文本文件进行排序，经常和其他命令通过管道的方式结合使用。而uniq 命令要求输入必须是排好序的数据，否则结果就不会准确，有序是uniq命令得到正确结果的基础。接下来让我们一起来学习sort和uniq命令吧~sort 命令的...
2019-12-03 22:30:01
568
原创 find命令的高级用法你知道吗？
find命令的高级用法你知道吗？前言各位读者好，看到本文标题你会想到什么？你觉得哪些用法才算是find命令的高级用法？本文介绍的和你想到的一致吗？本文重点介绍如何利用-exec和xargs命令实现find命令和其他命令的结合，进而向大家展示find命令的强大。(一) find 命令-exec和-ok参数有很多场景需要对查找到的文件进行进一步操作，比如批量对文件进行权限的更改，用户属性...
2019-12-03 22:29:20
570
原创 Linux Bash shell中的这些用法你都了解了吗？ （一）
Linux Bash shell中的这些用法你都了解了吗？ （一）如何做一些个性化输出：echoecho 是bash shell中的常见输出命令。但是echo可以实现带颜色的文本输出。用法如下：echo -e "\e[1;31m This is red text \e[0m"[1;31m This is red text [0m这里-e 表示可以处理带有转义字符的输入 \e...
2019-12-03 22:28:26
180
原创 Linux Bash Shell 中的这些用法你都了解吗? (二) 文件校验与加密解密
Linux Bash Shell 中的这些用法你都了解吗? (二) 文件校验与加密解密前言Bash Shell 中内置了大量功能强大的命令，有时通过一个命令就能实现一个软件的功能。今天让我们一起学习下在shell中如何校验文件的完整性，以及如何进行文件的加密解密 关键词md5sum, sha1sum, crypt, gpg, base64, openssl文件校验由于网络的...
2019-11-02 23:14:53
378
原创 创建Azure 机器并安装和配置VNC server使其支持界面访问
目标： 创建一台azure vm， 并安装vnc server，使客户端可以通过图形界面访问azure vm。步骤在Azure vm 上 install gnomesudo apt-get install --no-install-recommends ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gn...
2019-06-15 13:29:20
819
原创 Azure ss
if ss can not workRemember change port to large than 8000 or large (this is important)decide whether disable or enable ip forwarding( I have test it does not matter,)
2019-06-15 12:01:12
254
原创 ubuntu执行sudo apt-get update提示缺少公钥
apt-get update failded NO public keyProblem No public keySolution:Add public keysudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys ${key1} ${key2}Reference: https://www.cnblogs.com/lyx...
2019-06-15 11:22:45
366
原创 Window python 3.7执行python get-pip.py 出现 ssl error
Win10 python 3.7执行python get-pip.py 出现一下错误:Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host=‘pypi.org’, port=443): Max re...
2019-05-29 16:29:34
3115
原创 把一个代表DateTime带有T和Z的string转化成DateTime c#
c# 把类似于 2019-05-08T11:37:42.5942115Z 这样带有T和Z表示日期的string 转化成DateTime1. 首先字母 T和 Z的含义- T is just a marker for where the time part begins- The Z is the Zulu timezone which is the same as UTC这种形式...
2019-05-09 15:49:57
7897
1
原创 django render 返回数据及使用问题
django render 返回数据及使用1. 前端页面标签中使用2. 前端页面js代码中使用1. 前端页面标签中使用（a） 后端返回代码return render(reqeust, "template.html", {"status": 200});（b) 前端使用代码 template.html<html> <div> <p>后端返回的状态...
2019-04-11 21:15:16
5229
原创 attention 机制的分析
参考：https://juejin.im/post/5bbf41c3f265da0af16160d2原理介绍：https://cloud.tencent.com/developer/article/1092249
2018-11-24 23:00:33
186
原创 pyplot画图中，如何设置只在某些点用marker标记
问题描述： 想在一个图了画多条线，可以用颜色区分，也可以用线的样式区分。用颜色区分很直观， 但是如果打印是黑白的话，颜色区分就失效了用线的样式比如点，横，虚线等效果不好用线的样式比如点，横，虚线等效果不好所以只能选择下面这一种选择在线上用一些标记，比如由*组成，比如由正方形，三角形组成。这种会导致画出的特别出，效果也不好最好的是在直线的基础上， 然后在这个线上只用几个marker...
2018-11-23 17:33:01
16152
原创 neo4j 安装报错问题permission denied,unlabel to locate java executable
第一次执行 neo4j_home/bin/neo4j console 报错permission denied所以我加上了sudo 但是加上sudo 却报了 error unlabel to locate java executable说是找不到jvm, 且要求jdk8， 但是我是有jdk的环境变量的，所以不能用sudo所以改变neo4j的权限归属， sudo chown -R...
2018-11-20 15:34:36
1042
原创 let 96
Given n, how many structurally unique BST’s (binary search trees) that store values 1 … n?解法一：找规律，这种解法就是要找出一个具有普遍规律的解法，首先就是把每一个节点作为根节点进行遍历，然后去求左右子树有多少种， 根据乘法原理， 左子树乘以右子树的种类数就是当前的子树个数。又根据递推原理， 当一个节...
2018-11-10 22:33:19
130
原创 行为类模式PK (三)：观察者模式和责任链模式
观察者和责任链观察者和责任链也有些相同的地方: 就是观察者本身可以形成一个观察者链。以dns解析器为例子：责任链模式就是本地处理不了域名，就交给上一级，上一级处理不了就再往上，直至处理。 本地有上级，上级还有上级，组成一个责任链。观察者模式就是， 自己处理不了就通知观察者。 本地dns服务器有观察者是上一级dns服务器，上一级还有观察者。这两者的区别是：责任链模式，在链中不会改变传递...
2018-11-09 21:06:45
644
原创 行为类模式PK (二)：策略模式和状态模式
策略模式和状态模式策略模式和状态模式在类图上十分相似。都是高扩展性的设计。两者最重要的区别是： 1. 策略模式封装的是不同的算法，算法之间没有交互，以达到算法可以自由切换的目的。2. 状态模式封装的是不同的状态，以达到状态切换行为随之发生改变的目的。举一个场景。人在孩童时期玩耍，成年工作，老年退休。按照策略模式是3种不同的工作方式，而按照状态模式，，则是认为人的状态不同产生了不同的行为结果...
2018-11-09 18:29:58
203
原创 行为类模式PK (一)：策略模式和命令模式
行为类模式行为类模式比较多：责任链模式，命令模式，解释器模式，迭代器模式，访问者模式，备忘录模式，中介者模式，观察者模式， 状态模式，策略模式，模板方法。11个命令模式和策略模式策略模式的意图是封装算法，封装完整的，不可拆分的原子业务，其意图是让算法独立，并且可以相互替换，让行为的变化独立于行为的客户。命令模式 命令模式是对动作的解藕，把一个动作执行分为执行对象，执行行为，让两者相互独...
2018-11-09 17:01:39
1709
原创 机器学习汇总
关于什么是词向量？one-hot, fake task , cbow ,skip-gram词向量：http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/https://zhuanlan.zhihu.com/p/24961011包含了画图：https://machinelearningm...
2018-11-08 21:53:31
118
原创 结构类模式PK
结构类模式包括：适配器模式，代理模式，装饰者模式，桥梁模式，组合模式，，门面模式，享元模式。 共7个模式。这些模式的pk主要集中在，适配器模式，代理模式和装饰者模式。桥梁模式是：工厂生产产品的场景，把产品和工厂就行解藕，代替继承。门面模式：是邮局的场景，对子系统进行封装享元模式：是共享细粒度对象。是考试报名系统的场景。组合模式： 是公司人事架构的场景，经理，普通员工都是员工。代理模...
2018-11-08 12:57:44
147
原创 django views.py open("./xx") no such file found解决django views 文件中open函数找不到文件的问题
现象：在views.py 中 用open 函数，open("./xxx")这种形式，采用相对路径，打开一个文件,提示找不到文件。 但是直接运行该py文件就没有问题解决办法： 用绝对路径pwd=os.path.dirname(__file__)open(pwd+"/xxx")这里有个os.path.dirname(__file__) 这句话的功能是找出 这条语句所在的.py文件所在的目...
2018-11-07 15:21:53
1109
原创 django 解决ajax 请求csrf跨域问题，解决403 forbidden
现象： 请求403 ，提示跨域原因：项目setting.py 中installed app 里面有'django.middleware.csrf.CsrfViewMiddleware',###解决过程：查看请求发现 cookie 有csrftoken所以利用js 获取csrftoken核心语句 document.cookie()会返回所有的cookie cookie 的结构如下...
2018-11-06 23:28:53
920
原创 python+ selenium 无法定位的解决方案
先说现象： 利用selenium 的find_无论是用css selector 都 无法取到这个时候需要考虑是不是有iframe。参见https://www.cnblogs.com/yufeihlf/p/5689042.html有iframe这个是最常见的原因，首先要理解下frame的实质，frame中实际上是嵌入了另一个页面，而webdriver每次只能在一个页面识别，因此需要先定位到相...
2018-11-06 09:56:20
955
原创 python selenium 进行爬虫，打开chrome只返回data; 打不开页面
我选用的是chrome代码如下：from selenium import webdriverfrom selenium.webdriver.common.keys import Keysdriver=webdriver.Chrome()driver.get("http://www.baidu.com")把下载好的chromedriver v2.43 放到 /usr/local/b...
2018-11-05 11:24:15
6545
原创 设计模式 (二十三) 桥梁模式
桥梁模式桥梁模式的背景： 一个公司生产产品，如果是一个确定的公司，且生产固定的产品。那么这个类实现起来可能就比较确定，比如这样：public abstract class corp{ protected abstract void produce(); protected abstract void sell(); public void makeMoney(){ this.prod...
2018-11-04 18:08:08
152
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人