jntcf-CSDN博客

原创大数据主流开源计算框架

大数据的存储常用HDFS（大数据存储的事实标准），计算分析用Spark（一站式大数据计算的事实标准），集群中的资源管理用Yarn或mesos。本文主要内容如题，适合有一定基础的人查看（关于大数据big data是什么，由何而来，指导思想、3V~5V特性，环境搭建、挖掘分析及编程等，本文不涉及）,，有些描述可能不是很准确，欢迎大家一起讨论交流。目录1. 大数据计算的分类...

2019-05-23 15:01:25 1596

原创 spark中的闭包与广播变量

Spark 任务调度图（以Spark Core为例） 1. DAG的应用 Spark的Job（Application），从宏观上来看处理过程大致如下：加载数据，获取RDD（或DF等）转换数据执行转换，获取结果并处理整个计算过程是从上往下的（有方向），但是没有上下往复的处理（无循环），从图的角度我们可以将这个过...

2019-05-21 13:38:52 917

TOP500 List - June 2018The TOP500 celebrates its 25th anniversary with a major shakeup at the top of the list. For the first time since November 2012, the US claims the most powerful supercomputer i...

2018-09-14 13:57:42 2566

原创 Hibernate 4开发之测试（JUnit）

说明：本文仅给出了使用Junit对编写的持久化类及映射配置验证的一个例子，对如何进行hibernate开发和配置及如何创建junit test case没有介绍。 hibernate开发过程中，当我们完成了持久化类开发和映射配置后，下一步是集成到团队的代码库中？或许很多人是这么做的，忽略代码质量的检测的是导致开发后期做系统集成时Bug泛滥的重要因素之一。白盒测试是软件编码过程...

2018-03-18 15:47:31 264

原创【Servlet学习笔记-1】使用Eclipse创建第一个Servlet并在html页面调用示例

说明：学习过程中参考了很多资料，但此文章主要在https://www.studytonight.com/servlet/creating-servlet-in-eclipse的基础上调整完成，如果侵权请联系我！Eclipse IDE is the most popular Java IDE used in the Industry. It is developed by an open sourc...

2018-02-26 09:58:52 4474

原创机器学习笔记——基于奇异值分解（SVD）的图像压缩（PIL）

此Python脚本的作用是图片压缩（清晰度尚可的情况下，可达到8倍以上的压缩比），是SVD的一个应用实践，涉及PIL、numpy库。想了解更多的方法，可以查看其他的库。（python中处理图片的库比较多，比如PIL、OpenCV、matplotlib等。）

2017-12-28 10:42:06 847

转载美国公开宣布WannaCry真凶——就是朝鲜！

2017年5月全球范围内爆发的勒索病毒“永恒之蓝”（ WannaCry）。2017 年 12 月 18 日，美国特朗普政府晚间也公开发表声明，朝鲜就是此次 WannaCry 事件的幕后黑手。

2017-12-20 10:24:09 879

转载 selenium webdriver定位不到元素的五种原因及解决办法（51testing）

selenium webdriver定位不到元素的五种原因？动态id定位？frame问题？xpath描述错误？……通过本文你或许能找到原因和解决方式。

2017-10-11 14:39:16 5908

原创 Selenium參考資料（python，适合初学者）

此处只是给出了技术培训用的一点点参考资料，对技术爱好者而言，多逛逛博客、论坛、BBS及贴吧是个不错的选择。1. python代碼風格指南；2. python的官方参考文档；3. CSS 选择器参考手册；4. selenium参考资料。

2017-09-26 10:37:52 1228 1

原创 java方法重载实验：判断键盘输入的两个数据的类型后进行比较

实验内容：使用java语言编程，实现键盘录入两个数据，比较两个数是否相等（采用方法调用方式），输出比较结果；提高：对实现数字比较的方法进行重载，使之适应int、float、double、short类型的比较。

2017-08-16 09:53:00 2610 1

原创軟件安全測試的測試用例格式參考

软件测试过程中，功能测试及性能测试的测试用例一般比较多，但安全测试的用例就少一些，这是我日常工作中整理的安全测试用例的样例，与大家分享探讨。软件安全测试做的比较多的有三种类型：源代码静态扫描（SCA）、动态渗透测试和web应用测试，以下列出三种测试的测试用例样本。

2017-06-01 09:08:24 2190

原创 web环境常见组合及管理后台

目前绝大部分的应用系统都以WEB方式接入互联网，因此WEB安全越来越受到大家的关注，針對Web的攻擊和破壞不斷增多，黑客工具日益普及的今天在線安全面臨日益嚴峻的挑戰。了解软件基本常识，提高基本安全意识，是软件设计与开发者的“分内事”。一、web环境常见组合IIS +asp/aspx/php + Access/MS SQL/MySQL(windows)tomcat + jsp/

2017-05-17 13:18:23 1870

原创扒一扒数据驱动测试（DDT）与关键字驱动测试（KDT）

我们可以得到如下结论： 1）驱动因素：KDT是action和data，DDT是data； 2）执行过程关注：KDT需要定义执行过程（白盒），而DDT不关注（黑盒）； 3）精细度：KDT是动作级的，DDT是函数级的；

2017-05-17 12:00:40 7225

转载 Microsoft IIS FTP Service CVE-2012-2532 Remote Command Injection Vulnerability

Microsoft IIS is prone to a remote command-injection vulnerability because it fails to adequately sanitize user-supplied input data. Remote attackers can exploit this issue to execute arbitrary commands with the privileges of the application; this may disc

2017-05-17 10:01:22 1347

原创性能測試——并发用户数估算

很多小夥伴在做性能測試的時候，通常會疑惑：“我選擇多少用戶進行並發合適呢？”如果你也有這個疑問，這篇文章可能適合你。在線用戶數 ≈ 註冊用戶數 X （5%~25%）（以騰訊qq的數據看一下：當前註冊用戶數以11億作為參考……

2016-08-31 14:42:30 1009

转载内联网、外联网、互联网，你晓得几个

内联网、外联网、互联网，你晓得几个？哈哈，一起来看~1）内联网内联网(Intranet)也叫企业内部网，是指利用互联网技术构建的一个企业、组织或者部门内部的提供综合性服务的计算机网络。内联网将互联网的成熟技术应用于企业内部，使TCP／IP、SMTP、WWW、Java、ASP等先进技术在企业信息系统中充分发挥作用，将WWW服务、E-mail服务、FTP...

2016-05-20 08:40:35 13437

转载多线程环境下对变量的读写操作的原子性问题【baidu】

以下多线程对int型变量x的操作，哪几个需要进行同步：（）A. x=y; B. x++; C. ++x; D. x=1;从表面看上去实在是看不出什么突破口，我们不妨将这些代码译成汇编语言再来分析。

2016-05-04 10:04:02 425

原创开展软件測試工作的前期準備

隨手記錄，零零散散，個人思考積累。1. 明確測試目的、範圍、週期，做好方案計劃目的明確，階段清晰，才能事半功倍。2. 向用戶介紹本輪測試可能產生的影響1）安全滲透測試，可能會損壞數據，影響服务的正常提供2）性能測試，服務可能宕機3. 觀察服務器資源使用情況如果要測試一個運行中的軟件系統，提前了解系統環境及服務器資源使用情況是很有必...

2016-05-04 09:46:15 416

原创听说过隐蔽信道呗

……HTTP消息报头中的一些关键词大小写不规整（比如“Date”写为“daTe”等）……这个时候你要注意了，可能这些“特殊处理”在悄悄的传递信息！这，就是传说中的“隐蔽信道”！

2016-04-27 09:57:31 3046

转载不要为做而做

http://blog.chinaunix.net/uid-23909940-id-5169096.html很多实训生问过我这么一个问题：“导师，XX公司说试用期给2.5k工资，转正工资根据表现确定，感觉有点低，我应该去吗？”这个问题很实际，也是毕业季问的最多的问题之一，下面我谈谈自己的看法。人作为社会的主体，每个人都是销售员——销售商品、Idea，甚至你

2016-01-19 20:58:29 582

原创个人学习-软件安全测试术语记录（学习ing）

malicious 英[məˈlɪʃəs] 美[məˈlɪʃəs]adj.恶意的，有敌意的;蓄意的; 预谋的; 存心不良的;全部释义>>[例句]But malicious speculation on the board has alsooccurred frequently.但针对创业板的恶意炒作也频频发生。 wel

2016-01-19 20:47:02 1042

原创从测试角度看职业生涯

接觸過測試用例的工程師都曉得，一組好的測試用例可以覆蓋用戶的一個功能模塊的需求，一個好的測試用例除了符合測試用例的基本原則外，結果（預期結果）的設計也非常關鍵——如果定的預期結果表述不清晰或很難核實比較，這個用例就是失敗的。執行用例的時候會得到另外一種結果，實際執行結果，兩種結果的比較反映了需求與實現的差距。

2015-12-24 07:55:53 418

转载 QTP的退出函数

1、ExitAction()退出当前操作，无论其本地（操作）循环属性是什么。2、ExitActionIteration()退出操作的当前循环。3、ExitComponent()退出当前组件并继续业务流程测试中的下一个组件，无论组件的循环设置是什么。4、ExitComponentIteration()退出当前组件循环并继续该组件的下一次循环，或者，如果当前组件没有其他循环，则

2015-11-04 08:36:55 475

原创 QTP写文本到txt文件的Sub过程Sub TestResultLog

输出格式化的日志信息到记事本，涉及：1. 获取自动化测试脚本的当前路径；2. 字符串组织；3. FSO对象；4. 日期、时间格式规范

2015-10-30 14:31:32 812

原创 UFT數據表操作（檢查創建列、Excel導入、賦值）

在QTP中開發自動化腳本時，有時候需要將一些數據輸出到DataTable數據表的某一列，目的列是否存在，寫數據之前需要檢查確認；將Excel文件導入到DataTableDataTable中讀取值、寫入值

2015-10-28 15:49:53 1149

原创安装HP WebInspect时，SQLServer2008安装不上咋办

安装HP WebInspect时，SQLServer2008安装不上咋办？？很多哥们在使用HP WebInspect做渗透测试时，抱怨SQLServer2008安装时总是出问题，此处给大家介绍个小技巧。准备安装的软件：1. HP Webinspect；2. Visual Studio 2010.发现什么了没有？WebInspect需要SQLServer2008，我并没有列出，而是列了个

2015-09-14 15:14:24 2399

原创 python脚本中的函数开发时怎么调试(name=="main")

python脚本在开发的时候，需要经常调试，怎样比较方便的检查编写的函数是否正常呢？当然，最好调试脚本保留着，以后维护时说不定还用呢。python中有个很好玩的东东“__name__”，这个东东在执行单个的py文件时值为默认的“__main__”，如果被调用就变为文件名（区扩展名py的）。看个例子。创建两个python文件：a.py和b.py。a.py中使用__name__调用自身文件中的

2015-09-11 13:21:37 2361

转载 python下运行报"SyntaxError: Non-ASCII character '/xe6' "错误解决方法

来源：http://blog.sina.com.cn/s/blog_5007d1b101018i2j.html近来写课件实例，函数与过程返回值时，运行遇到如下问题SyntaxError: Non-ASCII character '/xe6'。代码如下：#无返回值函数hello（相当于过程）def hello(): print 'hello wo

2015-09-11 12:44:49 693

原创开展应用软件安全测试所需技术储备

用户端和服务端分离式架构的应用系统有两种：C/S架构以及B/S架构，安全测试的主要对象也是这两种（单机版的应用程序对安全性要求相对低一些）。要测试这类软件，相关知识需要逐步积累。1. 编码知识安全问题很多时候是由于编码采用不安全的方式，带来隐患导致的，所以对编码知识的熟悉必不可少。编程语言的基本思想都是想通的，只是表达方式不一样，所以要开展至少熟悉一门开发语言必不可少。B/S架构的应用软件

2015-09-10 15:34:13 581

转载開源安全測試方法

著名的開源安全測試方法，你曉得幾個？OSSTMMISSAFOWASPWASC-TC

2015-09-10 07:46:00 406

原创 Blind Numeric SQL Injection练习的一些关键点记录（WebGoat5.4）

SQL盲注与SQL普通注入的原理一样，区别是普通注入可以有结果集返回（查询结果，错误信息提示等），盲注的执行结果要么是TRUE要么是FALSE，提示信息的缺乏也使盲注的难度相对高一些。本Lesson的目标：The goal is to find the value of the field pin in table pins for the row with the cc_number of

2015-09-02 11:20:26 2029

原创执行XPATH Injection Attacks需要了解的XPATH知识及练习思路

此处不做XPATH的系统学习与XPATH植入攻击的原理论证，只是简单了解下XPATH的语法结构，可以组织查询条件语句查询定位到节点就OK了。下面将重点描述XPATH Injection课程的练习思路及结果推论。

2015-09-01 14:27:52 485 1

原创 Command Injection Flaws Attack（WebGoat5.4）

此文为个人练习笔记，包含分析过程的简单思路，不追求逻辑严谨性。植入攻击分很多中，指令植入是比较基本的一种，只要接收的外部参数用与Exce，基本上都有这种风险。如同“Windows程序出现的问题，重启电脑一般能解决70%以上”的说法类似，合理的外部参数的过滤检查能降低90%以上的植入攻击可能。课程介绍了Command Injection、危害及避免措施，练习的时候有两个提示，当下拉框

2015-08-31 14:40:30 1137

原创软件生命周期中的攻防博弈

大数据的时代，软件几乎深入到人们生活的各个方面，某种意义上可以说，现在是软件的时代。这个大时代下，攻与防，充斥在软件生命周期的各个阶段，时时处处在演绎。1. 信息安全的攻防网络购物，网上金融，网博微信息发布等等已成为现代人生活和交际的重要构成部分，这些信息的安全小到影响人们日常生活，大到关系到国家安全和社会稳定，与每个人息息相关——这些信息是如此的私密和重要，一些不法组织利用这些信

2015-08-31 09:38:32 862 2

原创 Cross Site Tracing (XST) Attacks（跨站跟踪攻击）练习详细步骤（WebGoat5.4）

由于对web编程不是很熟悉，谨以此文分享给学习WebGoat但是web编程底子不好的小伙伴。HTTP的Method中有专为调试Web Server连接的（TRACE/TRACK），但正式上线运行的WebServer如果支持Trace/Track方式，则一定存在跨站攻击漏洞。RFC 2616 for HTTP 如下定义 TRACE 方法，“此方法用于调用已请求消息的远程、应用层回送（

2015-08-28 16:12:35 2069

原创 XSS与CSRF（XSRF）对比思考

（学习笔记，个人总结，不足之处请多多指导。）XSS和CSRF有很多相似也有很多不同。相似的是他们都能实现身份盗用（冒充），用户信息盗用（盗号）等，不同之处总结如下：1. 原理不同XSS攻击基于HTML注入+社会工程学（欺骗用户点击执行恶意代码）实现攻击；CSRF攻击源于WEB隐式身份验证机制，在浏览网页（或其他操作）时自动完成；这种机制可以验证

2015-08-27 16:03:07 3260

转载可以让你少奋斗十年的经验

由于时间较久，来源不详，此处没有给出链接，请作者见谅。第一：不要认为停留在心灵的舒适区域内是可以原谅的。　　　　每个人都有一个舒适区域，在这个区域内是很自我的，不愿意被打扰，不愿意被push，不愿意和陌生的面孔交谈，不愿意被人指责，不愿意按照规定的时限做事，不愿意主动的去关心别人，不愿意去思考别人还有什么没有想到。这在学生时代是很容易被理解的，有时候这样的同学还跟“冷酷”“个性”这些

2015-08-27 09:16:45 446

原创让思考成为习惯，让学习溶于生活

思考，是一個值得思考的事情；學習，是一種值得學習的事情。遇到事情時，不斷思考能提高你自身的見聞和知識，也能提高你的情商，這個過程也是一個學習的過程。常聽說“生活處處皆學問”，“處處留心皆學問”，同樣的意思但後者更直白些——發現“學問”的重要方式就是“留心”。每個人都要在社會大學中度過終生，但度過的方式由你自己決定，你可以蹉跎，可以抱怨，但一天就是一天，不會因為你的選擇加快或者減慢

2015-08-21 14:28:52 423

原创个人发展职业定位思考

在一年多的時間裡，接觸並熟悉了主流軟體測試、管理工具（HP UFT、HP LoadRunner、HP ALM、HP Fortify SCA、HP WebInspect），擴展了對軟體測試的認識度，通過課程講授、測試中心測試專案參與以及與開發經驗的結合思考等方式。個人感覺測試和開發的關係融洽點還是比較多的——單元測試和集成測試基本都是開發者團隊完成；開發經驗可以用於系統測試結果的分

2015-08-21 14:27:26 1726