- 博客(54)
- 收藏
- 关注
RSS订阅
原创 【干货】借鉴开源框架自研日志收集系统
踏浪无痕 岂安科技高级架构师 十余年数据研发经验，擅长数据处理领域工作，如爬虫、搜索引擎、大数据应用高并发等。担任过架构师，研发经理等岗位。曾主导开发过大型爬虫，搜索引擎及大数据广告DMP系统目前负责岂安科技数据平台开发与搭建。项目背景公司项目需要将分布在多台机器中的日志统一收集管理。笔者先后使用logstash，flume等开源项目。并最终自研一套基于Java语言的日志收集系统 Bloo...
2018-04-27 19:11:22
2877
原创 谈谈Python协程技术的演进
Coding Crush Python开发工程师主要负责岂安科技业务风险情报系统redq。引言1.1. 存储器山存储器山是 Randal Bryant 在《深入理解计算机系统》一书中提出的概念。基于成本、效率的考量，计算机存储器被设计成多级金字塔结构，塔顶是速度最快、成本最高的 C
2018-01-23 18:37:05
431
原创 恶意爬虫这样窥探、爬取、威胁你的网站
整个互联网的流量中，真人占比有多少？80% ？ 60% ？ 50% ？根据 Aberdeen Group 在近期发布的以北美几百家公司数据为样本的爬虫调查报告显示，2015 年网站流量中的真人访问仅为总流量的 54.4% ，剩余的流量由 27% 的好爬虫和 18.6% 的恶意爬虫构成。爬与反爬的斗争从未间断恶意爬虫占比数据与 2013 年和 2014 年相比
2016-12-19 14:50:59
13860
原创 十分钟解决爬虫问题！超轻量级反爬虫方案
本文将描述一种尽量简单的反爬虫方案，可以在十几分钟内解决部分简单的爬虫问题，缓解恶意攻击或者是系统超负荷运行的状况；至于复杂的爬虫以及更精准的防御，需要另外讨论。爬虫和反爬虫日益成为每家公司的标配系统。爬虫在情报获取、虚假流量、动态定价、恶意攻击、薅羊毛等方面都能起到很关键的作用，所以每家公司都或多或少的需要开发一些爬虫程序，业界在这方面的成熟的方案也非常多;有矛就
2016-11-14 17:41:49
9281
原创 测试工程师良品 —— Fiddler 工具简介
前言Fiddler 是目前最强大最好用的调试工具之一，它能记录所有客户端和服务器的http和https请求，设置 CGI 请求的断点，甚至修改输入输出数据。fiddler 的工作原理，是它在 web server 和 web browser 之间搭了一层 proxy，所有的请求都会经过它，如下图所示：fiddler可以针对web端和移动端网络请求进行抓包分析，如何安装和实现抓包，以及如何在无数请求...
2018-05-08 15:12:30
937
转载 Mac 下的破解版软件真的安全吗？
我们发现很多 Mac 用户对自身的安全并不是很重视，针对用户的恶意软件逐渐增多，窃取用户的隐私, 监控用户的日常行为, 恶意推广广告, etc。因此，我们应该提高自身的安全意识, 警钟长鸣。1 前言小夏是一名普通 Mac 用户，某天，他打算试试思维导图来记录工作学习。他问同事小芳：“Mac 下有啥好用的思维导图软件？”小芳：“XMind 呀，很实用的思维导图软件。”小夏：“那到哪里下载，要钱吗？”...
2018-04-17 15:07:28
30747
原创 企业应用集成之初学乍练
撸主：阿木 岂安科技项目经理基础开发出身，目前主要负责岂安产品的项目资源规划和过程管理。企业对应用集成（EAI）的需求企业不断发展，很多长期需要人为操作或者流程定制来处理的业务问题，为了提高效率会考虑引入软件应用系统来解决，比如，CRM（客户管理管理）系统，SCM（供应链管理）系统，ERP（企业资源计划）系统等。引入这些系统在当时是解决了一部分的问题，但是随着应用系统数量的增加，新的问题也慢慢...
2018-04-11 15:56:37
3040
2
原创 浅析图表中的视觉暗示
撸主：烟烟 UX设计师主要负责岂安科技的UI界面和交互设计。前言从客观逻辑来讲，直观的数字的确比抽象的图形更有可信度，但是大脑却对处理图形内容上会更容易理解。就像下图一样，我只是给你光秃秃的数据表格，也许你会漏掉一些有价值的东西。但是好的可视化来表达这些数据，你会挖掘数字背后的信息。之前列举过很多复杂又有趣的可视化案例，这次准备谈一谈数据可视化图表中的视觉暗示。当我们设计可视化图表的时候，首...
2018-03-28 15:11:41
1062
原创 又双叒叕找不到图了?UI设计师独家分享年度十大高清图片网站
撸主：小思敏儿 岂安科技ui设计师自我介绍不知道说啥，就是妹子一枚，刚刚入职，在设计届属于晋级级别，热爱设计，我就是这样一个耿直的girl，哈哈哈……作为设计师寻找到高质量的图片素材是不可或缺的必备技能，除了摄影师和影楼 P 工以外，设计师是最多和图片打交道的职业了，做 BANNER 需要图片素材，做网站和 APP 需要图片素材，甚至连 PPT 和 keynote 也是离不开高清图片素材，接下...
2018-03-20 11:53:18
833
原创 浅谈网络劫持的原理及影响
叶孤城 岂安科技售前顾问9年互联网项目支持经验，涉猎各类体育项目无处不在的劫持利用饿了么2块钱的补差价就能划走用户支付宝的2000元、利用订购的机票信息，就能获取到用户信任，骗取财产、总是被跳转到一些自己不想访问的页面上、为什么总有那么多自己跳出来的广告？为什么一个正常的链接点进去之后会出现下载界面？我们的数据信息怎么就这么不安全？对于普通用户来说，你的请求数据发出去以后，会经过哪里，最终去到...
2018-03-06 14:57:52
3676
原创 初窥 RAP：如何使用 RAP 进行接口文档管理
Jason 岂安科技前端研发工程师三年互联网前端开发经验，曾参与过多个系统框架的搭建和组件开发，负责岂安科技产品的数据可视化和公用组件开发。1 前言RAP 是一个可视化接口管理工具， 通过分析接口结构，动态生成模拟数据，校验真实接口正确性， 围绕接口定义，通过一系列自动化工具提升我们的协作效率。在 RAP 中，您可定义接口的 URL、请求和响应细节格式等等。通过分析这些数据，RAP 提供 M...
2018-02-27 11:49:19
12858
原创 机器学习实例
小周天 岂安科技售前顾问主要负责名词解释引子笔者作为与机器学习同龄的一代，从小学时就开始了对 AI 的不断钻研，上上下下左右左右 BA 的代码敲得无比熟练。经常在与 AI 的对战中获得大胜。此刻笔者的儿子（与深度学习同龄）正跟他的爷爷奶奶（与人工智能同龄）展示如何把 AI 虐得不能自理。而此文的目的就是把我这两个小时来对机器学习的初步
2018-02-06 11:09:32
3683
1
原创 用 python 做数据分析：pandas 的 excel 应用初探
撸主：大毛 岂安科技业务风险分析师多年订单业务反欺诈经验，负责岂安科技多款产品运营工作。上回笔者分享过一些 pandas 的常用数据查询语法，但是数据查询对于 pandas 而言只是冰山一角，它还有着更多更有价值的的应用场景。今天要分享的是，用 pandas 来写 excel。我的数据分析工作经常是在这样的场景下开
2018-01-31 20:20:03
640
原创 用 python 做数据分析：pandas 的 excel 应用初探
大毛 岂安科技业务风险分析师多年订单业务反欺诈经验，负责岂安科技多款产品运营工作。上回笔者分享过一些 pandas 的常用数据查询语法，但是数据查询对于 pandas 而言只是冰山一角，它还有着更多更有价值的的应用场景。今天要分享的是，用 pandas 来写 excel。我的数据分析工作经常是在这样的场景下开展的：数据格式五花八门，有些存储在关系
2018-01-16 16:39:52
3519
原创 人人都会数据采集- Scrapy 爬虫框架入门
Hekko 岂安科技研发工程师喜欢（擅长）瞎折腾★在这个言必称“大数据”“人工智能”的时代，数据分析与挖掘逐渐成为互联网从业者必备的技能。本文介绍了利用轻量级爬虫框架 scrapy 来进行数据采集的基本方法。★一、scrapy简介scrapy 是一套用 Python 编写的异步爬虫框架，基于 Twisted
2018-01-10 10:56:39
597
原创 深入剖析影响网站性能的因素及监测手段
finn 岂安科技高级售前顾问 多年云安全、大数据、CDN 等领域方案设计和项目管理经验，曾任多个互联网大型项目的售前项目经理。1 网站性能现状相信都听说过互联网八秒定律：用户访问一个网站时，如果等待网页打开的时间超过8秒，超过30%的用户会放弃等待。根据调查研究，一个网站在10秒内网页打不开，会有40%的用户离开该页面；大部分手机用户愿意等待的
2018-01-03 14:39:02
2621
原创 实战：从Python分析17-18赛季NBA胜率超70%球队数据开始…
Casey 岂安业务风险分析师主要负责岂安科技RED.Q的数据分析和运营工作。就在昨天，12月19日，科比再次站在斯台普斯中心球馆中央，见证自己的两件球衣高悬于球馆上空。作为一个正奋战在 Python 之路上的球迷，开始了一次数据分析实战，于是，以分析球赛数据为起点的操作开始了......前言
2017-12-29 19:10:55
3186
原创 用Python做数据分析：Pandas常用数据查询语法
在使用Pandas之前，大多数数据分析师已经掌握了Excel和SQL，并且在刚上手Pandas时会经常习惯性想到“老办法”。"如果谁能把常用的数据查询语法做个对比就好了 "，我也曾不止一次地想享受前人的成果，无奈发现网上的文章侧重不同且深浅不一，还涉及到一些Pandas新老版本的问题，于是决定自己动手。
2017-12-22 14:50:24
1234
原创 Jmeter简单介绍与搭配Jenkins实现自动化测试实践
Bioneck 岂安科技研发工程师负责 Stalker 项目的部分研发与测试工作，编程爱好者，乐于使用代码解决生活中的重复工作。最近有个需要依靠 Jmeter+Jenkins 实现自动化测试后部署的需求，于是看了看Jmeter的资料，这里给大家分享下。Jmeter简介Apache J
2017-12-12 12:33:25
567
原创 如何从零设计结构清晰、操作友好的权限管理模块
当我们谈及权限的时候，很容易想到在用户发起请求时，对接口做一层权限验证，或者是对数据库读写限制权限，简单粗暴。
2017-12-07 14:29:49
819
原创 手把手教你用Python爬虫煎蛋妹纸海量图片
我们的目标是用爬虫来干一件略污事情最近听说煎蛋上有好多可爱的妹子，而且爬虫从妹子图抓起练手最好，毕竟动力大嘛。而且现在网络上的妹子很黄很暴力，一下接受太多容易营养不量，但是本着有人身体就比较好的套路，特意分享下用点简单的技术去获取资源。以后如果有机会，再给大家说说日本爱情动（大）作（雾）片的种子搜索爬取，多多关注。请先准备作案工具
2017-11-29 15:48:23
1764
原创 Python工具分析风险数据
小安前言随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点，小安在这次小讲堂中带大家用Python工具对风险数据作简单分析，主要是分析蜜罐日志数据，来看看一般大家都使用代理ip干了一些啥事。大家可能会问小安啥是蜜罐，网上一些黑客或技术人员经常做一些＂事情＂的时候，需要隐藏自己身份，这样他们会使用代理IP来办事。而蜜罐(Honeypot)是一种新型
2017-11-23 16:12:47
2378
原创 如何使用 Charles 抓包并分析 Http 报文
前言从 Web 安全的攻击防御方面来说，最多接触的应该就是 Http 协议了，当我们作为中间人（man-in-the-middle）查看到所有浏览器到 web 服务器的 http 报文的时候，一切就都有意思起来。比如，分析某电商在交易支付的时候请求了哪些东西，分析某网站的登录流程都请求了哪些数据，分析某社交软件有没有偷偷的上传隐私数据
2017-11-08 18:00:16
1237
原创 从入门到不放弃：多浏览器的自动化测试（2）- 云服务测试
撸主：潘潘，岂安科技软件工程师同济大学毕业，曾在VMware等多家知名公司实习，3年全栈开发经验，负责岂安科技核心产品初期的前端开发和架构工作。在上一篇文章中，撸主已手把手教大家如何从零开始构建一个本地自动化测试工程。如果你没有看过上一篇文章，请先点击右边逐字阅读《[从入门到不放弃]多浏览器的自
2017-11-02 15:04:43
565
原创 从入门到不放弃：多浏览器的自动化测试（1）- 本地测试
本文将作为多浏览器自动化测试的第一篇文章，给读者从头介绍如何进行本地多浏览的自动化测试工作，包括测试的原理、测试框架的选取、测试工程的搭建和实现等。另外“从入门到不放弃”系列将给读者们带来更多从零开始的前端实践案例，诸如前端组件库设计与实施、项目自动化构建等案例，欢迎大家关注本系列的其他文章。前端之殇要是你碰到前端工程师朋友，那聊聊浏览器的兼
2017-10-23 16:44:33
2766
原创 高级架构师实战：如何用最小的代价完成爬虫需求
一 缘起在我工作的多家公司，有众多的领域，如房产，电商，广告等领域。尽管业务相差很大，但都涉及到爬虫领域。开发爬虫项目多了后，自然而然的会面对一个问题——这些开发的爬虫项目有通用性吗？有没有可能花费较小的代价完成一个新的爬虫需求？在维护运营过程中，是否能够工具化，构建基于配置化的分布式爬虫应用？
2017-10-12 17:37:52
1127
原创 适用于初创公司的超轻量级smtp服务配置
背景smtp 是一种常见的服务，提供了程序自动化邮件外发的可能。不光是用于产品向客户的通知服务；更多的是用在企业内部的信息工具，比如我们就有 sentry / confluence / zulip 等等非常多的开源工具，都需要配置 smtp 来实现内部信息的联动。当前最简单的邮箱使用方式是使用开放的邮箱服务，比如现在很多小型企业在使用的企业邮箱，可以配置一个专门的账号来提供发信服务
2017-09-24 13:10:01
4016
原创 Jmeter简单介绍与搭配Jenkins实现自动化测试实践
Bioneck 岂安科技研发工程师负责 Stalker 项目的部分研发与测试工作，编程爱好者，乐于使用代码解决生活中的重复工作。最近有个需要依靠 Jmeter+Jenkins 实现自动化测试后部署的需求，于是看了看Jmeter的资料，这里给大家分享下。Jmeter简介Apache J
2017-09-19 14:51:30
10133
2
原创 如何从零设计结构清晰、操作友好的权限管理模块
前端限制在追求用户体验的情况是有必要的，组件化会将结构理得非常清晰，同时工作量也有所增加。公共区的配置模块就像一个前后端的枢纽，或者说是一个契约，不仅是在权限限制上，在所有配合开发的场景都是有所帮助的。
2017-09-05 18:28:48
750
原创 如何使用Charles抓包并分析Http报文
从Web安全的攻击防御方面来说，最多接触的应该就是Http协议了，当我们作为中间人（man-in-the-middle）查看到所有浏览器到web服务器的http报文的时候，一切就都有意思起来。
2017-08-23 15:54:19
15838
原创 什么样的爬虫才是好爬虫：Robots协议探究
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数量甚至高于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每个爬虫都会主动遵守Robots协议。
2017-08-02 14:32:52
884
原创 做好了监控报警，创业公司如何搭建强壮的SaaS服务
数据共同指向一点，越来越多的交易行为正从线下转到线上，由传统到互联网化。而当互联网给我们的生活带来便利和高效的同时，又带来了什么呢？那就是业务风控的压力，并不是所有的交易都是安全的，并不是所有的用户都是可靠的。
2017-07-25 10:53:07
1209
原创 图大杀猫：数据可视化的真善美
数据，听起来是与普通生活几乎毫无关联的词汇，如果不是从事运营、UI、产品、技术等相关领域，或者爱好炒炒股、买买彩票，数据几乎与大多数人不会扯上什么关系。
2017-07-18 18:25:42
578
原创 埋点进化论：从埋点到无埋点
在最初的互联网世界中,并没有埋点的概念。大家并不关心流量从哪里来，用户在网站上做了什么事，一切都是野蛮生长。随着业务的增长，访问网站的人越来越多，用户的需求越来越复杂，运营人员就需要一些关键的数据作为参考。
2017-07-10 14:19:08
545
原创 黑客必读：蜜罐技术的前世今生
互联网世界的攻击者们，比现实世界的坏人们更善于隐藏自己，他们往往躲在肉鸡、代理的背后，肆无忌惮的攻击我们的站点。对于这样的坏人，我们只能躲在高墙之后被动防御了吗？
2017-06-23 18:28:01
581
原创 为什么 UserAgent 中出现「 iPhone；U; 」的订单都是高危的？
相信大多数童靴对 UserAgent （以下简称 “UA”）都比较了解，但在开头还是简单介绍一下 UA 的基本概念，方便理解。
2017-06-12 16:10:05
813
原创 黑客必读：蜜罐技术的前世今生
互联网世界的攻击者们，比现实世界的坏人们更善于隐藏自己，他们往往躲在肉鸡、代理的背后，肆无忌惮的攻击我们的站点。对于这样的坏人，我们只能躲在高墙之后被动防御了吗？当然不是！因为，有一种神奇的技术叫“蜜罐”。引子在军事领域，以响尾蛇导弹为代表的红外制导武器，可以利用红外探测器捕获和跟踪目标自身辐射的能量来追击目标。对于飞机来说，没有
2017-05-22 13:34:54
9655
原创 Openresty的开发闭环初探
为什么值得入手？Nginx作为现在使用最广泛的高性能后端服务器，Openresty为之提供了动态预言的灵活，当性能与灵活走在了一起，无疑对于被之前陷于臃肿架构，苦于提升性能的工程师来说是重大的利好消息，本文就是在这种背景下，将初入这一未知的领域之后的一些经验与大家分享一下，若有失言之处，欢迎指教。安装现在除了能在 Download里面下载源码来自己编译安装，现在连预编译好的包都有了
2017-01-25 15:27:00
2334
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人