- 博客(31)
- 收藏
- 关注
RSS订阅转载 微信生态账号体系—各ID介绍与Unionid的获取
相比小程序获取unionid而言，公众号非静默授权获取unionid的方式并不合理，因为这种方式把获取unionid与客户昵称、头像混在一起了，本质上是没有做好数据权限的分类。不同开发模式的数据隔离，对同一个微信用户，自建应用的id数据为明文，三方应用与自建代开发应用的external_userid、corpid、userid全部为密文，且三方应用与自建代开发应用无法直接获取C端用户的unionid。如果用的是企业自己的小程序，获取的unionid可以直接存储入库，以方便后面开展业务。
2023-05-05 08:47:28
309
原创 Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
今天发一篇”水文”，可能很多读者都会表示不理解，不过我想把它作为并发序列文章中不可缺少的一块来介绍。本来以为花不了多少时间的，不过最终还是投入了挺多时间来完成这篇文章的。网上关于 HashMap 和 ConcurrentHashMap 的文章确实不少，不过缺斤少两的文章比较多，所以才想自己也写一篇，把细节说清楚说透，尤其像 Java8 中的 ConcurrentHashMap，大部分文章都说不...
2018-12-05 10:49:10
203
转载 深入理解JVM之JVM内存区域与内存分配
前言：这是一篇关于JVM内存区域的文章，由网上一些有关这方面的文章和《深入理解Java虚拟机》整理而来，所以会有些类同的地方，也不能保证我自己写的比其他网上的和书本上的要好，也不可能会这样。写博客的目的是为了个人对这方面自己理解的分享与个人的积累，所以有写错的地方多多指教。 看到深入两字，相信很多的JAVA初学者都会直接忽略这样的文章，其实关于JVM内存区域的知识对于初学者来说其实是很重要...
2018-11-14 18:03:38
233
转载 Java程序内存的简单分析
这篇文章将简单的说明下当我们运行Java程序时JVM（Java虚拟机）的内存分配情况。首先我们先来感观的认识下几个名词：栈：一般来说，基本数据类型直接在栈中分配空间，局部变量（在方法代码段中定义的变量）也在栈中直接分配空间，当局部变量所在方法执行完成之后该空间便立刻被JVM回收，还有一种是引用数据类型，即我们通常所说的需要用关键字new创建出来的对象所对应的引用也是在栈空间中，此时，JVM...
2018-11-14 11:17:00
214
转载 联合索引在B+树上的结构介绍
前言最近在学习MySQL的存储引擎和索引的知识。看了许多篇介绍MyISAM和InnoDB的索引的例子，都能理解。像这张索引图：PS:该图来自大神张洋的《MySQL索引背后的数据结构及算法原理》一文。但许多文章讲述的都是单列索引，我很好奇联合索引对应的结构图是怎样的。疑惑：联合索引的结构是怎样的比方说联合索引 (col1, col2,col3)，我知道在逻辑上是先按照co...
2018-11-14 10:28:07
21309
34
转载 KSQL docker安装
https://docs.confluent.io/current/quickstart/cos-docker-quickstart.html
2018-09-11 15:15:00
618
转载 Spark应用远程调试
转载来源^^ https://blog.csdn.net/u013468917/article/details/51087473 本来想用Eclipse的，然而在网上找了一圈，发现大家都在说IntelliJ如何如何好。我也受到了鼓舞，遂决定在这台破机器上鼓捣一次IntelliJ吧。Spark程序远程调试，就是将本地IDE连接到Spark集群中，让程序一边运行，一边通过debuger实时...
2018-08-13 16:54:17
1649
转载 centos6.5 安装hadoop2.7.6 1master2node
环境采用centos 6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装，Java下载的oracle官网的1.8.0_172的包安装。参考了别人的文档，遇到了不同的问题。1. 3台centos6.5 vmware192.168.17.205 Master192.168.17.206 hadoop1192.168.17.207 hadoop2为三台主机...
2018-08-01 13:16:20
195
转载 cenos 7 安装docker
一、安装docker1、Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本 $ uname -r2、使用 root 权限登录 Centos。确保 yum 包更新到最新。$ sudo yum update3、卸载旧版本(如果安装过旧版...
2018-07-21 12:18:52
608
原创 dbus安装笔记
1、dbus-heartbeat-0.4.0/conf/stat_config.properties/中influxdb.url默认值是locahost,应该改成真实的influxdb.url2、ttps://bridata.github.io/DBus/install-logstash-source.html中logstash验证命令bin/kafka-console-consumer.sh -...
2018-02-28 17:45:49
3018
原创 win10 端口转发
1、添加端口转发netsh interface portproxy add v4tov4 listenport=4000 listenaddress=127.0.0.1 connectport=4000 connectaddress=172.31.217.1982、删除端口转发netsh interface portproxy del v4tov4 listenport=4000 li
2018-01-15 13:05:10
18225
5
原创 yapi编译环境搭建
sudo rpm --import http://linuxsoft.cern.ch/cern/slc6X/i386/RPM-GPG-KEY-cernsudo yum install devtoolset-2scl enable devtoolset-2 bashcurl -o- https://raw.githubusercontent.com/creationix/
2018-01-15 09:49:17
1796
原创 nodejs安装
下载nodejswget https://npm.taobao.org/mirrors/node/v8.0.0/node-v8.0.0-linux-x64.tar.xz解压tar -xvf node-v8.0.0-linux-x64.tar.xz测试是否安装成功进入解压目录下的 bin 目录，执行 ls 命令cd node-v8.0.0-
2018-01-11 19:52:58
1066
原创 分布式爬虫
Pholcus（幽灵蛛）是一款纯Go语言编写的支持分布式的高并发、重量级爬虫软件，定位于互联网数据采集，为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。它支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/kafka/csv/excel等）、有大量Demo共享；另外
2018-01-11 11:24:21
1213
转载 看我是如何跟羊毛党战斗的之我也变成羊毛党
一、前言快钱、飞凡双旦活动已经过去，这里跟大家分享下我是如何跟羊毛党战斗的。/doge由于是事后写的，所以当时活动的一些截图可能就没有了，大家自行脑补~就当顺便给快钱、飞凡打个广告啦~二、导火索作为老东家，有活动当然要支持一下啦，也就一元购还算比较靠谱划算了。想抢个东西，从来没有看到过存在有货的情况，特别是整点放货的时候也基本都是已抢光，可恶
2017-06-10 10:40:10
1070
转载 大数据识别“爱”的羊毛党，拒绝那些它“恨”的羊毛党
卒于“羊毛党”，P2P公司的一大死因2014年6月，广州新成立一家互联网金融公司。为了吸引消费者购买自己的理财产品，这家公司发行了价值2个亿的各类优惠券。但仅仅不到半年的时间，公司便宣告倒闭。原来这些优惠券，全部都被一个“人”抢走了，确切的说，是一个5000人的“羊毛党”团队。他们抢了优惠券后，全部用于购买期限在半年内兑换的理财产品，而金融公司在短期内没有足够的资金应对
2017-06-10 10:36:47
4665
转载 spark sql 读取指定json字段
spark sql读取json的问题Spark sql虽然支持了json作为数据源，但由于json是松散的数据结构，而sql需要确定的数据结构，所以spark sql在读取json的时候会将整个json完整遍历得到一个最大的schema，这在数据量很小的时候貌似没啥问题，可一旦数据量过大，那么在选择一些limit的时候会失效，所以我们需要在用spark sql读取json的时候提供一份
2017-06-06 12:22:05
4912
原创 spark 批量提交依赖包命令
/spark-submit --class com.ec.SparkConsumer –jars $(echo /home/rowen/libs/*.jar | tr ' ' ',') -- master spark://ip:7077 ./main.jar ./config.properties
2017-06-06 12:20:06
935
转载 最简单例子图解JVM内存分配和回收
一、简介JVM采用分代垃圾回收。在JVM的内存空间中把堆空间分为年老代和年轻代。将大量（据说是90%以上）创建了没多久就会消亡的对象存储在年轻代，而年老代中存放生命周期长久的实例对象。年轻代中又被分为Eden区(圣经中的伊甸园)、和两个Survivor区。新的对象分配是首先放在Eden区，Survivor区作为Eden区和Old区的缓冲，在Survivor区的对象经历若干次收集仍然存活的，
2017-05-08 09:11:44
222
原创 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-
It is easy to follow the instructions on http://spark.apache.org/docs/latest/ and download Spark 1.6.0 (Jan 04 2016) with the “Pre-build for Hadoop 2.6 and later” package type from http://spark.apac
2017-05-01 17:00:06
7841
1
转载 史上最全“大数据”学习资源整理
资源列表：关系数据库管理系统(RDBMS) MySQL：世界最流行的开源数据库; PostgreSQL：世界最先进的开源数据库; Oracle 数据库：对象-关系型数据库管理系统。框架 Apache Hadoop：分布式处理架构，结合了 MapReduce(并行处理)、YARN(作业
2017-04-24 14:25:15
2711
转载 Java高并发程序设计总结
一.概念：二.java并行程序基础：线程基本操作： 注：多线程并发下的ArrayList是个不安全的容器,可用线程安全的Vector代替.多线程并发下的HashMap也有问题，可用ConcurrentHashMap代替.此外还要注意加锁对象的选择。三.JDK并发包： 同步控制(多线程的团队协作):线程池(线程复用):JD
2017-04-05 09:29:38
280
原创 sqoop从mysql导数据到hive命令
sudo -u hive sqoop import -D mapreduce.map.log.level=DEBUG --connect jdbc:mysql://10.15.160.146:33944/auth_mobp2p?tinyInt1isBit=false --username bigdataetluser --password tmTvi8Fn9EjlBD8zT6SN9pk8K4o7
2017-03-29 23:23:18
300
原创 Hbase二级索引方案Solr key value index
概述在Hbase中,表的RowKey 按照字典排序, Region按照RowKey设置split point进行shard，通过这种方式实现的全局、分布式索引. 成为了其成功的最大的砝码。然而单一的通过RowKey检索数据的方式,不再满足更多的需求，查询成为Hbase的瓶颈，人们更加希望像Sql一样快速检索数据，可是，Hbase之前定位的是大表的存储，要进行这样的查询，往往是要通过
2017-03-29 09:40:58
1581
原创 CARAVEL安装步骤
一、安装python环境，需要python需要2.7.9yum upgrade python-setuptoolsyum install zlib-develyum install bzip2-develyum install openssl-develyum install ncurses-develyum install sqlite-develcd /opt
2017-03-21 09:52:15
681
原创 hbase常用命令
一、根据rowkey查询import org.apache.hadoop.hbase.filter.CompareFilterimport org.apache.hadoop.hbase.filter.SubstringComparatorimport org.apache.hadoop.hbase.filter.RowFilterscan 'USER_INFO:school_ro
2017-03-08 11:04:06
223
原创 mongodb 3.0.5 创建用户和数据库
use admindb.createUser( { user: "siteUserAdmin", pwd: "password", roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] })权限认证登录mongo --port 27017 -u siteUserAdmin -p passwo
2015-09-23 18:13:00
285
转载 mongodb3.03开启认证
下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下： （百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） Windows下我做了一个bat文件，用来启动mongodb，命令行如下： mongod --dbpath db\data --port 27017 --directoryperdb --l
2015-09-23 18:10:29
240
转载 mongodb3.0.5安装
测试OS平台 centos 6.5数据库平台 MongoDB version: 3.0.5 安装方法yum禁用防火墙和selinux[root@mogo yum.repos.d]# service iptables stop[root@mogo yum.repos.d]# chkconfig iptables off[root@mogo yum.repos.d]#
2015-09-23 18:08:10
271
原创 mongodb 3.0.5安装
一、禁用防火墙和selinux[root@mogo yum.repos.d]# service iptables stop[root@mogo yum.repos.d]# chkconfig iptables off[root@mogo yum.repos.d]# setenforce 0[root@mogo yum.repos.d]#vi /etc/sysconfig/selin
2015-09-23 17:57:00
325
原创 codis安装注意事项
1、config.ini中的dashboard_addr地址中端口修改为你启动后系统实际拿到的端口,否则../bin/codis-config slot init后会提示找不到18087端口2、codis-ha启动命令端口需和codis-config服务器端口一致,且相关源码里的18087端口也要改成dashboard_addr服务端口
2015-05-13 15:16:11
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人