- 博客(37)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hive sql 解析json字符串 json数组 请拿走不谢 fengsong97
先看效果再看SQLselect a.address,t.a_jsonfrom( select get_json_object( tab.json_str , '$.address') address, split(regexp_replace(regexp_extract ( get_json_object(tab.json_str , '$.store.fruit'), '(\\[)(.*?)(\\])',2), '\\},\\{','\\}|\\{')
2020-10-28 23:52:12
20634
2
原创 有人说csdn很low,怎么办
最近一直在做爬虫有关的事情，因为工作需要。不得不说前段时间有个自己认可人当面对我说，csdn很low，没想到这句话潜移默化的影响了我，让我有段时间不想在csdn更新博客，现在想起来，这真的不应该，他只是随口说的，我分享我的技术经历，是出于我内心溢出的想法，我应该在csdn继续做这件事。...
2020-09-24 02:23:56
20272
原创 DCMM数据管理能力成熟度评估-微信小程序
数据管理做它的出发点它是一个简单工具类微信小程序用于企业数据管理能力成熟度的初步评估 做它的理论依据 通过收集企业数据管理能力相关现状数据结合业界现有评估模型, 给出结果模型展示图评估模型, 如 DCMM设计和数据来源, 保密 它的现有功能 有两套试题1 DCMM数据能力成熟度-快速评估 (评估预计5分钟)2 DCMM数据能力成熟度-全面评估 (评估预计30分钟)试卷1快速评估, 有28道题每道题 为DCMM的28个子域,中的一个你简单...
2020-06-18 14:33:22
21427
原创 fengsong97用到的爬虫 4表2程序 架构图
我是用Java写爬虫的,我是用Selenium实现爬取的因为我从离职同事那边接手了一套,可执行爬虫代码程序, 所以就开始了我的爬虫之路(最后发现这条路很短)网上推荐的 爬虫用python 和Python框架scrapy但我有现成的一套了, 没必要去做一套新的python程序selenium 还是很好使的, 它模拟人的浏览器操作直接就解决了很多问题, 如爬取动态js加载的页面我改造后的架构是这样的, 只能简单地说下,爬取程序01部分1 配置一个驱动URL和相关位置配置表0.
2020-06-16 16:47:06
19908
原创 解决sap data services designer 简称ds系统里的 mysql 数据源中文乱码
我所在的公司有个sap data services designer 简称ds系统SAP，为“System Applications and Products”的简称，是SAP公司的产品——企业管理解决方案的软件名称功能很强大, 公司用了很长时间, 很重,是收费的,就像是飞行中的战斗机的引擎(夸张), 想换掉它没那么容易反正就是 有些任务必须用它, 可以做数据 ETL所以就有了一个任务需要mysql 作为目标数据源, ds 连接mysql 的驱动是 ODBC连接配置我使用了 J.
2020-06-16 15:48:08
20620
原创 java redis的单机配置和集群配置及一个错误Broken pipe及解决
目录单机配置和集群配置一个错误Broken pipe及解决问题描述问题分析解决方案单机配置和集群配置package cn.enn.util;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import redis.clients.jedis.*;import java.io.Seri...
2020-04-02 09:59:51
19878
原创 fengsong97用到的hive
目录hive介绍hive 内外部表hive 分区表hive 建模hive JDBChive介绍hive 内外部表hive 内部表MANAGED_TABLE, 是被hive完全管理的表, 完全管理元数据和数据 (默认和建议创建为内部表),数据会被放到特定的路径下 hdfs://nameservice/user/hive/warehouse/default.d...
2020-01-09 21:41:33
19996
原创 想哪写哪_随笔20191203
说要随时写写的, 一看时间距离上次的随便已经过去3天了,我的新的两周的计划开始了, 这两周的计划是,清楚概念, 专业的各个技术的概念, 和平时认知的概念这个意向来自于<<把时间当做朋友这本书>>李笑来写的, 本来我不以为意的, 这边书我是17年接触到的, 没有感触, 因为没上心, 没给它留思考它的时间, 这次我因为越来越对时间的概念痴迷, 所以把它买了回来确实有不少...
2019-12-04 00:02:45
2370
原创 想哪写哪_随笔20191130
今天明白了一件事, 最近F总是思考关于做事要专注, 一次只做一件事, 找准自己的能力半径, 别贪婪, 别贪多...但是做的总是不好, 不知道哪件事是应该, 专注做的, 现在我明白了, 专注不是一件事专注而是所有的事, 应该认真的做当下的这件事, 之前总是做着这个想那个, 真是印证了 那个故事里说的...从前一个小和尚问老和尚,你年轻时做什么事呀, 老和尚说, 挑水做饭念经,小和尚...
2019-12-01 00:01:46
2438
原创 关于贪婪,用半径算法找准人生定位
现在的时间是 2019年11月29日23:39:19我会时常写博客, 直到一年后的2020年10月30日, 相信我不但能收获100多篇博客, 最重要的是能收获时间这个朋友带给我的未知的惊喜, 我确定会有惊喜, 但是不知会是什么说说今天的主题 贪婪 吧我最近又看到了, 以前年纪大的同事失业, 换工作去买保险, 越发的焦虑起来, 和看见同学挣得多的焦虑不同, 但根源是一样的, 总之嫌自己的...
2019-11-30 00:40:45
2526
原创 Javascript json转对象（互转）
JSON.parse(jsonstr); //可以将json字符串转换成json对象JSON.stringify(jsonobj); //可以将json对象转换成json对符串
2019-11-28 00:17:55
2423
原创 说说一个人怎样开发小程序的
微信小程序是挺火的, 做一个的流程说是简单但是开发小程序是需要一些代码基础和程序思维的, 一些概念还是必须要了解的, 比如 登录, 接口, 数据库, 编程语言等等比如我是一个程序员, 我做过前端, 开发过app, 做过java后端, 写过接口,处理过业务逻辑, 现在在做大数据涉及到hiveSql sparkStreming kafka 等技术, 所以做个小程序从内心上来说, 认为是很简单的...
2019-11-15 13:41:57
3328
原创 最近在开发一款答题类微信小程序
我空闲时在开发一款答题类微信小程序 叫<<数据成熟度小程序>> 主要功能就是登录, 答题, 呈现答题结果, 表面上看就是这些但是背后可是有好多东西需要开发和思考,我用了jeesite4 这样的后台管理神框架, 它自带了用户管理,权限分配,菜单管理,字典管理,代码自动生成工具,等让我省了不少功夫,在这里感谢jeesite 的作者, 那个山东济南人 thin...
2019-11-13 23:53:30
4781
原创 是什么阻碍了自己写博客
是什么阻碍了自己在CSDN上, 持续的更新博客我其实是有少量的时间在思考这个问题, 更多的时候自己是不会想起来写文章这件事的,大多的时间自己是被生活工作的琐事所牵绊,这个原因就不说了今天心血来潮, 想写写其他原因阻碍的原因有:一直在找更好的写文章的平台, 甚至想过自己搭建, 比如github 静态的, markdown的, 或者自己写界面的,写后端接口的CMS内容管理系统, 没...
2019-10-31 14:00:32
2410
1
原创 Apache Project LIst 所有项目介绍
Apache .NET Ant Library-这是一个帮助开发.NET软件的Ant任务库。它包括“旧的”.NET任务，如C＃编译器任务，但也支持NUnit测试或运行流行的NAnt或MSBuild构建工具。 Apache Abdera (in the Attic)-Apache Abdera项目的目标是构建IETF Atom Syndication Format（RFC 4287）和Atom...
2019-06-19 21:19:28
3566
原创 sqlserver元数据表-sys.columns
object_id 对象的ID。 name 列的名称。在对象内是唯一的。 column_id 列的ID。在对象内是唯一的。列ID可能不是顺序的。 system_type_id 列的系统类型的ID。 user_type_id 用户定义的列类型的ID。要返回类型的名称，请加入此列的sys.types目录视图。 max_length 列的最大长度（...
2019-06-19 19:32:24
3803
原创 sqlserver元数据表-sys.tables
name 对象名称。 object_id 对象标识号。在数据库中是唯一的。 principal_id 单个所有者的ID（如果与架构所有者不同）。默认情况下，包含架构的对象由架构所有者拥有。但是，可以使用ALTER AUTHORIZATION语句指定备用所有者以更改所有权。 schema_id 包含对象的库的ID。 parent_object_id 此对...
2019-06-19 19:31:31
4926
原创 oracle元数据-sys.dba_tab_columns
owner 表，视图或集群的所有者 table_name 表，视图或集群的名称 column_name 列名 data_type 列的数据类型 data_type_mod 列的数据类型修饰符 data_type_owner 列的数据类型的所有者 data_length 列长度（以字节为单位） data_precision ...
2019-06-19 19:30:38
763
原创 oracle元数据-sys.dba_tables
owner 表，视图或集群的所有者 table_name 表名 tablespace_name 表空间，分区、临时和索引组织表的值为空 cluster_name 集群 iot_name 索引组织表的名称（如果有的话），属于溢出或映射表项。如果iot_type列不为空，则此列包含基表名称 status 如果先前的删除表操作失败，则指示表是否...
2019-06-19 19:29:31
2833
原创 mysql元数据表-information_schema.columns
table_catalog 表限定符。 table_schema 表所有者。 table_name 表名 column_name 列名 ordinal_position 应该是该列在该表中的顺序 column_default 列的默认值 is_nullable 是否可以为null data_type 数据类型 char...
2019-06-19 19:28:21
4203
原创 mysql元数据表-information_schema.tables
table_catalog 数据表登记目录 table_schema 数据表所属的数据库名 table_name 表名称 table_type 表类型[system view|base table] engine 使用的数据库引擎[myisam|csv|innodb] version 版本，默认值10 row_format 行格式[...
2019-06-19 15:00:01
3394
原创 大数据Hadoop相关概念及其技术生态圈
Google 大数据技术 （不开源） MapReduce 、BigTable、 GFS Hadoop 模仿了Google大数据技术（开源） Hadoop的 两个核心概念HDFS :分布式文件系统 ， 存储海量的数据MapReduce：并行处理框架，实现任务分解和调度Hadoop 能做什么？ 搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务 具体如 ：搜索引擎、日志分析、商业智
2017-06-06 15:44:28
2568
转载 十招成为高效能人士-来自《得到》
1 让生活变得简单 2 屏蔽身边的提示音 3 清单式工作任务 4 从多线程到转注 5 把要反复做事情自动化 6 使用更少的工具 7 用最快速的小成功开启你的一天 8 让自己动起来保持健康 9 利用音乐和交流来激发能量 10 学会拒绝
2017-05-25 14:03:53
565
原创 如何安装任意版本node mac系统 window系统
方法 一 node有一个模块叫n，是专门用来管理node.js的版本的。（我的Mac环境好使） n是Node的一个模块，作者是TJ Holowaychuk（鼎鼎大名的Express框架作者），就像它的名字一样，它的理念就是简单： “no subshells, no profile setup, no convoluted api, just simple” 安装很简单：
2017-05-18 17:15:47
9397
原创 grafana-大数据图表监控分析框架
grafana 学习网址 官网： https://grafana.com/GitHub：https://github.com/grafana/grafana待续。。。图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q插入链接
2017-05-16 09:44:16
8171
原创 像素 屏幕分辨率 摄像头分辨率
像素：每张图片都是由色点组成的，每个色点称为一个像素。一张图片由30万个色点组成，这个图片的像素就是30W。摄像头分辨率 : 我们常说相机是多少像素，这个像素就是说这款照相机的感器件有多少个，有100W个感光器件的相机就是100W像素的相机，有4000W个感光器件的相机就是4000W像素，以此类推。一台100W像素的相机拍摄的照片洗成5寸的照片会比洗成6寸清晰一点。屏幕分辨率是屏幕每行的像
2017-04-12 18:05:16
969
原创 ionic 学习资源整理
ionic官网http://ionicframework.com/ionic中文网http://www.ionic.wang/
2015-10-30 13:24:30
434
原创 前台到后台的交互，至成功导出Excel (技术博客的错误示范)
前台 easyui datagrid控件var dg;var d;$(function(){ dg=$('#dg').datagrid({ method: "get",// url:'${ctx}/system/user/json', url:'${ctx}/business/serverManage/json', fit : true,fitColum...
2015-08-13 15:35:27
7848
原创 JDK各个版本的新特性
对于很多刚接触java语言的初学者来说，要了解一门语言，最好的方式就是要能从基础的版本进行了解，升级的过程，以及升级的新特性，这样才能循序渐进的学好一门语言。今天先为大家介绍一下JDK1.5版本到JDK1.7版本的特性。希望能给予帮助。JDK1.5新特性：1.自动装箱与拆箱：自动装箱的过程：每当需要一种类型的对象时，这种基本类型就自动地封装到与它相同类型的包装中。...
2015-08-12 21:25:56
476
原创 看别人怎么学技术，并记录自己的发展
为什么要写博客？因为日记已经不能满足自己学习网络编程语言的需要了。数据量越来越大，靠笔来记录的时代，已经过去了。而我才意识到。以上是我 2015年08月12日 21:21:07 写的而现在是 2019年11月28日 00:12:42为什么要写博客?不是为了当词典, 之后遇到问题再来查询, 总有人比自己专业多了是为了证明自己这一天没有白过, 为了证明自己还是时...
2015-08-12 21:21:07
405
1
wechat_web_devtools_0.12.130400_x64.exe
2017-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人