- 博客(43)
- 收藏
- 关注
RSS订阅原创 kafka基本操作
启动kafka bin/kafka-server-start.sh config/server.properties &创建消费者bin/kafka-console-consumer.sh --bootstrap-server 192.168.142.100:9092 --from-beginning --topic newTopic创建生产者bin/kafka-console-producer.sh --broker-list 192.168.142.100:9092 --topic
2020-07-15 18:21:28
150
原创 Flink学习笔记——Flink基础（一）
（1）IDEA 编写代码批处理WordCountpackage com.vip.wcimport org.apache.flink.api.scala._// 批处理代码object WordCount { def main(args: Array[String]): Unit = { // 创建一个批处理的执行环境 val env = ExecutionEnvi...
2020-01-05 19:25:05
235
原创 maven---Failed to read artifact descriptor for ch.qos.logback:jar的问题解决
使用idea创建maven项目时，并使用ch.qos.logback时，提示Failed to read artifact descriptor for ch.qos.logback:jar参考网上的办法：项目右键→如图点击open“settings.xml”,第一次点击为create“settings.xml”，如图，输入红框中的内容，切记mirrors mirror等自己手打，不要复...
2019-11-23 09:08:59
2387
原创 大数据实战(九)
1 分布式数据收集1.1 推荐系统数据收集需求推荐系统数据收集需求：将各种数据收集到一个中央化的存储系统中，有利于进行集中式的数据分析与数据共享用户行为数据是多样化的用户访问日志，产品信息，用户基本信息推荐系统数据收集难点：数据分散在各个离散的设备上，数据保存在传统的存储设备和系统中1.2 常见数据来源分散的数据源(由不同系统组件产生，部署在不同机器上)：用户访问日志，用户...
2019-11-17 16:30:31
187
原创 大数据实战(八)
1、Spark推荐算法实战（IDEA）1.1 需求数据：MovieLens电影评分数据功能需求1.找出最受欢迎的50部电影，随机选择10部让用户即时评分，并给用户推荐50部电影算法要求1.通过ALS实现推荐模型2.调优模型参数，通过RMSE指标评估并筛选出最优模型2.创建基准线，确保最优模型高于基准线开发要求1.通过Idea本地开发测试2.提交到集群模式运行...
2019-11-16 15:08:27
131
原创 大数据实战(七)
1. Spark推荐算法实战1.1 Spark MLlib概述MLlib是基于Spark引擎实现的机器学习算法库良好的扩展性和容错性，充分利用Spark扩展性和容错性属于Spark生态系统重要的组成部分实现了大部分常用的数据挖掘算法：聚类，分类，推荐1.1.1 MLlib分类算法1.2 MLlib推荐算法介绍1.2.1 Spark协同过滤的实现1.2.2 MLlib协同...
2019-11-14 17:00:06
126
原创 大数据实战(六)
实例6：MovieLens推荐系统需求使用MovieLens 1M数据集实现电影推荐系统步骤实现MovieLens数据集的DataModel实现Item-based和User-based的协同过滤推荐，并保存结果基于物品的推荐处理文件package com.vip.example.MovieLens;import org.apache.commons.io.Charsets...
2019-11-13 22:14:23
123
原创 大数据实战(五)
1 推荐系统案例实践1.1 推荐案例实战准备1.1.1 操作系统的选择WindowsLinuxHadoop及Spark均支持windows环境，尤其是spark但通常Windows仅用于测试环境1.1.2 IDE选择Intellij IDEAEclipse1.1.3 项目管理工具SBT（Simple Build Tool）Spark等项目中使用sbt assem...
2019-11-11 15:26:20
159
原创 大数据实战(四)
1 推荐算法1.1 推荐模型构建流程1.1.1 使用什么数据显性数据：Rating，Comments隐形数据： Order history，Cart events，Page views，Click-thru，Search log1.1.2 使用什么特征一个给定的商品，可能被拥有类似品味或需求的用户购买使用用户行为数据描述商品1.1.2.1 数据表示将所有用户行为合并...
2019-11-11 15:14:12
143
原创 大数据实战（三）
1.Spark ML代码实现1.1 重要概念DataFrame用于学习的数据集可以包含多种类型管道组件Transfromers：transfrom()把一个DF转换成另一个DF的算法Estimators：fit()应用在一个DF上生成一个转换器的算法1.2 如何工作训练：预测：1.3 其他参数：所有的转化器和评估器共享一个公共的api参数名Param...
2019-11-06 14:26:56
190
原创 大数据实战(二)
4.用户画像系统4.1 什么是用户画像4.2 用户画像作用4.2 用户标签画像：标签标示法4.3 用户标签和标签的数学描述4.4 用户画像标签举例
2019-11-04 11:18:40
146
原创 大数据实战(一)
大数据应用领域互联网领域搜索引擎 推荐引擎电信领域用户画像 用户行为分析医药生物领域DNA分析视频领域视频存储 视频分析金融领域信用卡欺诈分析 用户分析矿产勘探领域矿产石油勘察预测大数据框架Hadoop生态系统Spark 生态系统...
2019-11-02 19:52:22
349
原创 Scala学习笔记（函数式编程）
函数式变成介绍函数具体代码介绍object Test02 { def main(args: Array[String]): Unit = { val dog = new Dog println(dog.sum(10,20)) //方法转函数 val f1 = dog.sum _ println("f1=" + f1(15,20)) //...
2019-10-02 19:37:26
125
原创 Spark学习笔记
MR的缺点:mr基于数据集的计算，所以面向数据1.基于运行规则从存储介质中获取（采集）数据，然后计算。最后将结果存储到介质中，主要应用于以一次性计算，不适用于数据挖掘和机器学习这样的迭代计算和图形挖掘计算。2.MR基于文件存储介质的操作，所以性能非常慢。Spark 历史是一种基于内存的快速、通用、可扩展的大数据分析引擎。2013年6月发布Spark基于Hadoop1.x 架构思想，采...
2019-09-28 15:30:53
69
原创 Scala学习笔记（基础语法）
Scala，java，jvm的关系图静态类型语言：在执行之前，数据类型就得确定下来范式：编程方式第一个scala代码//说明//1.object表示一个伴生对象，这里我们可以简单的理解就是一个对象 2.HelloScala就是对象名字。他底层真正对应的类名是HelloScala$， 对象是HelloScala$类型的一个静态对象MODULE$ 3.当我们编写一个objec...
2019-09-28 15:30:23
111
原创 Hadoop权威指南 第四版 学习笔记系列（第二章：关于Hadoop）
1.为了实现横向扩展，我们需要把数据存储在分布式文件系统中，通过使用Hadoop资源管理系统YARN，Hadoop可以将MapReduce计算转移到存储有不分数据的各台机器上。2.map任务将其输出写入本地磁盘，而非HDFS。**只是因为map的输出是中间结果：该中间结果由reduce任务处理完后才产生最终输出结果，而且一旦作业完成，map的输出结果就可以删除。因此，如果运行map任务的节点在...
2019-09-25 08:47:44
136
原创 Hadoop权威指南 第四版 学习笔记系列（第一章：初始Hadoop）
1 .传统的关系型数据库MapReduce数据大小GBPB数据读取交互式和批处理批处理更新多次读/写一次写入，多次读取事务ACID无结构写时模式读时模式完整性高低横向扩展非线性的线性的2.数据本地化特性是Hadoop数据处理的核心3.SETI@home :Search for Extra-Terrest...
2019-09-23 14:11:41
213
原创 人工智能实践：Tensorflow笔记
pwd 打印当前在哪个目录ls 列出当前路径下的文件和目录mkdir 目录名 新建目录cd 目录名 进入指定目录
2019-04-02 14:46:47
222
原创 codeup墓地练习题1198（考研复试练习）
题目描述给电文加密。加密规则是对于每一个字符，如果是字母，变换成其相应的其后（循环的字母序，即A紧跟在Z的后面）的第4个字母。例如A变成E，a变成e，W变成A，X变成B，Y变成C，Z变成D。如果不是字母，则不进行变换。输入输入一行字符。输出输出相应的密码。请注意行尾输出换行。样例输入China!样例输出Glmre!#include"stdio.h"int main(...
2019-03-21 20:31:48
612
原创 考研复试练习———统计字符
题目描述编一个程序，读入用户输入的，以“.”结尾的一行文字，统计一共有多少个单词，并分别输出每个单词含有多少个字符。（凡是以一个或多个空格隔开的部分就为一个单词）。输入描述输入包括1行字符串，以“.”结束，字符串中包含多个单词，单词之间以一个或多个空格隔开。i love you1 4 3#include"stdio.h"int main(){ char s[100]={'0'}...
2019-03-20 21:04:26
116
翻译 codeup墓地练习题23296（考研复试练习）
题目描述试写一个算法，识别字符序列是否为形如‘子序列1&子序列2’模式的字符序列，其中子序列2是子序列1的逆序列，0＜子序列字符串长度＜1000，且都为小写字母。输出YES或者NO。输入一行字符序列输出YES或NO样例输入加粗样式hello&ollhe样例输出NO#include"stdio.h"#include"string.h"int main...
2019-03-19 20:45:30
138
原创 codeup墓地练习题23349（考研复试练习）
题目描述小明一直很讨厌小数点，一看到小数点就头疼。不幸的是，小红给他出了一个题目，问他：给你一个小数x，你能算出小数点后第n位是什么吗？（1<=n<=20）小明看到此题后，瞬间头疼晕倒，你能帮帮他吗？输入首先输入一个t，表示有t组数据（数据不超过10组）跟着t行：每行输入一个小数（输入数据保证一定是a.b的形式，为了简单化问题，没有循环小数的情况），然后跟一个n，表示小数...
2019-03-19 20:28:56
416
转载 codeup墓地练习题22746（考研复试练习）
题目描述给定一个整数，请将该数各个位上数字反转得到一个新数。新数也应满足整数的常见形式，即除非给定的原数为零，否则反转后得到的新数的最高位数字不应为零（如：输入-380，输出-83）。输入输入共1行，一个整数N。输出输出共1行，一个整数，表示反转后的新数。样例输入123样例输出321提示-1,000,000,000<=N<=1,000,000,000。#...
2019-03-18 21:34:59
113
转载 codeup墓地练习题2156（考研复试练习）
题目描述天勤论坛中毒了……为了杀毒，我们必须删除源代码里面的某些字符。即从第一字符串中删除第二个字符串中所有的字符。输入输入有多组数据。每组数据两行，每行一个字符串（只包含大小写字母，长度<=2^18）。从第一字符串中删除第二个字符串中所有的字符。输出对应每组数据，输出改变后的第一个字符串。样例输入TheyAreStudentsaeiouACMclubCb样例输...
2019-03-18 21:02:25
190
转载 codeup墓地练习题26957（考研复试练习）
题目描述敲键盘时，经常会向右错1位。比如想敲"iloveyou"，敲成了"o;pbrupi"输入错位的字符串，输出其本意。(只考虑英文小写字符的输入，不考虑大写和空格)样例输入o;pbrupi这里是引用样例输出iloveyou#include"stdio.h"int main(){ char a[30]="qwertyuiop[asdfghjkl;zxcvbnm,"...
2019-03-18 19:42:02
151
转载 codeup墓地练习题26906（考研复试练习）
输入一个字符串，求它包含多少个单词。单词间以一个或者多个空格分开。第一个单词前，最后一个单词后也可能有0到多个空格。比如：" abc xyz" 包含两个单词，"ab c xyz " 包含3个单词。#include"stdio.h"int main(){ int n=0; char s[100]={'\0'}; gets(s); for(int i=0;s[i]...
2019-03-18 19:27:19
149
转载 codeup墓地练习题23519（考研复试练习）
题目描述输入一串字符，以“?”结束，统计其中每个字母出现的次数,字母不分区分大小写,其它字符包括末尾“?”用“*”表示。输入一行：一串字符，以?结束输出若干行：每一行一个大写字母（或其它字符）及出现次数，中间空一格。样例输入CabC&934ABBC?*样例输出A 2B 3C 3*6#include"stdio.h"int main(){ char s[...
2019-03-17 21:35:25
184
转载 codeup墓地练习题24207（考研复试练习）
题目描述编制函数del_char函数原型为 void del_char(char *,char),函数的功能是删除a指向的字符串中值为ch的字符，例如从字符串"AscADef"中删除’A’后，字符串为"scDef"。输入需要删除的字符ch需要处理的字符串输出处理后的字符串样例输入AAscADef样例输出scDef#include"stdio.h"#include...
2019-03-14 21:24:12
478
转载 codeup墓地练习题1042（考研复试练习）
题目描述给你一个字符串，现要求你对其进行处理，使得处理后的字符串满足如下要求：字符串里面的元音字母全部为大写；其余字母全部为小写。输入输入的第一行为一个正整数T（T<=20），表示测试数据的个数。每个输入的字符串只包含大写字母和小写字母。字符串长度不超过50。输出对于每一个测试数据，输出其对应的结果。每个结果占一行。样例输入4XYzapplicationqwcvb...
2019-03-14 20:40:21
326
转载 codeup墓地练习题1040（考研复试练习）
题目描述考古学家发现了一座千年古墓，墓碑上有神秘的字符。经过仔细研究，发现原来这是开启古墓入口的方法。墓碑上有2行字符串，其中第一个串的长度为偶数，现在要求把第2个串插入到第一个串的正中央，如此便能开启墓碑进入墓中。输入输入数据首先给出一个整数n，表示测试数据的组数。然后是n组数据，每组数据2行，每行一个字符串，长度大于0，小于50，并且第一个串的长度必为偶数。输出请为每组数据输出一...
2019-03-14 20:19:12
432
转载 1039: 词组缩写
题目描述定义：一个词组中每个单词的首字母的大写组合称为该词组的缩写。比如，C语言里常用的EOF就是end of file的缩写。输入输入的第一行是一个整数T，表示一共有T组测试数据。接下来有T行，每组测试数据占一行，每行有一个词组，每个词组由一个或多个单词组成；每组的单词个数不超过10个，每个单词有一个或多个大写或小写字母组成；单词长度不超过10，由一个或多个空格分隔这些单词。输出...
2019-03-13 21:53:40
472
转载 向数组输入不确定个数的数组
#include&lt;stdio.h&gt;int main(){ int i,n=0,a[999]; for(i=0;;i++) { scanf("%d",&amp;a[i]); n++; //计算输入个数 if(getchar()=='\n')break; //遇回车中断 } for(...
2019-03-13 21:06:48
20599
12
转载 codeup墓地练习题3497（考研复试练习）
题目描述已知三位整数x和y满足x+y=1333，其中x的个位数是y的百位数，y的个位数是x的百位数，它们的十位数一样。求满足这样条件的x和y。输出419+914=1333 … 按X从小到大输出，每个等式一行#include<stdio.h>int main(){ for(int i=100;i<=999;i++){ int g=i%10;//个位 int...
2019-03-13 20:08:07
493
1
转载 codeup墓地练习题3496（考研复试练习）
题目描述输入一个正整数，输出它的所有质数的因子（如180的质数因子为2、2、3、3、5）样例输入180样例输出2 2 3 3 5题目描述输入一个正整数，输出它的所有质数的因子（如180的质数因子为2、2、3、3、5）样例输入180样例输出2 2 3 3 5 ...
2019-03-13 19:52:45
273
转载 codeup墓地练习题3494（考研复试练习）
题目描述从键盘输入任意20个整型数，统计其中的负数个数并求所有正数的平均值。保留两位小数样例输入1 2 3 4 5 6 7 8 9 10-1 -2 -3 -4 -5 -6 -7 -8 -9 -10样例输出105.50#include<stdio.h>int main(){ int a[20]={0}; int g1=0; int g2=0; dou...
2019-03-13 19:31:26
169
转载 codeup墓地练习题3491（考研复试练习）
题目描述古希腊数学家毕达哥拉斯在自然数研究中发现，220的所有真约数(即不是自身的约数)之和为：1+2+4+5+10+11+20+22+44+55+110＝284。而284的所有真约数为1、2、4、71、 142，加起来恰好为220。人们对这样的数感到很惊奇，并称之为亲和数。一般地讲，如果两个数中任何一个数都是另一个数的真约数之和，则这两个数就是亲和数。你的任务就编写一个程序，判断给定的两...
2019-03-13 19:16:25
185
转载 codeup墓地练习题3490（考研复试练习）
题目描述编程，输入一个１０进制正整数，然后输出它所对应的八进制数。样例输入10样例输出12#include&lt;stdio.h&gt;int main(){ int n; scanf("%d",&amp;n); int a[100]={0}; int i=0; while(n!=0){ a[i++]=n%8; n=n/8; } a[i]='\0'; for(...
2019-03-13 19:06:34
118
转载 codeup墓地练习题2251（考研复试练习）
题目描述输入一个正整数n (1≤ n ≤6),再输入一个n 行n列的矩阵，找出该矩阵中绝对值最大的元素以及它的行下标和列下标。输入nnxn输出数 行 列样例输入21 23 4样例输出4 2 2#include"stdio.h"#include"math.h"int main(){ int n,max,h,l; scanf("%d",&n); int a[...
2019-03-12 20:21:03
218
转载 codeup墓地练习题2248（考研复试练习）
题目描述输入一个正数x和一个正整数n，求下列算式的值。要求顶一个调用2个函数：fact(n)计算n的阶乘；mypow(x,n)计算x的n次幂（即xn），两个函数的返回值类型是double。×输出保留4位小数。输入x n输出数列和样例输入2.0 3样例输出1.3333#include"stdio.h"double fact(int n){ double s=1.0; f...
2019-03-12 19:56:00
183
转载 codeup墓地练习题2247（考研复试练习）
题目描述输入10个数，找出其中绝对值最小的数，将它和最后一个数交换，然后输出这10个数。输入十个数输出交换后的十个数样例输入10 2 30 40 50 60 70 80 90 100样例输出10 100 30 40 50 60 70 80 90 2#include"stdio.h"int main(){ int a[10]; int min,m; for(int i=...
2019-03-12 19:20:25
75
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人