- 博客(53)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 ChatGLM-6B的windows本地部署使用
ChartGPT最近特别火，但是收费，而且国内访问不太方便，所以找了个类似的进行学习使用ChatGLM-6B，开源支持中英文的对话大模型，基于 General Language Model (GLM) 架构，具有62亿参数，简单说非常不错，可能和chart GPT比较有些差距，但是开源免费，并且可以在本地部署，支持中文，这就很nice了
2023-06-05 23:00:00
2961
原创 web3.0初步探索
突然看见新闻星爷都开始招web3.0人才了，先了解web3.0，看有木有机会，买了本《一本书读懂web 3.0》，这里做笔记下面内容仅代表 10月29号目前个人看法，不同意见可以在评论区讨论
2022-10-29 08:52:10
1075
原创 spark的学习（2）之计算最受欢迎美食种类然后画词云
上一篇文章主要讲的是spark如何进行词频统计，数据集为自己创建的，本篇主要使用上一篇的逻辑在实际应用中进行扩展—计算广州美食中最受欢迎的美食类别，然后把数据画成词云。本篇是上一篇spark的学习（1）之使用spark进行WordCount词数统计的扩展，所以本篇没有涉及到更多的API，主要基于原本的API。重点在于思路，至于spark的后续知识点会在后续博文中说明，(^_−)☆ 关注博主不走丢如果进行大数据处理，首先我们需要先明白数据，本文中的数据集是从和鲸社区中下载的，下载地址如下https://
2021-08-26 10:57:51
692
原创 20天学习Spark（5）之Streaming+kafka实现用户实时日志
一篇学会如何在生产环境下使用kafka+SpringBoot+sparkStreaming对用户日常行为进行大数据分析处理注意：本文适用于已经掌握基础java框架想学习大数据的开发者建议收藏，否则容易找不到之前的文章中streaming处理的数据主要用于学习streaming的一些基础使用，在实际生产环境下还是需要使用专门的日志收集。kafka&&zookeeper下载地址：https://download.csdn.net/download/lihao1107156171/18.
2021-04-30 08:18:43
448
1
原创 spark学习之旅（4）之Streaming的使用
Spark Streaming类似于Apache Storm，用于流式数据的处理。所谓流式处理其实指的就是实时数据，之前的spark都是处理离线数据的，就是直接处理数据文件，而streaming是一直检测数据，数据出来一条，处理一条。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduc
2021-04-11 08:19:29
463
原创 spark学习之旅（2）之之RDD常用方法
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。这里的弹性指的是RDD可以根据当前情况自动进行内存和硬盘存储的转换简单点讲就是spark中对数据的一个封装，把数据封装进对象，容易操作在spark中所有的计算都是围绕着RDD操作的，每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上，并且RDD也可以缓存到内存中RDD支持两种操作:转化操作和行动（计算）操作。RD
2021-03-21 22:28:46
1169
原创 spark学习之旅（3）之sparkSQL的使用
SparkSQL，使用SQL来完成大数据操作Spark的RDD操作方便处理大数据操作，但是也有各种问题，例如RDD每次读取的都是字符串，以及语法比较比较麻烦。针对这种情况，spark在新版本中升级RDD为DataFrame和DataSet，并使用SQL的方式去操作数据DataFrame，RDD的升级版，分布式的数据集，并且以列的方式组合的，类似于二维表格式，除数据外保存数据结构信息DataSet，DataFrame扩展，最新的数据抽象，相对于DataFrame，DataSet会记录字段的数据类型，并进
2021-03-21 22:25:39
291
原创 spark的学习（1）之使用spark进行WordCount词数统计
Spark是一种由scala编写的快速、通用、可扩展的大数据分析引擎1、简单介绍下面是对spark的简单介绍，嗯，主要就是说下spark有多好多好的，不想看的可以直接去第二步特点1）快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。2）易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用
2021-03-21 10:42:18
1153
原创 springCloud系列（6）之Config远程配置文件
在微服务的项目中，经常会有很多的的配置文件，太多的配置文件不利于后期修改，为减少配置文件的处理，这时候会使用springCloud中的config模块进行开发处理，Config分为server服务端和client客户端，我们把常用的配置放在远程工具（git，SVN，码云）上，然后Config服务端从远程工具上下载需要的配置，然后客户端获取这些配置，最后使用配置简单使用1、在码云上编写配置文件 config-dev.yml ，其实就是一个普通的配置文件，配置文件名上最好加-，这样方便后面配置文件的编写
2021-03-02 22:57:43
263
原创 python中Pandas模块的使用
Pandas python工具， 以Numpy为基础，主要用于解决数据分析等相关问题，它可以读数据，改数据，甚至画图。本文主要记录常用问题，本文用的数据集是来自和鲸社区https://www.kesci.com/mw/dataset/5ee30becb772f5002d75a965/file读取数据pandas可以用于读取多种不同类型的数据data = pd.read_csv("路径，读取CSV文件")data = pd.read_csv("路径，读取CSV文件")[["line1","line
2021-01-08 22:09:56
204
原创 SpringBoot整合JSP
被折磨了一下午，终于好了，记录下，避免后面再翻车这里已经是搭建好springBoot环境了，主要是集成jsp，首先放jar包 <dependency> <groupId>javax.servlet</groupId> <artifactId>jstl</artifactId> ...
2020-02-09 23:14:20
145
原创 Freemarker生成代码
FreeMarker简介FreeMarker 是一款 模板引擎，FreeMarker本身是一个模板，FreeMarker的思想是让原本的一个页面分成数据和模板，当我们更换数据和模板相加时可以生成不同的文本文件，包括HTML，java等。所以学习FreeMarker主要是学习其中的一些标签简单实例0、引入jar包 <dependency> <groupId>...
2019-11-11 18:32:47
276
原创 SpringMVC中使用swagger2
swagger，一个API文档生成工具，当编写商业项目时，每个项目之间可能需要调用其他项目的API接口，比如说前后端分离项目，这种时候需要写API文档，文档，程序员最讨厌自己写以及别人不写的一个东西，而Swagger就可以根据在项目中配置的注解自动生成文档，那么接下来就开始添加这个小东西引入jar包 <dependency> <groupId>io.sp...
2019-11-11 17:58:21
771
原创 Linux系列（2）之基本指令
什么是Linux的指令？指在Linux终端（命令行）中输入的内容就称之为指令。一个完整的指令的标准格式：Linux通用的格式指令主体（空格） [选项]（空格） [操作对象]一个指令可以包含多个选项操作对象也可以是多个基础指令1、ls 选项 路径含义：在列出指定路径下的文件/文件夹的名称，并以指定的格式进行显示。常见的语法：#ls -l 路径#ls -la 路径选项解释：-...
2019-11-11 11:12:19
111
原创 vue项目实战~编写商城项目（0）~软件安装
做项目前先把相关软件安装完毕，软件安装包括nodewebpackvue-cliGit安装包整合在此链接：https://pan.baidu.com/s/1AIfAC9-nhqIBlcUCFH_MSw提取码：dd361、node安装运行在服务端的 JavaScript，让JavaScript可以做后端程序员的时，编写自己的服务端，在使用Vue脚手架编写程序时需要用到node的环境，...
2019-08-18 15:17:56
1253
2
原创 Java面试之设计模式（2）建造者模式
建造者模式（Builder Pattern）多个简单对象在一起构建负责对象，类似于多个建筑工人在一起建设房屋，每一个建筑工人都有各自负责的工作，我们可以根据需要房屋的不用调用不同的建筑工人去构建房屋。在程序中一个复杂对象可以由多个简单对象构建，将一个复杂的构建与其表示相分离，使得同样的构建过程可以创建不同的表示。坏处是代码量增加代码如下：...
2019-08-15 11:48:03
250
原创 超简单的VUE入门3~组件
组件：vue里面的核心重点，也是一个难点，组件指实现定义好的Vue实例，它封装可重用的代码，可重复使用，定义语法如下Vue.component(tagName,options)其中tagName是组件名，options是组件相关属性设置，写一个简单例子如下(不要忘记引入Vue的js文件)HTML：<div id="d1"> <com-demo></com-d...
2019-08-12 18:42:46
336
原创 关于学习编程的方式
最近在看很多知乎大牛在讲学习编程的学习方式，看很多讲到要学习计算机编程原理，网络，算法等等，萌新瑟瑟发抖，就是学的特别的深奥（可能是技术不够深，理解较浅），个人认为就是学习共分三步。第一步，技能点：掌握知识里面的技能点，培养基础，比如说java里面的封装，继承，多态。第二步，项目：使用技能点做成项目，一些小项目练手，提高自己荣誉感，提高自己兴趣点。第三步，底层原理：项目做完后去研究知识点底层...
2019-08-12 15:42:07
214
原创 超简单的VUE入门2~VUE实例
在上一篇主要说些Vue中的常用指令，主要编写在HTML页面中，但是VUE实例中也有许多的属性和方法，这里总结下，首先说vue实例，如果需要让HTML代码页面与VUE结合在一起，必须创建一个对应的VUE实例，创建语法如下：var vm = new Vue({ //属性})主要属性都有1、el 通过ID绑定对应的HTML元素例子： var vm = new Vue({el:"#id...
2019-08-11 20:08:06
719
原创 超简单的Vue入门~1
一直在官网上看VUE的文档，觉的有点乱，所以在这里整理下VUE的一个入门知识点，如果有问题请发送[email protected]邮件或者在文章下面留言1、VUE是什么？“一个用于构建用户界面的渐进式框架”，所谓渐进式框架指的是没有强制主张，只做自己职责的事。以上是网络上流传的版本，个人的理解所谓的渐进式框架，是在使用vue开发页面时，所用的核心是VUE组件，在项目最开始只是一个组件，随着功能...
2019-08-08 18:04:17
166
原创 npm安装stylus错误解决方案
最近需要使用stylus，在安装的过程中遇到些错误，这里做一个总结。安装命令是 npm install stylus stylus-loader --save-dev运行命令 一直提示npm WARN [email protected] requires a peer of ajv@^5.0.0 but none is installed. You must install peer ...
2019-06-20 21:51:22
3002
原创 Centos7安装Nexus
1、下载，上传下载地址：https://www.sonatype.com/download-oss-sonatype2、解压tar -zxvf nexus安装位置 -C /usr/local/3、启动进入安装目录下执行./bin/nexus start4、关闭防火墙，并浏览器访问systemctl stop firewalld.service关闭防火墙后访问http://192...
2019-04-22 11:43:28
77
原创 使用FreeMarker生成模板代码
在平时开发过程中，一般都是需要Dao层，Service层，而每一层当中都需要自己编写一部分常用代码，例如在Dao（基于Mybatis框架）层中编写返回值为List的方法用于查询数据库中数据，或者是add方法对数据库执行插入操作等一系列的方法，而且我们发现再换做另外一张表的时候也是这种操作，list，add。。。。。。那么什么样的方式可以减少这种重复的工作呢？FreeMarker可以做到，Fre...
2019-04-21 08:41:41
905
原创 Maven的使用
Maven简介Maven来自于犹太语，意思是知识的积累，Maven可以使用小段代码描述项目的构建，快速构建项目。在我看来Maven主要作用有如下两点1、用于管理依赖Jar包，在没有Maven之前做项目都需要先把Jar包下载到本地，然后放到项目中，如果不是web项目还需要创建lib文件夹，并且选择Build path。当项目所依赖的jar包过于庞大时，不利于项目的构建，Maven可以使用简单的...
2019-04-20 15:08:39
536
原创 Nginx学习之搭建
Nginx搭建环境centos71、安装C++相关依赖环境yum install gcc-c++异常1：已加载插件：fastestmirror, langpacksLoading mirror speeds from cached hostfilehttp://mirror.centos.org/centos/7/os/x86_64/repodata/repomd.xml: [Errn...
2019-04-19 17:06:21
646
原创 centos7下安装gitlab
GitLad是基于Git的一个版本控制系统，可以在上面托管代码，相对于SVN他的优点是：基于分布式所遇到坑安装博客网址：https://www.cnblogs.com/wenwei-blog/p/5861450.html软件包下载地址：https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7官方网址：https://about.gitla...
2019-04-19 17:04:21
1114
原创 springMVC使用ajax传输POJO包415错误解决方案
在使用Ajax向SpringMVC的Controller传递参数，普通参数可以直接传入，但是如果数据太多的话，最好在Controller中使用POJO接受参数，但是这个时候会包415错误，先写解决方案，再写底层原理原本代码：$.ajax({ url:"ajax", data:{name:name}, dataType:"JSON", metho...
2019-04-10 14:51:08
226
原创 Java面试之线程（1）
问题：开始三个线程a，b，c，现在bc需要获取a的数据思路：如果需要bc需要得到a的数据，首先需要a本身有数据，所以必须a进程先运行，然后运行bc。需使用SemaphoreSemaphore介绍Semaphore [ˈseməfɔ:®] ，计数信号量，用于限制可以访问资源的线程数量，可以使用这个类来限制线程的访问。构造方法如下：Semaphore(int permits)创建一...
2019-01-08 22:16:18
123
原创 Java学习之线程
线程目录什么是线程线程的使用线程的同步线程常用方法随着时代的发展，软件的要求越来越高，软件或者说网站并发量越来越高（并发指一个时间段内存在大量访问软件的用户），例如12306或者刚过去不久的双十一，这是要求服务器充分利用CPU资源，而线程主要就是用于此。1. 什么是线程在说线程之前，需要先了解进程，什么是进程，你可以打开自己的任务管理器，上面有进程选项下面就是你电脑上打开的...
2018-11-15 09:20:55
143
原创 关于Java中split方法注意
split方法用于根据特定字符分离字符串组成数组例如String str = "asd/sssd/aaaa";String[] a = str.split("/");// [asd,sssd,aaaa]但是如果使用“.”截取由于解析问题就会报错，所以如果截取中间包含"."的字符时需要加上转义字符 \String str = "asd.sssd.aaaa";String[] a = ...
2018-10-30 21:36:34
113
原创 内网地址映射成外网可访问地址
在开发的时候，难免需要外网来访问自己电脑上地址，这时候可以使用ngrok来实现映射，他可以把自己本身的127.0.0.1映射成外网可访问地址，下载地址：https://download.csdn.net/download/lihao1107156171/10754283。使用方式：解压到硬盘上，进到该文件夹中，在地址栏敲cmd进入到命令行然后输入ngrok -config=ngrok.cfg ...
2018-10-30 21:32:08
5432
原创 Java学习之函数式接口
Java学习之函数式接口what（是什莫）函数式接口（Function Interface）指的是有且只有一个抽象方法的接口，但是可以有多个非抽象方法。函数接口可以用来支持lambda表达式，lambda表达式作为函数接口中抽象方法的具体实现使用how（怎末做）接口的创建方式和普通接口类似，不同的是只有一个方法interface Tes{ void add();}可以在接口上...
2018-10-10 18:04:18
123
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人