hei bai ying
码龄9年
求更新 关注
提问 私信
  • 博客:316,869
    316,869
    总访问量
  • 163
    原创
  • 1,088
    粉丝
  • 33
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:上海市
加入CSDN时间: 2017-03-08
博客简介:

黑白影的博客

博客描述:
《大数据入门指南》离线阅读版,可关注公众号:“程序员星球s” 进行获取!
查看详细资料
个人成就
  • 获得206次点赞
  • 内容获得60次评论
  • 获得884次收藏
  • 代码片获得1,224次分享
  • 博客总排名1,213,886名
创作历程
  • 25篇
    2020年
  • 138篇
    2019年
成就勋章
TA的专栏
  • MySQL
    6篇
  • Java
    4篇
  • MongoDB
    5篇
  • Redis
    4篇
  • spring
    22篇
  • spring boot
    10篇
  • spring cloud
    8篇
  • RabbitMQ
    3篇
  • ZooKeeper
    5篇
  • Kafka
    5篇
  • 随笔
    3篇
  • Hadoop
    8篇
  • Spark
    16篇
  • Storm
    9篇
  • HBase
    11篇
  • Hive
    8篇
  • Scala 编程
    13篇
  • Flume
    3篇
  • Sqoop
    2篇
  • Azkaban
    4篇
  • 开源项目
    1篇
  • 大数据常用软件安装指南
    13篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

创作活动更多

编程达人挑战赛·第3期

作为写代码的你,是否也渴望被更多人看到?技术人员普遍有一个共性——明明技术很强,却没人知道你做了什么;花了很多时间踩坑,却没人因你少走弯路;脑子里有一堆干货,但却不懂如何有效地输出。 在如今写代码的人越来越多的时代,能够清晰表达自己思路与技术的人却少之又少。 因此,我们发起了这个【编程达人挑战赛】——帮助你将代码变成作品,将技术转化为真正的价值,同时激励更多的人坚持写作与分享。 注:活动细则介绍请看此贴:[https://bbs.csdn.net/topics/619791811](https://bbs.csdn.net/topics/619791811)。

82人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

Java 23 种设计模式精讲

软件设计的原则1. 开闭原则定义:软件实体应当对扩展开放,对修改关闭。2. 里氏替换原则定义:继承必须保证超类所拥有的性质在子类中仍然成立。即子类在继承父类时,除了添加新的方法来新增功能外,尽量避免重写父类方法,因为这会导致整个继承体系的复用性变差。3. 依赖倒置原则定义:高层模块不应该依赖低层模块,两者都应该依赖其抽象;抽象不应该依赖细节,细节应该依赖抽象。其核心思想是要面向接口编程...
原创
博文更新于 2021.04.21 ·
1126 阅读 ·
2 点赞 ·
0 评论 ·
8 收藏

Spark —— 高可用集群搭建

一、集群规划这里搭建一个3节点的Spark集群,其中三台主机上均部署Worker服务。同时为了保证高可用,除了在hadoop001上部署主Master服务外,还在hadoop002和hadoop003上分别部署备用的Master服务,Master服务由Zookeeper集群进行协调管理,如果主Master不可用,则备用Master会成为新的主Master。 二、前置条件搭建Spark集群...
原创
博文更新于 2020.06.24 ·
531 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

HBase —— 单机环境搭建

一、安装前置条件说明1.1 JDK版本说明HBase 需要依赖JDK环境,同时HBase 2.0+ 以上版本不再支持JDK 1.7 ,需要安装JDK 1.8+ 。JDK 安装方式见本仓库:Linux环境下JDK安装1.2 Standalone模式和伪集群模式的区别在Standalone模式下,所有守护进程都运行在一个jvm进程/实例中;在伪分布模式下,HBase仍然在单个主机上运...
原创
博文更新于 2020.06.24 ·
680 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

spring cloud 系列第5篇 —— hystrix+turbine 服务的熔断与监控 (F版本)

源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、hystrix 简介1.1 熔断器在分布式系统中,由于服务之间相互的依赖调用,如果一个服务单元发生了故障就有可能导致故障蔓延至整个系统,从而衍生出一系列的保护机制,断路器就是其中之一。断路器可以在服务单元发生故障的时候,及时切断与服务单元的连接,避免资源被长时间占...
原创
博文更新于 2020.06.24 ·
1065 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Hive 系列(五)—— Hive 分区表和分桶表

一、分区表1.1 概念Hive中的表对应为HDFS上的指定目录,在查询数据时候,默认会对全表进行扫描,这样时间和性能的消耗都非常大。分区为HDFS上表目录的子目录,数据按照分区存储在子目录中。如果查询的where字句的中包含分区条件,则直接从该分区去查找,而不是扫描整个表目录,合理的分区设计可以极大提高查询速度和性能。这里说明一下分区表并Hive独有的概念,实际上这个概念非常常见。比如在...
原创
博文更新于 2020.06.23 ·
1066 阅读 ·
0 点赞 ·
1 评论 ·
5 收藏

Kafka 系列(五)—— 深入理解Kafka副本机制

一、Kafka集群Kafka使用Zookeeper来维护集群成员(brokers)的信息。每个broker都有一个唯一标识broker.id,用于标识自己在集群中的身份,可以在配置文件server.properties中进行配置,或者由程序自动生成。下面是Kafka brokers集群自动创建的过程:每一个broker启动的时候,它会在Zookeeper的/brokers/ids路径下创建一...
原创
博文更新于 2020.06.23 ·
1008 阅读 ·
1 点赞 ·
0 评论 ·
4 收藏

spring cloud 系列第2篇 —— eureka 高可用注册中心的搭建 (F版本)

源码仓库地址:https://github.com/heibaiying/spring-samples-for-all一、项目结构eureka-server为服务注册中心,负责服务的管理;eureka-client 为eureka客户端; 二、三步搭建eureka 高可用注册中心这里我们以单机伪集群的方式搭建,让三个单机注册中心互相注册,实现注册中心的高可用。配置示意图如下: ...
原创
博文更新于 2020.06.24 ·
403 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Sqoop 的基本使用

目录一、Sqoop 基本命令1. 查看所有命令2. 查看某条命令的具体使用方法二、Sqoop 与 MySQL1. 查询MySQL所有数据库2. 查询指定数据库中所有数据表三、Sqoop 与 HDFS3.1 MySQL数据导入到HDFS1. 导入命令2. 导入验证3.2 HDFS数据导出到MySQL四、Sqoop 与 Hive4.1 MySQL数据导入到Hive1. 导入命令2. 导入验证3. 可能...
原创
博文更新于 2020.06.23 ·
1031 阅读 ·
1 点赞 ·
0 评论 ·
9 收藏

Azkaban 系列(一)—— Azkaban 简介

一、Azkaban 介绍1.1 背景一个完整的大数据分析系统,必然由很多任务单元(如数据收集、数据清洗、数据存储、数据分析等)组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题:如何定时调度某个任务?如何在某个任务执行完成后再去执行另一个任务?如何在任务失败时候发出预警?…面对这些问题,工作流调度系统应运而生。Azkaban就是其中之一。1...
原创
博文更新于 2020.06.23 ·
851 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

spring 5.x 系列第22篇 —— spring 定时任务 (代码配置方式)

源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、说明1.1 项目结构说明关于任务的调度配置定义在ServletConfig.java中,为方便观察项目定时执行的情况,项目以web的方式构建。 1.2 依赖说明导入基本依赖<?xml version="1.0" encoding="UTF-8"?&am
原创
博文更新于 2020.06.24 ·
917 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

spring 5.x 系列第21篇 —— spring 定时任务 (xml配置方式)

源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、说明1.1 项目结构说明关于任务的调度配置定义在springApplication.xml中,为方便观察项目定时执行的情况,项目以web的方式构建。 1.2 依赖说明导入基本依赖<?xml version="1.0" encoding="UTF-
原创
博文更新于 2020.06.24 ·
1490 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

spring 5.x 系列第20篇 ——spring简单邮件、附件邮件、内嵌资源邮件、模板邮件发送 (代码配置方式)

文章目录一、说明1.1 项目结构说明1.2 依赖说明二、spring email2.1 邮件发送配置2.2 新建邮件发送基本类2.3 邮件发送的测试源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、说明1.1 项目结构说明邮件发送配置类为com.heibaiying.config下EmailConfig.jav...
原创
博文更新于 2020.06.24 ·
2092 阅读 ·
2 点赞 ·
4 评论 ·
0 收藏

spring 5.x 系列第19篇 ——spring简单邮件、附件邮件、内嵌资源邮件、模板邮件发送 (xml配置方式)

文章目录一、说明1.1 项目结构说明1.2 依赖说明二、spring email2.1 邮件发送配置2.2 新建邮件发送基本类2.3 邮件发送的测试源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、说明1.1 项目结构说明邮件发送配置文件为springApplication.xml;简单邮件发送、附件邮件发送...
原创
博文更新于 2020.06.24 ·
2455 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

spring 5.x 系列第18篇 —— 整合websocket (代码配置方式)

源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、说明1.1 项目结构说明项目模拟一个简单的群聊功能,为区分不同的聊天客户端,登录时候将临时用户名存储在session当中;webconfig 包是基础注解的方式配置web,在spring-base-annotation项目中已经讲解过每个类作用;CustomH...
原创
博文更新于 2020.06.24 ·
1670 阅读 ·
0 点赞 ·
1 评论 ·
4 收藏

spring 5.x 系列第17篇 —— 整合websocket (xml配置方式)

源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、说明1.1 项目结构说明项目模拟一个简单的群聊功能,为区分不同的聊天客户端,登录时候将临时用户名存储在session当中;CustomHander为消息的自定义处理器;CustomHandershakerInterceptor为自定义的 websocket 的...
原创
博文更新于 2020.06.24 ·
2599 阅读 ·
0 点赞 ·
0 评论 ·
6 收藏

spring 5.x 系列第16篇 —— 整合dubbo (代码配置方式)

文章目录一、 项目结构说明二、项目依赖三、公共模块(dubbo-ano-common)四、 服务提供者(dubbo-ano-provider)4.1 提供方配置4.2 使用注解@Service暴露服务五、服务消费者(dubbo-ano-consumer)1.消费方的配置2.使用注解@Reference引用远程服务六、项目构建的说明七、关于dubbo新版本管理控制台的安装说明源码Gitub地址:...
原创
博文更新于 2020.06.24 ·
999 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

spring 5.x 系列第15篇 —— 整合dubbo (xml配置方式)

文章目录一、 项目结构说明二、项目依赖三、公共模块(dubbo-common)四、 服务提供者(dubbo-provider)4.1 productService是服务的提供者( 商品数据用模拟数据展示)4.2 在dubbo.xml暴露服务五、服务消费者(dubbo-consumer)1.在dubbo.xml调用远程的服务2.消费服务六、项目构建的说明七、关于dubbo新版本管理控制台的安装说明...
原创
博文更新于 2020.06.24 ·
706 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

spring 5.x 系列第14篇 —— 整合RabbitMQ (代码配置方式)

文章目录一、说明1.1 项目结构说明1.2 依赖说明二、spring rabbit 基本配置2.1 基本配置属性及其映射类2.2 创建连接工厂、管理器三、简单消费的发送3.1 声明交换机、队列、绑定关系和消费者监听器3.2 测试简单消息的发送四、传输对象4.1 创建消息的委托处理器4.2 声明交换机、队列、绑定关系和消费者监听器4.3 测试对象消息的发送源码Gitub地址:https://git...
原创
博文更新于 2020.06.24 ·
851 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

spring 5.x 系列第13篇 —— 整合RabbitMQ (xml配置方式)

文章目录一、说明1.1 项目结构说明1.2 依赖说明二、spring rabbit 基本配置三、简单消费的发送3.1 声明交换机、队列、绑定关系和消费者监听器3.2 测试简单消息的发送四、传输对象4.1 创建消息的委托处理器4.2 声明交换机、队列、绑定关系和消费者监听器4.3 测试对象消息的发送源码Gitub地址:https://github.com/heibaiying/spring-sam...
原创
博文更新于 2020.06.24 ·
5153 阅读 ·
1 点赞 ·
0 评论 ·
9 收藏

spring 5.x 系列第12篇 —— 整合memcached (代码配置方式)

文章目录一、说明1.1 XMemcached客户端说明1.2 项目结构说明1.3 依赖说明二、spring 整合 memcached2.1 单机配置2.2 集群配置2.3 存储基本类型测试用例2.5 存储实体对象测试用例附:memcached 基本命令源码Gitub地址:https://github.com/heibaiying/spring-samples-for-all一、说明1.1 ...
原创
博文更新于 2020.06.24 ·
292 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多