01、分布式基础&项目环境搭建
一、项目简介
1. 项目背景
1.1 电商模式
市面上有 5 种常见的电商模式 B2B、B2C、C2B、C2C、O2O
1) B2B 模式
B2B(Business to Business),是指商家和商家建立的商业关系,如 阿里巴巴
2) B2C 模式
B2C(Business to Consumer) 就是我们经常看到的供应商直接把商品卖给用户,即 “商对客” 模式,也就是通常所说的商业零售,直接面向消费者销售产品和服务,如苏宁易购,京东,天猫,小米商城
3) C2B 模式
C2B (Customer to Business),即消费者对企业。先有消费者需求产生而后有企业生产,即先有消费者提出需求,后有生产企业按需求组织生产
4) C2C 模式
C2C (Customer to Consumer) 客户之间把自己的东西放到网上去卖, 如 :淘宝,闲鱼
5) O2O 模式
O2O(Online To Offline),也即将线下商务的机会与互联网结合在一起,让互联网成为线下交易前台,线上快速支付,线下优质服务,如:饿了吗,美团,淘票票,京东到家
1.2 谷粒商城
谷粒商城是一个 B2C 模式的电商平台,销售自营商品给客户
2. 项目架构图
2.1 项目微服务架构图
2.2 微服务划分图
3. 项目技术&特色
- 前后分离开发,并开发基于 vue 的 后台管理系统
- SpringCloud 全新的解决方案
- 应用监控、限流、网关、熔断降级、等分布式方案,全方位涉及
- 透彻讲解分布式事务,分布式锁等分布式系统的难点
- 压力测试与性能优化
- 各种集群技术的区别以及使用
- CI/CD 使用
- …
4. 项目前置要求
- 熟悉 SpringBoot 以及常见整合方案
- 了解 SpringCloud
- 熟悉 git maven
- 熟悉 linux、redis docker 基本操作
- 了解 html,css,js,vue
- 熟练使用 idea 开发项目
二、分布式基础概念
1. 微服务
微服务架构风格,就像是把一个单独的应用程序开发成一套小服务,每个小服务运行在自己的进程中,并使用轻量级机制通信,通常是 HTTP API。 这些服务围绕业务能力来构建,并通过完全自动化部署机制来独立部署,这些服务使用不同的编程语言书写,以及不同数据存储技术,并保持最低限度的集中式管理
简而言之,拒绝大型单体应用,基于业务边界进行服务拆分,每个服务独立部署运行。
2. 集群&分布式&节点
集群是个物理状态,分布式是个工作方式。
只要是一堆机器,也可以叫做集群,他们是不是一起协作干活,这谁也不知道,
《分布式系统原理与范型》定义:
“分布式系统是若干独立计算机的集合,这些计算机对于用户来说像但各相关系统”
分布式系统 (distributed system) 是建立网络之上的软件系统
分布式是指将不同的业务分布在不同的地方;集群实质是将几台服务器集中在一起,实现同一业务。
例如: 京东是一个分布式系统,众多业务运行在不同的机器上,所有业务构成一个大型的业务集群,每一个小的业务,比如用户系统,访问压力大的时候一台服务器是不够的,我们就应该将用户系统部署到多个服务器,也就是每个一业务系统也可以做集群化。
分布式中的每一个节点,都可以做集群,而集群并不一定就是分布式的
节点:集群中的一个服务器
3. 远程调用
在分布式系统中,各个服务可能处于不同主机,但是服务之间不可避免的需要互相调用,我们称之为远程调用。
SpringCloud 中使用 HTTP+JSON 的方式来完成远程调用
4. 负载均衡
分布式系统中,A 服务需要调用 B 服务,B 服务在多台机器中都存在, A 调用任意一个服务器均可完成功能。为了使每一个服务器都不要太或者太闲,我们可以负载均衡调用每一个服务器,提升网站的健壮性。
常见的负载均衡算法:
轮询:为第一个请求选择键康齿中的每一个后端服务器,然后按顺序往后依次选择,直到最后一个,然后循环。
最小连接:优先选择连接数最少,也就是压力最小的后端服务器,在会话较长的情况下可以考虑采取这种方式。
散列:根据请求源的IP的散列(hash)来选择要转发的服务器。这种方式可以一定程度上保证特定用户能连接到相同的服务器。如果你的应用需要处理状态而要求用户能连接到和之前相同的服务器,可以考虑采用这种方式。
5. 服务注册/发现&注册中心
A 服务调用 B 服务, A 服务不知道 B 服务当前在哪几台服务器上有,哪些正常的,哪些服务已经下线,解决这个问题可以引入注册中心。
如果某些服务下线,我们其他人可以实时的感知到其他服务的状态,从而避免调用不可用的服务。
6. 配置中心
每一个服务最终都有大量配置,并且每个服务都可能部署在多个服务器上,我们经常需要变更配置,我们可以让每个服务在配置中心获取自己的位置。
配置中心用来集中管理微服务的配置信息
7. 服务熔断&服务降级
在微服务架构中,微服务之间通过网络来进行通信,存在相互依赖,当其中一个服务不可用时,有可能会造成雪崩效应。要防止这种情况,必须要有容错机制来保护服务。
1)服务熔断
- 设置服务的超时,当被调用的服务经常失败到达某个阈值,我们可以开启断路保护机制,后来的请求不再去调用这个服务,本地直接返回默认的数据。
2)服务降级
- 在运维期间,当系统处于高峰期,系统资源紧张,我们可以让非核心业务降级运行,降级:某些服务部处理,或者简单处理【抛异常,返回NULL,调用 Mock数据,调用 FallBack 处理逻辑】。
8. API 网关
在微服务架构中,API Gateway 作为整体架构的重要组件,它抽象了微服务中需要的公共功能,同时它提供了客户端负载均衡,服务自动熔断,灰度发布,统一认证,限流监控,日志统计等丰富功能,帮助我们解决很多 API 管理的难题。
三、环境搭建
1. 安装 linux虚拟机
1.1 下载&安装 VirtualBox 6.1.6
- 开启 CPU 虚拟化
- 进入BIOS 【开机黑屏下,F2】
- 开启 CPU 虚拟化
Advanced —— Intel Virtualization Technology改成Enabled- 保存 F10
- CPU 查看【ctrl+alt+delete】
- 下载&安装 VirtualBox【与老师版本不同】
因按照老师版本安装出现bug,因此换了版本
https://www.virtualbox.org/ 【可自行选择安装目录】
下载最新的!!!!
(https://download.virtualbox.org/virtualbox/6.0.10/VirtualBox-6.0.10-132072-Win.exe)【老师课上点的是6.0.12,给的资料是6.0.10】
1.2 下载& 安装 Vagrant 2.2.5
- 下载安装
-官方镜像仓库: https://app.vagrantup.com/boxes/search
-下载网址:https://www.vagrantup.com/downloads.html
-视频版本下载网址:https://releases.hashicorp.com/vagrant/2.2.5/vagrant_2.2.5_x86_64.msi
- 验证是否安装完成
window+R ——cmd
——vagrant
- 更改默认电脑位置
(否则C盘爆满)
- 初始化centos系统
vagrant init centos/7
建议使用镜像源:vagrant init centos7 https://vagrantcloud.com/centos/boxes/7/versions/1905.1/providers/virtualbox.box - 启动虚拟机
vagrant up
, 系统root用户密码:vagrant
启动时出现了问题
解决方法:
1. 进入我的vagrant安装目录E:\gulishop\vagrant(ps:默认安装在c盘的这个目录下,安装时修改了盘符)
2. 修改 E:\gulishop\vagrant\embedded\gems\2.2.6\gems\vagrant-2.2.6\plugins\providers\virtualbox**plugin.rb文件。在61行左右,添加
autoload :Version_6_1, File.expand_path("../driver/version_6_1", __FILE__)
3. 修改 E:\gulishop\vagrant\embedded\gems\2.2.6\gems\ vagrant2.2.6\plugins\providers\virtualbox\driver**meta.rb文件,在66行左右增加
"6.1" => Version_6_1
4. 创建 version_6_1.rb文件(可复制version_6_0.rb,留第一行),内容如下:
require File.expand_path("../version_5_0", __FILE__)
module VagrantPlugins
module ProviderVirtualBox
module Driver
# Driver for VirtualBox 6.1.x
class Version_6_1 < Version_6_0
def initialize(uuid)
super
@logger = Log4r::Logger.new("vagrant::provider::virtualbox_6_1")
end
end
end
end
end
- 启动&连接虚拟机
vagrant up
vagrant ssh
- vagrant其他常用命令
- 连接虚拟机:
vagrant ssh
- 上传文件:
vagrant upload source [destination] [name|id]
- 重启:
vagrant reload
1.3 修改虚拟机ip地址
默认虚拟机的ip 地址不是固定ip 【使用的是网络地址转换(NAT)- 端口转发的方式】,开发不方便
修改 Vagrantfile
config.vm.network “private_network”, ip: “192.168.56.10”
这里 ip 需要在 物理机下使用 ipconfig 命令找到测试网络是否可用【本机+虚拟机】
2. 安装 docker【参考官网】
- Docker 官网安装文档:https://www.docker.com/
https://docs.docker.com/engine/install/centos/ - 菜鸟教程安装文档:https://www.runoob.com/docker/centos-docker-install.html
- docker 镜像仓库: https://hub.docker.com/
2.1 Uninstall old versions
- 卸载系统之前安装的 docker
sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
2.2 Set up the repository
- 安装所需要的依赖包(yum-utils)并设置docker下载地址
Install theyum-utils
package (which provides the yum-config-manager utility) and set up the stable repository.
sudo yum install -y yum-utils
官方源网址【不推荐】
sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
阿里云镜像【推荐】
sudo yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
清华大学镜像【推荐】
$ sudo yum-config-manager \
--add-repo \
https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo
2.3 Install Docker Engine
- 安装docker引擎
- Install the latest version of Docker Engine and containerd, or go to the next step to install a specific version:
sudo yum install docker-ce docker-ce-cli containerd.io
2.4 Start Docker
- 启动Docker
sudo systemctl start docker
- 检查是否正确安装
Verify that Docker Engine is installed correctly by running thehello-world
image.
sudo docker run hello-world
2.5 设置docker开机自启动
sudo systemctl enable docker
- 看Docker是否安装成功
docker version
2.6 设置 Docker 镜像加速
登录 aliyun.com 在控制台找到容器镜像服务
不知是否一样,请自行复制粘贴自己的代码
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://blurcun5.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
3. docker 安装 mysql
3.1 下载镜像文件
sudo docker pull mysql:5.7
3.2 创建实例并启动
设置MySQL账号密码都是root
# --name指定容器名字 -v目录挂载 -p指定端口映射 -e设置mysql参数 -d后台运行
sudo docker run -p 3306:3306 --name mysql \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-v /mydata/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7
-v 将对应文件挂载到主机
-e 初始化对应
-p 容器端口映射到主机的端口
查看docker容器中运行的实例:docker ps
远程连接MySQL,用户名和密码都是:root
· 运行MySQL:docker exec -it mysql /bin/bash
- MySQL 配置
vi /mydata/mysql/conf/my.cnf 创建&修改该文件
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve
重启mysql:docker restart mysql
4. docker 安装 redis
4.1 下载镜像文件
sudo docker pull redis
4.2 创建实例并启动
mkdir -p /mydata/redis/conf
touch /mydata/redis/conf/redis.conf
# 启动 同时 映射到对应文件夹
# 后面 \ 代表换行
docker run -p 6379:6379 --name redis \
-v /mydata/redis/data:/data \
-v /mydata/redis/conf/redis.conf:/etc/redis/redis.conf \
-d redis redis-server /etc/redis/redis.conf
4.3 使用 redis 镜像执行 redis-cli 命令连接
docker exec -it redis redis-cli
- 开启持久化设置
vim /mydata/redis/conf/redis.conf
插入:appendonly yes
- 重启redis:
docker restart redis
4.4 安装Redis可视化界面
Redis Desktop Manager
5 开发环境统一
5.1 Maven
- 配置阿里云镜像
<mirrors>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
</mirrors>
- 配置 jdk 1.8 编译项目
<profiles>
<profile>
<id>jdk-1.8</id>
<activation>
<activeByDefault>true</activeByDefault>
<jdk>1.8</jdk>
</activation>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
</properties>
</profile>
</profiles>
5.2 idea&VsCode
- idea
idea 安装 lombok、mybatisx插件 Translation插件 等等…
Vscode 安装开发必备插件
Vetur ——语法高亮,智能感知 包含格式化功能,Alt+Shift+F (格式化全文) ,Ctrl+K Ctrl+F (格式化选中代码,两个Ctrl需要同时按着)
EsLint 一一 语法纠错
Auto Close Tag 一一 自动闭合HTML/XML标签
Auto Rename Tag 一一 自动完成另-侧标签的同步修改
JavaScript(ES6) code snippets 一一 ES6 语法智能提示以及快速输入,除j外还支持.ts, .jsx, .tsx, .html, .vue;省去了配置其支持各种包含is代码文件的时间
- VsCode
常用插件
5.3 安装配置 git
- 下载git
https://git-scm.com/
- 配置git 进入 git bash
# 配置用户名
git config --global user.name "user.name"
# 配置邮箱
git config --global user.email "username@email.com" # 注册账号使用的邮箱
- 配置 ssh 免密登录
https://github.com/settings/keys
git bash 使用 ssh-keygen -t rsa -C "XXX@xxx.com" 命令 连续三次回车
一般用户目录下都会有
id_rsa 文件
id_rsa.pub 文件
或者 cat ~/.ssh/id_rsa.pub
登录进 github/gitee 设置 SSH KEY
使用 ssh -T git@gitee.com 测试是否成功
6 创建项目微服务
6.1 从gitee初始化一个项目
将之改为开源项目,并在idea中创建
6.2 创建各个微服务项目
商品服务、仓储服务、订单服务、优惠券服务、用户服务(写聚合pom.xml,加子模块,然后clean即可)
共同:
- 每个服务都包含 web、openFeign
- 每一个服务包名 com.xxx.gulimall.xxx(product/ware/order/coupon/member)
- 模块名:gulimall-xxx(product/ware/order/coupon/member)
- 上传到gitee上