项目部署的相关概念
关于部署流程，主要包含以下两个方面：部署方案、部署环境：
部署方案
1. 分析项目的产品需求文档，定好部署方案的方向 2. 分析项目开发文档，按照功能边界，设计部署的结点 3. 分析项目功能软件，合理的取舍，选符合当前业务场景的 4. 梳理项目部署涉及到的部署软件实现方案，根据上面第2点确定的结点，确定初版部署方案 5. 根据项目实际情况，调整优化并确定项目部署方案
部署环境
个人开发环境：
工作人员：自己 工作平台：个人笔记本、公司配的电脑 平台特点：环境是自己配的，团队中不同的个人开发环境可以不一样 工作内容：项目的子模块，子功能 完成标准：完成领导安排的内容[项目的功能子模块开发]
公司开发环境：
工作人员：开发团队 工作平台：公司内部服务器 平台特点：服务器环境和线上的服务器环境完全一致 工作内容：项目子模块间的功能联调 完成标准：项目阶段开发、调试完成
项目测试环境：
工作人员：测试团队 工作平台：公司内部服务器 平台特点：服务器环境和线上的服务器环境完全一致 工作内容：项目功能/非功能/探索等测试 完成标准：项目阶段功能正常运行
项目预发布环境：
工作人员：运维团队 工作平台：公司线上服务器组中的一台 平台特点：服务器环境和线上的服务器环境完全一致 工作内容：特殊功能测试(比如支付)、数据压力测试、其他安全测试等 完成标准：项目阶段功能正常运行，最后一道防线
项目生产环境：
工作人员：运维团队 工作平台：公司线上服务器组 平台特点：标准线上的服务器环境 工作内容：代码部署和维护、记录内部架构文档 完成标准：项目正常运行
项目整体架构
服务器部署
服务器数量： 1000QPS 每秒请求数
服务器类型：物理服务器，云服务器
并发瓶颈：
1. 带宽：200M/10K 2. 处理并发的能力 3. 数据库查询能力：mysql 1000次/S
可以使用apache ab工具进行压测
前端项目部署
之前我们的开发并没有把项目上传到码云上面，所以我们接下来我们先创建一个码云仓库。
git remote add origin https://gitee.com/mooluo/luffyproject_pc.git git add . git commit -m "项目完成" git push orgin master
自动化程序会将打包的文件自动生成到项目的dist文件夹中。
npm run build
注意，编译的文件，必须要通过http协议才能访问到，直接点击index.html，是无法访问的。
因为根据我们上面的部署方案，我们需要安装nginx来运行这个项目。
后端项目部署
使用docker进行容器化管理进行持续集成部署
更新ubuntu的apt源索引
sudo apt-get update
安装包允许apt通过HTTPS使用仓库
sudo dpkg --configure -a sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
添加Docker官方GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
设置Docker稳定版仓库
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
添加仓库后，更新apt源索引
sudo apt-get update
安装最新版Docker CE（社区版）
sudo apt-get install docker-ce
检查Docker CE是否安装正确
sudo docker run hello-world
2. 启动与停止
安装完成Docker后，默认已经启动了docker服务，如需手动控制docker服务的启停，可执行如下命令
# 启动docker sudo service docker start # 停止docker sudo service docker stop # 重启docker sudo service docker restart # 列出镜像 docker image ls # 拉取镜像 docker image pull library/hello-world # 删除镜像 docker image rm 镜像id/镜像ID # 创建容器 docker run [选项参数] 镜像名 [命令] # 停止一个已经在运行的容器 docker container stop 容器名或容器id # 启动一个已经停止的容器 docker container start 容器名或容器id # kill掉一个已经在运行的容器 docker container kill 容器名或容器id # 删除容器 docker container rm 容器名或容器id
把前端项目通过nginx容器来运行
# 在docker中下载nginx镜像 docker image pull nginx # 使用git把码云上面的编译过的vue项目克隆到服务器/home # 阿里云服务器中，我们从码云克隆下来的前端项目: /home/luffyproject_pc/dist git clone 项目git地址 # 创建nginx容器，并以80端口对外提供服务 docker run -itd -p 80:80 -v /home/luffyproject_pc/dist:/usr/share/nginx/html nginx # 启动nginx容器中的nginx【容器ID通过docker container ls --all可以查看到】 docker container exec -itd [容器ID] nginx """ /etc/nginx # nginx容器中nginx的配置目录 /usr/share/nginx/html # nginx容器中www目录 """
Nginx+uwsgi
Nginx是一款基于异步框架的轻量级/高性能的Web 服务器/反向代理服务器/缓存服务器/电子邮件(IMAP/POP3)代理服务器，并在一个BSD-like协议下发行。由俄罗斯的程序设计师Igor Sysoev(伊戈尔·赛索耶夫)所开发，最初供俄国大型网站Rambler.ru及搜寻引擎Rambler使用。
后端项目部署到docker容器中
在项目中复制开发配置文件dev.py 到生产配置prod.py
修改配置中的地址相关即可。
"""
Django settings for luffy project.
Generated by 'django-admin startproject' using Django 2.2.1.
For more information on this file, see
https://docs.djangoproject.com/en/2.2/topics/settings/
For the full list of settings and their values, see
https://docs.djangoproject.com/en/2.2/ref/settings/
"""
import os
# Build paths inside the project like this: os.path.join(BASE_DIR, ...)
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
# 新增一个系统导包路径
import sys
sys.path.insert(0,os.path.join(BASE_DIR,"apps"))
# Quick-start development settings - unsuitable for production
# See https://docs.djangoproject.com/en/2.2/howto/deployment/checklist/
# SECURITY WARNING: keep the secret key used in production secret!
SECRET_KEY = '!!t0^(#x0l@!pp6@^!0u5lyq+4ctyui)sxmsc4*r7644@(4uh@'
# SECURITY WARNING: don't run with debug turned on in production!
DEBUG = False
ALLOWED_HOSTS = [
'luffy.pythonyuan.com',
'api.pythonyuan.com',
]
# CORS组的配置信息
CORS_ORIGIN_WHITELIST = (
'luffy.pythonyuan.com:80',
)
# 允许ajax跨域请求时携带cookie
CORS_ALLOW_CREDENTIALS = True
# Application definition
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
# cors跨域组件
'corsheaders',
'rest_framework',
'xadmin',
'crispy_forms',
'reversion',
'django_filters',
'ckeditor', # 富文本编辑器
'ckeditor_uploader', # 富文本编辑器上传图片模块
# 子应用
'home',
'users',
'courses',
'cart',
'orders',
'coupon',
'payments',
]
MIDDLEWARE = [
'corsheaders.middleware.CorsMiddleware',
'django.middleware.security.SecurityMiddleware',
'django.contrib.sessions.middleware.SessionMiddleware',
'django.middleware.common.CommonMiddleware',
'django.middleware.csrf.CsrfViewMiddleware',
'django.contrib.auth.middleware.AuthenticationMiddleware',
'django.contrib.messages.middleware.MessageMiddleware',
'django.middleware.clickjacking.XFrameOptionsMiddleware',
]
ROOT_URLCONF = 'luffy.urls'
TEMPLATES = [
{
'BACKEND': 'django.template.backends.django.DjangoTemplates',
'DIRS': [],
'APP_DIRS': True,
'OPTIONS': {
'context_processors': [
'django.template.context_processors.debug',
'django.template.context_processors.request',
'django.contrib.auth.context_processors.auth',
'django.contrib.messages.context_processors.messages',
],
},
},
]
WSGI_APPLICATION = 'luffy.wsgi.application'
"""
自定义用户模型类
配置有两项注意的地方:
1. 值的格式只能接收两段写法, 必须是 '子应用目录名.模型类名'
2. AUTH_USER_MODEL参数的设置一定要在第一次数据库迁移之前就设置好，
否则后续使用可能出现未知错误。
"""
AUTH_USER_MODEL = 'users.User'
# Database
# https://docs.djangoproject.com/en/2.2/ref/settings/#databases
DATABASES = {
# 默认数据库
"default": {
"ENGINE": "django.db.backends.mysql",
"HOST": "127.0.0.1",
"PORT": 3306,
"USER": "luffy_user",
"PASSWORD": "luffy",
"NAME": "luffycity",
}
}
# 缓存配置
CACHES = {
"default":{
"BACKEND": "django_redis.cache.RedisCache",
# 项目上线时,需要调整这里的路径
"LOCATION": "redis://127.0.0.1:6379/0",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
"session": {
"BACKEND": "django_redis.cache.RedisCache",
# 项目上线时,需要调整这里的路径
"LOCATION": "redis://127.0.0.1:6379/1",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
# 提供存储短信验证码
"sms_code": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379/2",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
# 提供存储购物车相关信息
"cart": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379/3",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
}
# 设置xadmin用户登录时,登录信息session保存到redis
SESSION_ENGINE = "django.contrib.sessions.backends.cache"
SESSION_CACHE_ALIAS = "session"
# Password validation
# https://docs.djangoproject.com/en/2.2/ref/settings/#auth-password-validators
AUTH_PASSWORD_VALIDATORS = [
{
'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
},
]
# Internationalization
# https://docs.djangoproject.com/en/2.2/topics/i18n/
LANGUAGE_CODE = 'zh-hans'
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
USE_TZ = False
# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/2.2/howto/static-files/
# 访问静态文件的url地址前缀
STATIC_URL = '/static/'
# 设置django的静态文件目录
STATICFILES_DIRS = [
os.path.join(BASE_DIR,"luffy/statics")
]
STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), 'static')
# 项目中存储上传文件的根目录[暂时配置]，注意，static目录需要手动创建否则上传文件时报错
MEDIA_ROOT=os.path.join(BASE_DIR,"luffy/statics")
# 访问上传文件的url地址前缀
MEDIA_URL ="/media/"
# 日志配置
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'verbose': {
'format': '%(levelname)s %(asctime)s %(module)s %(lineno)d %(message)s'
},
'simple': {
'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
},
},
'filters': {
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue',
},
},
'handlers': {
'console': {
'level': 'DEBUG',
'filters': ['require_debug_true'],
'class': 'logging.StreamHandler',
'formatter': 'simple'
},
'file': {
'level': 'INFO',
'class': 'logging.handlers.RotatingFileHandler',
# 日志位置,日志文件名,日志保存目录必须手动创建
'filename': os.path.join(os.path.dirname(BASE_DIR), "logs/luffy.log"),
# 日志文件的最大值,这里我们设置300M
'maxBytes': 300 * 1024 * 1024,
# 日志文件的数量,设置最大日志数量为10
'backupCount': 10,
# 日志格式:详细格式
'formatter': 'verbose'
},
},
# 日志对象
'loggers': {
'django': {
'handlers': ['console', 'file'],
'propagate': True, # 是否让日志信息继续冒泡给其他的日志处理系统
},
}
}
REST_FRAMEWORK = {
# 异常处理
'EXCEPTION_HANDLER': 'luffy.utils.exceptions.custom_exception_handler',
# 配置用户认证方式
'DEFAULT_AUTHENTICATION_CLASSES': (
'rest_framework_jwt.authentication.JSONWebTokenAuthentication',
'rest_framework.authentication.SessionAuthentication',
'rest_framework.authentication.BasicAuthentication',
),
}
import datetime
JWT_AUTH = {
# 配置jwt的有效期
'JWT_EXPIRATION_DELTA': datetime.timedelta(days=1),
# 设置jwt登录视图的返回值
'JWT_RESPONSE_PAYLOAD_HANDLER': 'users.utils.jwt_response_payload_handler',
}
# 配置django的认证类功能,增加手机号登录
AUTHENTICATION_BACKENDS = [
'users.utils.UsernameMobileAuthBackend',
]
# 极验验证码配置
PC_GEETEST_ID = '5f4ab1914455506edffaffd4da37fea5'
PC_GEETEST_KEY ='460e13a49d687e5e44e25c383f0473a6'
# 短信配置
# 主账号
SMS_ACCOUNTSID = '8a216da86ab0b4d2016ab3e05fe400b1'
# 主账号Token
SMS_ACCOUNTTOKEN = '5f0ba4296bbb4e248aa77253ccfe0b31'
# 创建应用的APPID
SMS_APPID = '8a216da86ab0b4d2016ab3e0603900b7'
# 说明：请求地址，生产环境配置成app.cloopen.com
SMS_SERVERIP = 'sandboxapp.cloopen.com'
# 富文本编辑器ckeditor配置
CKEDITOR_CONFIGS = {
'default': {
'toolbar': 'full', # 工具条功能
'height': 300, # 编辑器高度
# 'width': 300, # 编辑器宽
'language':'zh-hans',
},
}
CKEDITOR_UPLOAD_PATH = '' # 上传图片保存路径，留空则调用django的文件上传功能
# 保利威视频加密服务
POLYV_CONFIG = {
"userId":"62dc475e3f",
"secretkey":"h6FiaEBRMU",
"servicesUrl":"https://hls.videocc.net/service/v1/token",
}
# 支付宝电脑网站支付配置信息
ALIPAY_APPID = "2016091600523592"
APP_NOTIFY_URL = None
ALIPAY_DEBUG = True
# APIPAY_GATEWAY="https://openapi.alipay.com/gateway.do"
APIPAY_GATEWAY="https://openapi.alipaydev.com/gateway.do"
# 客户端接受get回调支付结果
ALIPAY_RETURN_URL = "http://luffy.pythonyuan.com/success"
# 服务端接受post回调支付结果
ALIPAY_NOTIFY_URL = "http://api.pythonyuan.com:8000/payments/success"
上线前先收集静态文件
当Django运行在生产环境中，我们会关闭debug调试，那么项目将不再提供静态文件的支持，需要将静态文件交给静态文件的nginx服务器来提供访问。
我们先收集所有静态文件。项目中的静态文件除了我们使用的上传文件之外，django本身还有自己的静态文件，如rest_framework、xadmin、admin、ckeditor等。我们需要收集这些静态文件，集中一起放到静态文件服务器中。
我们要将收集的静态文件放到项目的static目录中，所以先创建目录static。
Django提供了收集静态文件的方法。先在配置文件中配置收集之后存放的目录
settings/prop.py，代码：
STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), 'static')
然后执行收集命令
python manage.py collectstatic
django的程序通常使用uwsgi服务器来运行
修改wsgi.py文件
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffy.settings.prop')我们可以在本地环境中先安装uwsgi模块进行使用，然后成功了再上传到服务器中。
pip install uwsgi uwsgi --version # 查看 uwsgi 版本
在项目根目录下创建uwsgi配置文件uwsgi.ini
[uwsgi] #使用nginx连接时使用，Django程序所在服务器地址 socket=127.0.0.1:8000 #直接做web服务器使用，Django程序所在服务器地址 #http=127.0.0.1:8000 #项目目录 chdir=/Home/moluo/luffycity #项目中wsgi.py文件的目录，相对于项目目录 wsgi-file=luffycity/wsgi.py # 进程数 processes=4 # 线程数 threads=2 # uwsgi服务器的角色 master=True # 存放进程编号的文件 pidfile=uwsgi.pid # 日志文件，因为uwsgi可以脱离终端在后台运行，日志看不见。我们以前的runserver是依赖终端的 daemonize=uwsgi.log # 指定依赖的虚拟环境 virtualenv=/Home/moluo/.virtualenv/luffycity
启动uwsgi服务器，必须在uwsgi配置文件中运行下面的命令
注意，在本地环境中必须先把runserver关闭
uwsgi --ini uwsgi.ini
停止uwsgi服务器，还可以通过使用kill命令停止
uwsgi --stop uwsgi.pid
把django项目上传部署到服务器并使用uwsgi服务器运行
导出当前虚拟环境中的模块包列表
pip freeze > requirements.txt
在服务器中使用git拉取最新的项目内容。
cd /home/luffyproject git pull
安装基本虚拟环境[直接把项目运行在服务器中，不在容器里面]
# 安装python3的pip工具 apt install python3-pip # 使用pip安装虚拟环境 pip3 install virtualenv pip3 install virtualenvwrapper # 配置虚拟环境的环境变量 # 执行命令 mkdir $HOME/.virtualenvs # 执行命令，打开并编辑 ~/.bashrc vim ~/.bashrc # 文件末尾添加以下几行代码，:wq 保存退出。 export WORKON_HOME=$HOME/.virtualenvs export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3 source /usr/local/bin/virtualenvwrapper.sh # 刷新配置文件 source ~/.bashrc # 创建虚拟环境 mkvirtualenv luffyproject -p python3 # 在虚拟环境中同步之前的个人开发环境中安装包列表 requirements.txt cd /home/luffyproject/docs pip install -r requirements.txt -i https://pypi.douban.com/simple # 项目中有些包是之前使用下载包方式安装的，则这里需要我们手动安装 # 例如：xadmin pip install https://codeload.github.com/sshwsfc/xadmin/zip/django2 # 安装完成这些手动安装的包以后，我们再次执行上面的命令 pip install -r requirements.txt -i https://pypi.douban.com/simple # 经过上面的步骤，我们直接切到uwsgi.ini所在目录下，运行项目 uwsgi --ini uwsgi.ini # 我们会发现上面命令运行不起来，原因是我们的本地模块包是从新安装的，之前有修改过，所以需要调整。同时因为我们之前已经在项目中使用到了redis和mysql # 因此我们需要在docker中下载redis和mysql的容器 docker pull redis docker pull mysql # 创建redis容器并运行redis docker container run -itd -p6379:6379 redis # 创建mysql容器并启动mysql docker container run -itd -p3306:3306 -e MYSQL_ROOT_PASSWORD=luffy mysql # 接下来远程在本地环境中导出当前项目的数据库，并导入到服务器中的数据库中 # 1. 本地导出数据 cd ~/Desktop/luffy/docs/ mysqldump -uroot -p123 luffycity>./luffycity.sql # 本地数据库账号 # 2. 在服务器中创建数据和数据库用户 mysql -uroot -pluffy -h47.112.204.45 # 本地登陆线上的mysql数据库 > create database luffycity charset=utf8mb4; > create user luffy_user identified by 'luffy'; > grant all privileges on luffycity.* to 'luffy_user'@'%'; > flush privileges; > exit # 3. 退出服务器数据库终端，使用以下命令导入数据库 cd ~/Desktop/luffy/docs/ mysql -uroot -pluffy -h47.112.204.45 luffycity < ./luffycity.sql # 4. 继续使用manage.py运行django项目，修改数据库的decode错误以后，就正常运行。 # 5. 使用uwsgi来运行django项目 uwsgi --ini uwsgi.ini # 新的配置信息 uwsgi.ini [uwsgi] #使用nginx连接时使用，Django程序所在服务器地址 ;socket=127.0.0.1:8000 #直接单独做web服务器使用，Django程序所在服务器地址 http=0.0.0.0:8000 # 项目根目录 chdir=/home/luffyproject #项目中wsgi.py文件的目录，相对于项目目录 wsgi-file=luffy/wsgi.py # 进程数 processes=4 # 线程数 threads=2 # uwsgi服务器的角色 master=True # 存放进程编号的文件 pidfile=uwsgi.pid # 日志文件，因为uwsgi可以脱离终端在后台运行，日志看不见。我们以前的runserver是依赖终端的 daemonize=uwsgi.log # 指定依赖的虚拟环境 virtualenv=/root/.virtualenvs/luffyproject
接下来，我们就可以使用nginx对uwsgi进行反向代理
我们直接在服务器安装一个nginx，不再使用容器.
sudo apt-get install nginx
修改Nginx配置文件，让Nginx接收到请求后转发给uwsgi服务器
upstream luffy {
server 10.211.55.2:8000;
}
#gzip on;
server {
listen 8000;
server_name api.luffycity.com;
location / {
include uwsgi_params;
uwsgi_pass luffy;
}
}
server {
listen 80;
server_name www.luffycity.com;
#charset koi8-r;
#access_log logs/host.access.log main;
location /xadmin {
include uwsgi_params;
uwsgi_pass luffy;
}
location /ckeditor {
include uwsgi_params;
uwsgi_pass luffy;
}
# 前端
location / {
root /home/Home/luffycity;
index index.html index.htm;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}重启nginx
service nginx restart
我们使用Nginx服务器作为静态文件服务器，打开Nginx容器的配置文件，修改配置：
sudo vim /etc/nginx/sites-available/default
在server部分中配置
server {
listen 80;
server_name luffy.pythonyuan.com;
location /static {
root /home/luffyproject_pc/static;
index index.html index.htm;
}
....
}
重启Nginx服务器
service nginx restart
启动nginx服务器
service nginx start
停止nginx服务器
service nginx stop
版权声明：本文为weixin_42127687原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。