系统集成系统服务器的配置,系统集成部署

一．准备工作

①

确认服务器、网络设备等数量及配置清单。

②

跟IDC提供商(一般为移动)确认机柜位置、机柜提供电力、机柜高度。

③

根据业务及机柜条件规划服务器位置。

④

根据业务需求，申请IP地址，制作防火墙策略。

⑤

IP地址、主机名规划，远程管理规划，制作机房拓扑图。

⑥

制作服务器列表。

二．硬件工作

①

依照机房拓扑图对服务器、网络设备等进行上架。

②

网线、电源线部署

三．软件工作：

①

配置远程管理卡：(适用于DELL R720)

idrac默认设置:

username=root

密码=calvin

IP地址=192.168.0.120

根据规划修改管理地址和密码

统计网卡MAC地址，制作MAC地址表

②

组RAID：(适用于DELL R720)

启动过程中按CTRL+R进入配置界面

选择最顶端按F2，进行删除，对不能正确识别硬盘的机器使用CTRL+P操作

重新组RAID，选择硬盘

磁盘初始化

③

超云启动中CTRL+H(组RAID)

四．配置交换机网络

五．装一台机器系统，安装自动化部署软件cobbler

六．批量安装操作系统

配置好cobbler后只需要重启需要安装系统的机器就行。

备注：需要在配置脚本中写入IP，主机名等初始化数据。

七．更新系统软件

yum update –y

八．检查主机名，磁盘分区，SWAP大小，网卡地址

① hostname

② fdisk

–l，

df –h

④

free

–m

⑤

cat

/etc/sysconfig/network-scripts/ifcfg-eth0 有时候网卡是em1

九．挂载sdb卷(如果有sdb的话)

①

parted /dev/sdb可以输入p打印磁盘信息，查看分区的情况，找到起始和结束位置。

②

mklabel gpt

设置分区类型为gpt

③

mkpart primary 0% 100%

primary指分区类型为主分区，0是分区开始位置，100%是分区结束位置。相同的命令为：mkpart primary 0-1或者是：mkpart primary 0 XXXXXX结束的空间

④

打印当前分区,查看分区设置是否正确

⑤

quit完成后用quit命令退出。

⑥

mkfs.ext4 /dev/sdb1

格式化磁盘。如果支持EXT4可选择格式化为EXT4，格式化成ext3的时候又出现问题。Ext3默认的block size的大小为4k,最大只能支持8T的空间。格式化时指定block size的大小为8K这样最大可以支持16T的空间。相应命令：mkfs.ext3 -b 8192 /dev/sdb2

挂载到/data目录下

当在系统里创建了一个新的分区后，因为mount挂载在重启服务后会失效，所以需要将分区信息写到/etc/fstab文件中让其永久挂载，/dev/sdb1 /data ext4 defaults 0 0保存退出，重启后/dev/sdb1就会自动挂载到/data目录下

十．网卡绑定bound 0

① echo "alias

netdev-bond0 bonding" >/etc/modprobe.d/bonding.conf

网卡绑定前需要执行这个命令，以此来添加服务器启动时加载的模块。

②修改新建网卡绑定bond0配置文件

vim

/etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

TYPE=Ethernet

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

USERCTL=no

PEERDNS=yes

IPV6INIT=no

IPADDR=172.17.98.11

NETMASK=255.255.255.192

BROADCAST=172.17.98.63

GATEWAY=172.17.98.1

BONDING_OPTS="miimon=80 mode=6 lacp_rate=1"

miimon 是链路监测的时间间隔单位是毫秒，miimon=80的意思就是每80ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路。

mode=0 表示负载均衡方式，两块网卡都工作，需要交换机作支持

mode=1 表示冗余方式，网卡只有一个工作，一个出问题启用另外的

mode=6 表示负载均衡方式，两块网卡都工作，不需要交换机作支持

③

修改网卡配置

cat

/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=static

USERCTL=no

MASTER=bond0

SLAVE=yes

cat

/etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=static

USERCTL=no

MASTER=bond0

SLAVE=yes

cat

/etc/sysconfig/network-scripts/ifcfg-eth2

DEVICE=eth2

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=static

USERCTL=no

MASTER=bond0

SLAVE=yes

cat

/etc/sysconfig/network-scripts/ifcfg-eth3

DEVICE=eth3

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=static

USERCTL=no

MASTER=bond0

SLAVE=yes

重启机器，确认网卡信息。

十一. 初始化

安装基础包

yum -y update

yum -y install lsb wget ruby

ruby-lib ruby-rdoc gcc screen lrzsz unzip

确认系统信息

系统版本：lsb_release -a

64位系统检测：uname –i

设置初始化信息

ulimit文件描述符

echo "ulimit -SHn 102400"

>> /etc/rc.local

cat >>

/etc/security/limits.conf << EOF

* soft nofile 65535

* hard nofile 65535

EOF

ntp时钟同步&设置本机时区为上海

echo "*/10 * * * *

/usr/sbin/ntpdate ntp.api.bz cn.pool.ntp.org >/dev/null

2>&1" >>/var/spool/cron/root

rm -rf

/etc/localtime

ln -s

/usr/share/zoneinfo/Asia/Shanghai /etc/localtime

disable

selinux

sed -i

's/SELINUX=enforcing/SELINUX=disabled/'

/etc/selinux/config

修改ssh端口

sed -i 's/^GSSAPIAuthentication

yes$/GSSAPIAuthentication no/' /etc/ssh/sshd_config

sed -i 's/#UseDNS yes/UseDNS

no/' /etc/ssh/sshd_config

sed -i 's/#Port 22/Port 65522/'

/etc/ssh/sshd_config

service sshd restart

内核参数修改

cat > /etc/sysctl.conf <<

EOF

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter =

net.ipv4.conf.default.accept_source_route

= 0

kernel.sysrq = 0

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.shmmax = 68719476736

kernel.shmall = 4294967296

net.ipv4.tcp_max_tw_buckets =

6000

net.ipv4.tcp_sack = 1

net.ipv4.tcp_window_scaling = 1

net.ipv4.tcp_rmem = 4096 87380

4194304

net.ipv4.tcp_wmem = 4096 16384

4194304

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

net.core.netdev_max_backlog =

500000

net.core.somaxconn = 262144

net.ipv4.tcp_max_orphans =

3276800

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_max_syn_backlog =

262144

net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_synack_retries = 1

net.ipv4.tcp_syn_retries = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_mem = 94500000 915000000

927000000

net.ipv4.tcp_fin_timeout = 1

net.ipv4.tcp_keepalive_time =

1200

net.ipv4.ip_local_port_range = 1024

65535

net.nf_conntrack_max = 25000000

net.netfilter.nf_conntrack_max =

25000000

net.netfilter.nf_conntrack_tcp_timeout_established =

180

net.netfilter.nf_conntrack_tcp_timeout_time_wait =

120

net.netfilter.nf_conntrack_tcp_timeout_close_wait =

net.netfilter.nf_conntrack_tcp_timeout_fin_wait =

120

vm.swappiness = 0

EOF

/sbin/sysctl –p

disable the

ipv6

cat > /etc/modprobe.d/ipv6.conf

<< EOFI

alias net-pf-10 off

options ipv6 disable=1

EOFI

echo "NETWORKING_IPV6=off"

>> /etc/sysconfig/network

设置防火墙

iptables -A INPUT -d 224.0.0.0/8 -j

iptables -A INPUT -p vrrp -j

iptables -A INPUT -m state --state NEW -m

tcp -p tcp --dport 10050 -j ACCEPT

iptables -A INPUT -m state --state NEW -m

tcp -p tcp --dport 65522 -j ACCEPT

/etc/init.d/iptables restart

禁止内核升级

echo exclude=kernel* >>

/etc/yum.conf

安装流量监控iftop

yum installbyacc libpcap ncurses ncurses-devel

libpcap-devel

tar zxvf iftop-0.17.tar.gz

cd iftop-0.17

./configure

make

make install

10)

安装zabbix客户端

将zabbix_agentd_2.0.5.tar.gz和安装脚本install_zabbix_agent.py上传至服务器

install_zabbix_agent.py

11)

安装telnet，nc

yum install telnet

12)

如果是C1的机器设置将SSD磁盘组RAID5，条带(strip)设置为1M。

安装raid卡管理工具

wget

ftp://download2.boulder.ibm.com/ecc/sar/CMA/XSA/ibm_utl_sraidmr_megacli-8.00.48_linux_32-64.zip

unzip

ibm_utl_sraidmr_megacli-8.00.48_linux_32-64.zip

cd linux/

rpm -ivh *

ln -sf

/opt/MegaRAID/MegaCli/MegaCli64 /usr/bin/megacli

(1)显示所有RAID级别、设置及逻辑盘信息

#megacli -LdInfo -LALL -aAll

(2)显示Raid卡型号,Raid设置,磁盘相关信息

#megacli -cfgdsply -aALL | more

(3)查看RAID卡详细信息

#megacli -AdpAllInfo -aALL

(4)查看适配器个数

#megacli -adpCount

(5)查看逻辑盘个数

#megacli -LdGetNum -aALL

(6)查看电池信息

#megacli -AdpBbuCmd -aAll

(7)查看命令帮助

#megacli -help

磁盘分区：

parted /dev/sdb

在 parted

的命令行提示下运行：

mklabel gpt

用GPT方式进行初始化(回答提问选Y)。再将整个盘做成主分区：

mkpart primary 0% 100%

用 p 命令显示一下当前的分区情况

显示：

Model: DELL PERC H710 (scsi)

Disk /dev/sdb: 1437GB

Sector size (logical/physical):

512B/512B

Partition Table: gpt

Number Start End Size File system Name Flags

1 1049kB 1437GB 1437GB xfs primary

此时完成分区，用 q

命令退出 parted

，准备将 /dev/sdb1

格式化成XFS文件系统：

yum

install kmod-xfs xfsprogs

modprobe

xfs //载入xfs文件系统模块lsmod |grep

xfs

//查看是否载入了xfs模块

mkfs.xfs -d su=1024k -d sw=4

/dev/sdb1

mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 /dev/sdb1

以上 sw=4

，是因为现在是用5块SSD做的RAID5，则有4块盘存放用户数据。对于超云服务器，共24块盘做RAID6，则有22块盘存放用户数据，则写

sw=22

格式化完成后，用以下命令显示 /dev/sdb1 的UUID：

blkid /dev/sdb1

显示：

/dev/sdb1: UUID="b66b1a82-e888-43fe-8758-accae7dc5d38"

TYPE="xfs"

则将这行内容写入 /etc/fstab

UUID=b66b1a82-e888-43fe-8758-accae7dc5d38

/data xfs

defaults,nobarrier,noatime 0 0

挂载磁盘：

mount /dev/sdb1 /data

df -lTh