簡介:

通過openfiler軟件模擬共享存儲，然後在本地安裝Oracle12C RAC方便自己學習！真實還原在生產環境上安裝的過程.

規劃說明：

本次實驗使用VM+Openfiler+Oracle linux6.8 + Oracle 12C R2 + ASM

除了最後的驗證只需要在1台服務器上執行，其他的操作都需要在2台服務器上執行一遍！ASM磁盤只需要在一台服務器上創建，另一台服務器只要執行掃描操作！

軟件包：

openfileresa-2.99.1-x86_64-disc1.iso

OracleLinux-R6-U8-Server-x86_64-dvd.iso

linuxx64_12201_grid_home.zip

linuxx64_12201_database.zip

環境準備說明：

openfiler：172.30.30.94

rac1：172.30.30.95(需要配置2塊網卡)

rac2：172.30.30.96(需要配置2塊網卡)

單個數據庫服務器為2塊網卡，內存最好是大於8G(小於8G也可以用，但是可能會影響性能)，swap 16G，其他的根據需求自行決定！

openfiler會準備3塊30G磁盤，1塊100G磁盤，1塊80G磁盤(具體看個人實際情況來定)

服務器準備

openfiler的安裝略過（默認已經安裝好，磁盤映射已經做好），Oracle Linux的安裝略過！在安裝Oracle Linux的時候可以選擇最小化或者其他，區別只是包的多少問題，後期可以通過yum按需安裝！

服務器關於YUM配置簡單說明：

在VM中將iso配置好並且狀態為已經連接，然後在linux上掛載並配置yum源，如下：

mount /dev/cdrom /mnt/

[root@rac1 yum.repos.d]# cat dvd.repo

[dvd]

name=CentOS-$releasever – Base

baseurl=file:///mnt

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

如果是其它版本linux(CentOS，RedHat)，在yum.repos.d目錄下可能存在其他repo文件，可以選擇將這些文件重命名(mv)

服務器基礎配置

1.編輯selinux

vi /etc/selinux/config

SELINUX=disabled

2.配置防火牆

iptables -F

chkconfig iptables off

3.配置postfix

chkconfig postfix off

4.配置NTP

使用Oracle 自帶的時間同步，需要將ntp的配置文件重命名，即禁用NTP服務

mv /etc/ntp.conf /etc/ntp.conf.bak

chkconfig ntpd off

為了方便，配置完成後重啟服務器！！！

磁盤處理

通過iscsi服務，掃描從openfiler映射過來的磁盤並掛載到本地。

1.需要安裝的額外包：

yum install iscsi-initiator-utils

2.發現磁盤：

iscsiadm -m discovery -t sendtargets -p 172.30.30.94:3260

3.掛載磁盤：

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.ocr01 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.ocr02 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.ocr03 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.data01 -p 172.30.30.94:3260 -l

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.fra01 -p 172.30.30.94:3260 -l

查詢當前會話的iscsi 連接：

iscsiadm -m node session

4.使用多路徑軟件(multipath)將磁盤路徑做聚合

一般在生產環境中,通過存儲映射過來的磁盤都會有多條路徑(一般光纖線等會做冗餘處理)。

多路徑軟件安裝：

yum install device-mapper-multipath

啟動multipath守護進程:

mpathconf –enable –with_multipathd y

chkconfig multipathd on

修改配置文件：

vi /etc/multipath.conf

找到最後的blacklist 中添加本地的設備（排除用來安裝操作系統的盤）

blacklist｛

devnode “^sda”

｝

查看鏈路是否整合了

multipath -ll

查看操作系統上是否存在這些設備：

ls -l /dev/mapper

如果配置都正確，但是沒有出現文件，請直接重啟操作系統！

5.磁盤分區

使用fdisk將新的磁盤進行分區

軟件包配置

如果自行安裝系統rpm包，需要檢查是否有下列rpm包：

rpm -q binutils elfutils-libelf elfutils-libelf-devel compat-libstdc++-33 gcc gcc-c++ glibc glibc-devel glibc-common libgcc libstdc++ libstdc++-devel libaio libaio-devel make sysstat unixODBC unixODBC-devel compat-db control-center glibc-headers libcap libcap-devel compat-libcap1

如果沒有使用yum安裝即可！！！

CVU軟件包安裝：(需要grid軟件包解壓後，安裝)

該rpm包在在grid安裝介質中
./cv/rpm/cvuqdisk-1.0.10-1.rpm

rpm -ivh cvuqdisk-1.0.10-1.rpm

配置網絡

配置/etc/hosts

# Public Network – (eth0)

172.30.30.95 rac1.zhouheiya.cn rac1

172.30.30.96 rac2.zhouheiya.cn rac2

# Private Interconnect – (eth1)

192.168.109.95 rac1-priv.zhouheiya.cn rac1-priv

192.168.109.96 rac2-priv.zhouheiya.cn rac2-priv

# Public Virtual IP (VIP) addresses

172.30.30.105 rac1-vip.zhouheiya.cn rac1-vip

172.30.30.106 rac2-vip.zhouheiya.cn rac2-vip

# Single Client Access Name (SCAN)

172.30.30.200 rac-zhy-scan

配置用戶，組和目錄

groupadd –gid 503 oinstall

groupadd –gid 504 dba

groupadd –gid 505 asmadmin

groupadd –gid 506 asmdba

groupadd –gid 507 asmoper

groupadd –gid 508 oper

useradd -u 501 -g oinstall -G dba,asmadmin,asmdba,asmoper grid

useradd -u 502 -g oinstall -G dba,oper,asmdba oracle

mkdir -p /u01/app/grid

mkdir -p /u01/app/12.2.0/grid

mkdir -p /u01/app/oracle

chown -R grid:oinstall /u01

chown oracle:oinstall /u01/app/oracle

chmod -R 775 /u01

配置內核參數

1. vi /etc/sysctl.conf

kernel.shmmni =4096

kernel.sem = 250 32000 100 128

fs.file-max = 6815744

net.ipv4.ip_local_port_range= 9000 65000

net.core.rmem_default = 1048576

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

fs.aio-max-nr= 1048576

執行sysctl -p使得參數生效

sysctl -p

通常情況，這2個參數在文件是存在的，使用默認即可，如果比默認大，可自行修改

kernel.shmmax kernel.shmall

2.vi /etc/security/limits.conf 加入下列內容

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

oracle soft stack 10240

oracle hard memlock 3145728

oracle soft memlock 3145728

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

grid hard stack 32768

grid soft stack 10240

3.vi /etc/pam.d/login 加入下列內容

session required pam_limits.so

4. vi /etc/profile

#new add

if [ $USER = “oracle” ] || [ $USER = “grid” ] ; then

if [ $SHELL = “/bin/ksh” ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

5.vi /etc/sysconfig/network

NOZEROCONF=yes

環境變量配置

Grid用戶：

vi .bash_profile

#new add

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/12.2.0/grid

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH

export ORACLE_SID=+ASM1

umask 022

stty erase ^h

Oracle 用戶：

#new add

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=/u01/app/oracle/product/12.2.0/db_1

export ORACLE_SID=racdb1

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH

umask 022

stty erase ^h

配置安全shell和用戶限制

配置ssh無密碼連接：可以手工創建也可以在OUI界面配置用戶等效性！！

手工配置：

使用命令行配置：(oracle圖形界面使用的rsa形式)

ssh-keygen -t rsa

ssh-copy-id -i id_rsa.pub rac2

ssh rac2 date

在grid和oracle用戶下都需要配置！！

ASM配置

1. 說明

12C R2相比前一版本，OCR的磁盤佔用需求有了明顯增長,OCR+VOLTING+MGMT存儲通常放到一個磁盤組，且選擇Normal的冗餘方式

OCR ： Normal

ocr01 30G

ocr02 30G

ocr03 30G

DATA: External 100G

FRA : External 80G

使用到的rpm包（操作系統版本不同，對應的安裝不同）

kernel-2.6.32-754.30.2.el6.x86_64.rpm —先裝！！

oracleasm-support-2.1.8-1.el6.x86_64.rpm

oracleasmlib-2.0.4-1.el6.x86_64.rpm

kmod-oracleasm-2.0.8-16.1.el6_10.x86_64.rpm

安裝有先後，如果順序不同，會缺少依賴包，具體可以看報錯信息，然後調整順序！

2.ASM磁盤配置(2台服務器都要執行)：

[root@rac1 ~]# /etc/init.d/oracleasm configure

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library

driver. The following questions will determine whether the driver is

loaded on boot and what permissions it will have. The current values

will be shown in brackets (‘[]’). Hitting <ENTER> without typing an

answer will keep that current value. Ctrl-C will abort.

Default user to own the driver interface []: grid

Default group to own the driver interface []: asmadmin

Start Oracle ASM library driver on boot (y/n) [n]: y

Scan for Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: done

Initializing the Oracle ASMLib driver: [ OK ]

Scanning the system for Oracle ASMLib disks: [ OK ]

[root@rac1 ~]# /usr/sbin/oracleasm init

Creating /dev/oracleasm mount point: /dev/oracleasm

Loading module “oracleasm”: oracleasm

Mounting ASMlib driver filesystem: /dev/oracleasm

3.ASM磁盤創建(1台服務器上執行)：

/usr/sbin/oracleasm createdisk ocr01 /dev/mapper/mpathap1

/usr/sbin/oracleasm createdisk ocr02 /dev/mapper/mpathbp1

/usr/sbin/oracleasm createdisk ocr03 /dev/mapper/mpathcp1

/usr/sbin/oracleasm createdisk ZHY_DATA /dev/mapper/mpathdp1

/usr/sbin/oracleasm createdisk ZHY_FRA /dev/mapper/mpathep1

4.檢查ASM磁盤

/usr/sbin/oracleasm scandisks —掃描磁盤

/usr/sbin/oracleasm listdisks —列出磁盤

至此配置完成，以上步驟需要在2台服務器上都操作一遍，使得2台配置一模一樣！！

集群驗證檢查

在正式圖形化安裝之前，可以做個檢查，通過生成的日誌，檢查是否滿足所有需求

網絡檢查：

runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose -r 12.2

驗證集群是否準備好安裝CRS：

./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -r 12.2

./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose >>test.log

檢驗出來的結果如果有關於swap 或者 /etc/resolv.conf 的failed ，可以忽略！！！！

關於Xmanager使用

一般都會缺少下面相關包：

yum install xterm xorg-x11*

The X11 forwarding request was rejected!

rpm -qa|grep gdm

如果沒有安裝，則執行yum install -y gdm安裝!

(也可能環境不一樣，缺少的rpm包不一樣，僅供參考)