關於 sas hba卡 ，我們在網路上蒐集到這些相關的討論、資訊與評價

假設要做SDS ,或是要做虛擬化的頂尖效能
一定要看這篇"夢見草"網友寫的超棒ZFS測試報告
http://note.zn2.us/zfs-raid.htm
他的整體測試思路非常清楚!專業！
CPU:CPU E5-2660 v4 *2
RAM:64G*4=256GB
HDD:Segate 7200RPM 1TB*28顆硬碟
主機板型號:X10DSC+
機殼型號:6048R-E1CR60L
SAS卡型號:AOC-S3008L-L8-P 使用晶片是LSI 3008
SAS Expander 背板型號:BPN-SAS3-946SEL1

摘錄幾個重點與討論
1.單組ZFS Raidz1效能略低於Stripe Raidz1(以Raid 0 結構交叉的Raidz1)

2. 匯流排->SAS HBA-> SAS Expander->每顆硬碟 總頻寬
使用ZFS raid0 跟mdadm raid0 測試 ,
當機器拿到手,做這測試非常重要.OSSLab認為這個讀取還是有點慢,可能還是要Check
先以純單硬碟測試. 先看是否有HBA與HDD相容問題.
然後可考慮再多用一張HBA+SAS Expander來做分擔.

3.fio2 測試
有限制zfs ram的使用量，最大只用到2G的RAM測試的檔案超過2G,所以並沒有拿RAM來當快取。

細部優化
1.HBA ,NVME 或一般SSD ,10G ,40G Lan 驅動跟FW版本 RDMA.
2.ZFS Block 大小設定或是改用硬體raid卡

每個人用的SDS,HCI OS與軟體不一,但是測試思路都是一樣的.

最後此位網友虛擬化備援架構一樣比照OSSLab
採用 A node replication 到 B node 增量處理(10G Lan) 每5 mins 同步 一次

OSSLab Geek Lab

#我們對於各種infra都摸過
#除了架構跟tune
#最專業的企業級恢復

真實服務器磁碟效能測試
機器規格
Dell R230 Xeon E3-1230 v5 3.4Ghz 4 core ,64GB DRAM ,SAS Raid Card Raid 10,600G SAS 15K *4
這等於說二顆 SAS 15K 600G 效能達到了 Read 7xx MB/s Write 4xx MB/s
測試完客戶的磁碟效能沒有問題 我們才交貨.
這邊我們發現一個狀況 假設客戶要使用軟體式磁碟管理方式
如vSAN,Proxmox VE ZFS,Nutanix 等
使用Server預設Raid卡 如730P切換到no raid模式.效能會很低落.
非常不建議 使用no raid模式. 會大量影響效能中

至於搭配哪張HBA
SAS 2008 6Gbps
SAS 3008 12Gbps 晚點還要做更多測試

如果單位公司 一但採構好這樣高端硬體設備 立刻要先測試 Disk I/O並且針對確定要用的系統架構環境下做測試...要不然等到上機後再發現 恐怕會欲哭無淚...

OSSLab Geek Lab

某位大大 提及硬體Raid 跟ZFS 的比較
"ZFS效能會比RAID HBA card好, 很多測試報告可以參考, 尤其是在rebuild時, 主要是ZFS看得到檔案分佈, 可以只復原有資料的部份, RAID HBA card看不到, 只能乖乖整顆復原, 在單顆硬碟越來越大的時候花費時間差異越明顯.
正常時候則因為可以對多顆硬碟同時送指令而加大存取頻寬, 若透過RAID HBA card則要等其轉譯處理, 常常瓶頸發生於此.
另外, ZFS屬於軟體RAID, 彈性較大, 例如raid-z3(可看成容許壞3顆的RAID5), 在RAID HBA card應該還沒出現..."



就OSSLab 理論跟實務維護跟救援
先要理解軟體跟硬體Raid 架構
http://www.osslab.org.tw/…/RAID_HBA%E8%88%87%E6%9E%B6%E6%A7…

RAID HBA card 轉譯就當代的 Raid ROC 在整合 Xor ,Dram cache, SAS PHY匯流排整合 (之後應該就進話到nvme) 已經不太存在bottleneck了 . 整體而言 還是會比Soft raid 快.

已知Filesystem 位置 是可以加快 Rebuild速度....但身為Date recovery從業人員,我是寧可 確定每一個block狀況, 不要只rebuild 已知FS ..畢竟也許那天有機會Data recovery 就要用...

最後一個就是硬體卡監控硬碟狀況跟設定 操作我覺得比software raid方便. 現在硬體Rebuild 時間4TB 約是3x~8x 小時..
還算合理

就Data recovery 的考量 盡量少用ZFS 的Storage Block結構

我們ZFS 應用偏向於虛擬化主機 , Disk Raid 用硬體卡 .上再建ZFS Pool,再分給cifs ,iscsi lun 再掛到本機 vsphere datastore...
http://www.napp-it.org/napp-it/all-in-one/index_en.html