折腾十盘位机箱组esxi服务器–硬件篇

          玩了一年开发板了,对开发板的方便和不足之处都有所了解,开发板的方便之处在于:一,体积小不占地方;二,来电自启不用设置;三,挂个硬盘就能做下载机还很省电(用功率计实测,不插硬盘满载5w都不到);四,被动降噪没有噪音(除了硬盘)。不足之处:一,对硬盘没有保护,经常挂着硬盘盒的话,很容易丢数据;二, 性能不足,安装nextcloud造成系统卡顿,plex或emby远程解码视频不用考虑,apache2使用h5ai卡顿;三,arm兼容性问题,很多软件无法使用,很多板子不能使用docker即便能使,相应的镜像也很少;四,只能当个下载机挂种,别的工作很难胜任。

         但我经常不在家,如果不能看家里的视频(4k,原盘,电视剧这些没有内容媒体管理软件只靠sftp或者h5ai是不行的),那似乎视频下载下来似乎也没啥用,开发板也就只能是个pt挂种工具。为了看家里的视频,只能换强力的x86平台了。

         经历了开发板的不稳定(很容易因为断电而再也无法开机),我就想使用一个非常稳定的系统来做服务器,黑群晖、winserver、Debian、freenas这些都考虑过,因不太灵活或者不方便管理等原因放弃了,最后选择了esxi。esxi是一个虚拟机系统,这意味着灵活;esxi系统全程运行在内存上,意味着快速;esxi是个商业级服务器系统,背靠VMware公司,意味着稳定。

        但组esxi的话,因为esxi日常出现在各种服务器上,对硬件兼容性可能没那么好(目前遇到不兼容的主要是网卡),不过有v-front这个网站来查询自己电脑相关硬件驱动,下载并封装进esxi镜像。具体esxi安装兼容问题以及相关操作后续专门写篇文章。

        系统问题解决后,就是选择服务器平台了。以前查过很多资料,我使用的媒体管理软件是jellyfin(emby开源免费版)支持核显硬解,jellyfin解码使用的是ffmpeg,而ffmpeg对核显硬解的支持在linux下只有Intel(ffmpeg硬件加速支持具体看这里,AMD的核显在linux下ffmpeg是无法调用的,因为AMD核显驱动不开源,这里要说一句AMD NO and Intel YES!所以,服务器肯定要用Intel平台了。Intel带核显的CPU就很多了,刚好我在网上也有看到Intel的核显支持esxi直通(仅限linux,win下边是安装不上核显驱动的),Intel cpu用来做视频转码简直完美。jellyfin在虚拟机下直通核显硬解视频后续专门写篇文章。

        选择CPU型号,带核显的话先排除不带核显的服务器CPU,然后最好是hd6xx,cpu的性能也不要太差,因为经常会压缩和解压缩还要视频编码等。初步选择就是i3 8100、i5 8400、E3-1235l v5。就功耗来说E3-1235l v5非常优秀,但性能和显卡都不好(现在想想性能应该够用,况且主板肯定选服务器主板了带IPMI应该非常方便管理);i3 8100因为只有4核,套装价格在1500左右,还不如加4-500元上i5 8400,性能好30%,然后真就选择了8400套装:)。其实就功耗来讲,8400和8100这两个cpu差距不大,据到手实测,带两块硬盘的8400方案在下载时只有38w的功耗,即便是解码视频也就40w多点。

        主板的选择有坑,坑主要在网卡,以前在笔记本上测试esxi的坑就在网卡,台式机主板的坑也是在网卡,后续会详细说明。我的主板选的是微星B360M迫击炮加8400及海盗船内存套装,B360M迫击炮使用的是 Intel I219-V千兆网卡esxi是没有驱动的,如果你用的也是用的这个板或者网卡可以关注我的后续文章,里边有相关驱动。后来有点后悔应该买华硕的STRIX B360-F GAMING,华硕的这个板子的pci插槽是真多有6个,而迫击炮只有4个,在esxi下pci多很有用的,主板上的sata多少反倒没多大关系(毕竟不用)。

       机箱电源选择,机箱从心了选择了海盗船的工包版的10盘位机箱,候选的多盘位机箱有很多,盘位相近的有Fractal Design 佛瑞克托设计DEFINE R4PHANTEKS追风者 614等只有海盗船这个最便宜:),到了发现全塔真的很大虽说支持背部走线,但对sata线要求侧弯,sata电源线一般电源可能给的不够,需要用大4PIN转接sata扩展一下,海盗船这个机箱电源下置,原装带一个12CM背部风扇加2×14CM硬盘笼,基本不用再买风扇了。电源我选的是金华振蝶的HX450W金牌电源,考虑后续上硬盘,最多可能有100w?现在就只有40w左右用个金牌电源10%的负载下转换率有86%左右,并且支持宽幅电压,电源稳点电脑也会稳点也省心到手后线长也很合适背部走线刚好,我需要的硬盘电源配上转接线非常富余。

      硬盘选择,现在固态硬盘很便宜了,趁着前段时间活动买了256GB的760P才300多点,整个大硬盘来存储其他系统的镜像和做系统真的很舒服。

      扩展卡选择,既然用了esxi,那扩展卡必不可少,网卡、sata扩展卡等非常有用。先说扩展网卡,扩展网卡使虚拟机不和esxi共用一张板载千兆网卡,大幅提升虚拟机网络性能,对内网千兆互拷非常有用(据笔记本测试虚拟机和esxi共用一张网卡时内网互拷掉速非常明显),同时好的扩展网卡可以避免主板板载网卡实在小众没有驱动时无法安装esxi的尴尬场景,顺便有高端的万兆内网需求的话,扩展网卡更是必不可少。如果买的扩展网卡有双口甚至四口的话,每个口都可以作为一个单独的pci网卡直通分配给不同的虚拟机,也可以同时用两个网口做高端软路由。我选的网卡是英特尔的82545,esxi下可直接免驱,因为是双口网卡esxi直接识别为两个pci网卡(展示的是82576),可以分配给两个虚拟机额,也可以分配给都一个虚拟机当软路由。

      再说sata扩展卡,esxi有一点不太好,如果使用板载的sata口插硬盘,想把硬盘整个分配给一个虚拟机很麻烦,如果将硬盘作为储存空间来划分给虚拟机的话必须格式成vmfs格式,这样就非常难受,vmfs格式不好直接拔盘互拷,io性能也很低。如果有张sata扩展卡,那就可以直接通过pci直通的方式把整个硬盘分配给虚拟机了,这样可以读取smart数据,可以选择任意硬盘格式,我选的扩展卡是marvell主控的扩展卡可带4块硬盘,esxi下免驱。当然也可以选择直通卡比如戴尔h200,使用minisas转sata线可带8块硬盘。

      说下需要注意的,每个主板的设计不一样,pci插槽兼容性不同,比如我的这块主板如果m.2固态硬盘插到第二个插槽时会占用pci通道使其中一个pci插槽无法正常工作,当然正常情况下pcie×1设备是可以插到pcie×16插槽并正常使用的,比如我就把pcie×1网卡插到了最下边的pcie×16插槽上并正常工作了。esxi的wol比较复杂需要借助vcenter设置DRS和DPM。如果嫌麻烦可以像我一样设置主板bios来电自启并配上wifi开关来操作开关机。搭配ups的话还是有用的,后续我会买一个ups来实现断电关机。esxi还是比较吃内存的,开机esxi自占1.5GB内存,玩虚拟机大内存很有必要,比如我就整了海盗船DDR4 2400 16GB双通道内存。

     我硬件部分的内容基本上说完了,后续会写下esxi镜像制作与驱动安装以及硬件直通、直通核显给虚拟机硬解视频以及snap安装nextcloud相关操作等的内容,敬请期待。

共有 2 条评论

  1. 芜湖

    这配置相当豪华了,最近也想搞个 但是预算有限

    1. toor

      需要硬解码的话,英特尔的核显是最划算的方案。其实硬解的话带T或者8100、9100这些cpu都可以,AMD的核显在linux下没法硬解。

Top