SiCMOS 07-28

가장 중요한 CPU 세대에 대한 언급이 없군요...
EPYC 1-2세대는 코어 성능이나 다이 구조상 대역폭이 부족해서 rdma가 아니라면 전체 성능 내기가 어렵습니다.

100G 환경에서 테스트해본 경험으로 32코어 7551P보다 10코어 실버 4110 네트워킹 성능이 더 잘나옵니다...

stone92김경민 07-28

CPU는 AMD EPYC 7542 32-Core 듀얼 구성입니다.
NVME 포함해서 PCIE 슬롯에 겨우 5개의 디바이스만 붙어있습니다.

SiCMOS 07-28

에픽 2세대까지 ccx 구조이기 때문에 pcie 레인이 128개라고 하지만 루트 포트가 다이간에 나눠져 있습니다. 이 부분 면밀히 보셔야 하겠죠
말씀하시는 부분만 본다면 numa 지역성 활용도 어려워 보입니다..

stone92김경민 07-28

혹시 bios셋업관련해서는 특별히 봐야될 부분이 있을런지요?  NPS 셋팅은 변경하면서 확인해봤는데 성능은 크게 변하질 않더군요.
NIC 성능은 720XD보다 더 떨어진 성능이 나옵니다..-.-;

maronet 07-28

전 실구축 경험은 없지만 SiCMOS 님 설명이 왜 해외 구축사례보면 싱글 CPU를 선호하는지 잘 설명해주는 것 같습니다.

dateno1 07-28

그부분은 제조사 상관없이 별 수 없죠

NUMA가 나뉘면 대역폭 답 안 나와요

SiCMOS 07-28

추가로 네이플스 롬 이 세대는 물리 다이가 4개고 numa도 4개이기 때문에 잘 쓰려면 머리 잘 쓰셔야 합니다.
ccx간 트래픽, 메모리 지역성, 인터럽트 분산 등...

stone92김경민 07-28

간단히 fio로 read 테스트를 해봤습니다. 두서버 모두 동일한 nvme 모델을 사용합니다.
R6525
Run status group 0 (all jobs):
  READ: bw=744MiB/s (780MB/s), 744MiB/s-744MiB/s (780MB/s-780MB/s), io=21.8GiB (23.4GB), run=30001-30001msec

R640
Run status group 0 (all jobs):
  READ: bw=1262MiB/s (1323MB/s), 1262MiB/s-1262MiB/s (1323MB/s-1323MB/s), io=37.0GiB (39.7GB), run=30028-30028msec
속도가 거의 반토막이 나는군요.

박문형 07-28

AMD EPYC CPU는 3세대 이후부터 인텔 스케일러블을 따라 잡았고 (성능이 인텔보다 더 좋아졌고) 매출이 늘어났습니다..

최소 3세대 이후 시스템으로 체크해보시는 것이 나으실 겁니다..

그리고 듀얼 시스템에서는 첫번째 CPU PCIe 레인에 꼽아야 카드들이 제 성능이 나옵니다..

저 모델은 메뉴얼은 보지 못했는데 DELL 시스템은 어느 PCIe 슬롯에 어떤 카드를 꼽아라라고 메뉴얼에 정해놓은 모델들이 있습니다..

즉 메뉴얼 잘보고 메뉴얼대로 셋팅해보는 것이죠.. (HPE 도 비슷)

랜카드도 저 시스템에 사용하기에는 꽤 오래된 모델로 생각되네요..

dateno1 07-28

CPU Lane밖에 없을꺼에요

문젠 같은 CPU Lane이라도 NUMA 나뉘는 순간 상호간의 대역폭이 뚝 떨어져요

그래서 저런걸로 할려면 다이아그램 (메뉴얼에 없으면 리눅에서 확인하면 현제 카드가 어디 붙어있는지 나옵니다) 이라도 구해서 어느 슬롯이 어디 붙어있는지 다 확인후 잘~ 배치해줘야 합니다

stone92김경민 07-28

첨부한 그림을 보시면 아시겠지만
cpu1 - nvme 2개
cpu2 - nvme 2개, mellanox 40G 1개
뭐 추가적으로 PERC H745 정도가 PCIE 디바이스의 전부입니다.
nvme는 디스크베이에 장착했구요.(nvme 4bay)겨우 이정도의 디바이스 만으로 대역폭이 떨어진다면 뭔가 문제가 있는것 아닐까요?

maronet 07-28

저 그림으로 누마 토폴로지를 확인할 수는 없어보이구요.
- numactl 같은 명령또는 디바이스 정보 이용해서 몇노드로 구성된 시스템인지 확인
- lspci, lstopo 같은 명령으로 각 장치가 어떤 cpu에 연결되었는지 확인
해보셔야 합니다.

일단 가능한 한 노드에 장치를 몰아서 테스트 한번 해보셔야 할 것 같습니다.
위에 fio 값 보면 단순히 numa 토폴로지 문제가 아닐 수도 있을 것 같아요.

SiCMOS 07-28

코어 성능 자체가 문제가 될 수 있습니다.

dateno1 07-28

혹시 RAID하신거라면 NUMA간 걸쳐서 묶지마세요 (응답시간이랑 대역폭 양쪽이 다 문제될 수 있음)

술이 07-28

멜라녹스 40G카드 단독으로만 꼽았을땐 40G 다 나오는데 NVME나 뭐 꼽았을때는 8G씩 속도가 내려가는걸 몇번 경험하고 나니 듀얼CPU여도 남는 단독레인 슬롯에 꼽아도 속도는 떨어지더라구요. 이건 인텔로 써도 마찬가지였습니다.
그리고 40G 듀얼포트라고 해서 두포트 각각 40G가 나오는게 아니라 총 대역폭이 40G인거 같더라구요. 옆에 놀고 있는 포트 더 쓰면 속도 반토막 되어버렸습니다.
40G 포트 써보면 평균 32G 정도 떨어지더라구요. 처음에만 딱 40G 나오고 그다음부터는 대역폭 제한걸린거처럼 32G에서 안올라갑니다.
뭔가 하드웨어 슬롯 설계 상당히 민감한거 같았습니다. 온갖 생쇼를 해봐도 이 원인은 찾기 힘들었어요.
고속네트워크와 NVME 같은거 동시에 붙여서 사용해보면 레인 대역폭은 남는다고 생각해도 이게 왠지 직렬처리되는기분? 같은 느낌이 확 왔습니다. 트루나스도 NVME 캐쉬디바이스 안꼽으면 바로바로 뿌려주는 속도가 더 빠르더라구요. NVME 캐쉬되면 더 빨라야 되는거 아냐? 이생각 들었는데 메모리 캐쉬단에서만 전송하는 자체가 순간속도는 훨씬 빨랐습니다. 서버에 프리모캐쉬도 사용하는데 희안하게 NVME 안꼽았을때는 속도가 끝장이였는데 왜 NVME 2차 캐쉬로 넣을때는 끝장 스피트가 다시는 안나오는지 뭔가 총 대역폭을 뺏어간다는 느낌이 확 오더라구요.
이게 잘생각해보면 PCI 레인 대역폭이 어떤 낮은 콘트롤러랑 동기식 처리로 되는건 아닌건 아닌가 싶기도 해요. 각각 비동기 처리로 후다닥 처리되어야 빠를거 같은데 CPU와 보드 메모리간의 처리방식이 어떻게되는지는 모르겠지만 뭔가 닥지닥지 붙이면 서버가 최고속도가 잘 안나더라 이런 생각만 듭니다.

박문형 07-28

https://i.dell.com/sites/csdocuments/Product_Docs/en/poweredge-r6525-technical-guide.pdf

여기 자료를 참조해보시고

https://dl.dell.com/content/manual23987793-dell-poweredge-r6525-installation-and-service-manual.pdf?language=en-us

여기 자료를 참조하여 어떤 백플레인을 사용하고 어떻게 시스템과 연결 되었는지 중간에 PERC 레이드 콘트롤러는 거치지 않았는지

확인해보세요..


질문에서의 사진으로는 NVME U.2 가 6/7/8/9 설치된 듯 한데 슬롯을 바꾸어서 셋팅하여 속도 비교를 해보세요..


만일 가능하다면 3세대 AMD EPYC CPU를 구해서 비교해보면 좋지만 구하는 것도 쉽지 않고 비용도 많이 드는지라 쉽지 않을 듯합니다..