50년간 50TB - 250TB(세월 감에 따라 현재 50TB에서 점진적으로 증가하여 최대 250TB) 의 개인 자료 보관 방법에 관하여 LLM에 문의 하였더니 3-2-1-1-0 백업 전략 드을 제시하면서 평시 NAS 로 보관 LTO 에 백업 그리고 지리적으로 다른 위치인 크라우드 서비스에 보관 (소량자료 M-DISK고려) 라고 하더 군요. 그래서 비용이 몇억원(현재 가치로 2억3천만원)이 들더군요....LTO 드라이브 700만원 10년마다 교체..(LTO 6이상 추천 BaFe자성체 사용)
사실 개인 데이터라 자주 썼다 지월 필요가 없기도 하고... (자료구조상 10%정도는 매우 중요한 자료이고 나머지는 중요하지만 크리티컬 하진 않고요.)
사실상 NAS(혹은 유사한)사용은 50년가 교체 해가면서 계속 사용할 것이고, 백업이 문제인데, 클라우드 콜드 백업 서비스는 비용이 어마무시하게 나와일단 전체 백업은 고려하기 어렵고(매우중요자료만 보관), 로컬에서 전체 자료 백업에서 LTO냐 HDD냐의 고민 이더군요.HDD는 장비에서 제거 하여 항습 및 자성으로 보호할 철재 보관상자에 보관하는 것으로 하였고 정기적(1,2년에 한번씩)으로 상자에서 꺼내어 컴퓨터에 접속시커 diskfresh 나 좋은 방법으로 점검만 하는 것으로 했고요.
그래서 내가 따로 HDD의 수명에 대하여 알아보니 현재 최신의 HAMR (Heat-Assisted Magnetic Recording)헤드 기술이 기본 약 30TB(HDD 1장당) 부터 시작하여 100TB까지 가능하다더 군요. 그리고 헬륨충전, CMR, 정기적인 내부 백그라운드 미디어 스캔(BMS)이 실행되어 한계 섹터를 새로 고치고 기계적 고착을 방지, 들을 하여 LTO대신에 HDD를 금속 상자등에 별도 보관 하며 정기적으로 백업 관리하면 어떨지 생각 해 보았습니다. 이렇게 별도 보관 한 HDD가 15년 마다 새로운 고용량 HDD 출시 되면 (로드맵상 100TB 도 가능) 교체 해주는 것으로 했구요. 이경우 현재 50TB 나의 자료는 30TB 자리 2장에 단순히 NTFS 포맷으로 카피하여 보관하고 (RAID아님), 행여나 어쩔까 하여 추가로 2장 더해서 이중으로 백업한 후 조금씩 늘려 나가다가 15년후 100TB(?) HDD 2장 + 2장으로 보관 을 하는 등 15년 정도 기간으로 보관 백업 HDD 모두 교체 하는 마이그레이션을 해간 다면. LTO 백업보다 훨씬 비용이 적게 들던데...
LLM은 계속 해서 LTO 테이프 백업을 고집 하더군요. HDD의 기계적 수명이 어찌되었든 15년이 않되고 ( 신뢰할 수 없고) 주기적인 전원 켜서 관리하는 것에 한계가 있다는 것이 LLM이 반대하는 핵심 사유 입니다.
LLM과 싸우다 지쳐서 여기의 고수분들께 문의 올립니다.ㅋ, 참고로 이 LLM은 유료입니다.(Gemini pro 2.5 Deep Research).
경쟁 솔루션도 있습니다 ㅎㅎ
이제 방금 제품 출시한 것이라 좀 그렇고 HAMR (Heat-Assisted Magnetic Recording)헤드 기술은 시게이트 독자 데이터 저장방식이라고
봐야 할 수도 있습니다..
개인적으로는 IBM 계보를 잇고 있는 WD UltraStar 씨리즈를 더 믿고 있습니다..
LTO 테이프는 백업이 되는 자기 카트리지의 수명이 길기는 합니다만 테이프가 늘어지던지 구겨지던지 오래 보관했다가 곰팡이 나던지 하면 답이 없습니다..
LTO 테이프 장치는 사용하다가 헤드가 닿거나 오염되면 새것으로 바꾸던지 딲던지 해야 합니다.. 장치 자체도 비싸기도 하고 실제 제품도 많이 없기에
개인 백업장치 보다는 공공기관이나 아주 대용량인 대기업 방송국 같은 곳에서나 사용됩니다..
LTO 테이프 동작원리는 VHS VTR 장치나 DAT 오디오 장치와 거의 같습니다..
여기 QnA 검색하다 보시면 가끔 업으로 LTO 장치를 사용하시는 분들이 계신데 하시는 말씀이 관리하는게 쉽지 않고 보통 테이프를 2개 3개 사용해서
같은 내용을 저장한다고 합니다..
개인적으로는 하드디스크만 한 데이터 백업 장치는 없다라고 생각합니다..
우선 구하기 쉽고 컴퓨터에 연결하기 위한 인터페이스도 죽지 않았습니다..
하드디스크도 전기 안넣고 오래 두면 가끔 인식이 안되어 죽는 경우가 있습니다만 몇년씩 그렇게 보관해도 멀쩡한 것은 멀쩡하기에
하드디스크 수명이나 데이터 보관능력은 케바케라고 생각합니다.
데이터 백업은 1차만 해서는 데이터 망실의 위험이 있기에 다른 독립된 장치로 3차 이상 해두는 것이 좋다라고 생각합니다..
대신 그만큼 돈도 많이 들고 관리하는데 쉽지 않아지는 문제가 있습니다..
동작시키다가 상태 나빠지거나 죽으면 폐기하고 새로 구해서 넣어야 합니다..
HDD도 100개 이상 묶어서 NAS 시스템 구축해서 사용하면 용량문제는 어느 정도 커버가 될텐데 전기비가 문제가 됩니다..
HDD나 서버 들의 특성상 자주 껐다 켰다 하는 것이 수명에는 더 안 좋습니다..
그런 문제로 24시간 365일 동작시키다보면 전기비가 감당 못하게 나오는 경우가 종종 있습니다..
HDD에 NAS 쪽을 생각해본다면 기업용 시놀로지 제품을 알아보겠습니다.. (문제는 가격)
그리고 개인적으로는 USB 인터페이스 외장하드 저장장치는 절대 안 사용합니다..
가끔 데이터 오염되어 고생하시는 분들 있습니다..
NAS 에 저장하시고 Amazon Glacier 같은 Cloud Tape back-up 도 고려해보시면 어떨까 합니다.
전 게인적으로 Dropbox + NAS + Amazon Glacier 를 사용하고 있습니다.
Hot data는 Dropbox 에 저장합니다. (나스 일부에 Dropbox -> NAS 일방향 저장도 설정해두었습니다.)
클라우드 같은 경우는 50년간으로 계산 하면 엄청난 비용이 발생합니다. (물론 그전에 전혀 다른 서비스 방법으로 전환 되어 '쪽' 나겠지만)
LLM에 의하면, 클라우드 스토리지 가격이:
스토리지 비용 (GB/월):
AWS S3 Glacier Deep Archive: $0.00099
Google Cloud Storage Archive: $0.0025 (미국 동부4 지역) / $0.0012 (유럽 서부1 지역).
Azure Archive Tier: $0.002
여기에 검색비용 전송비용 요청비용 이 발생합니다. 해서 50년간 약 1억2천이 드는 군요. (아래 LLM 답변 참조)
=========================================================================
50년 총 소유 비용 (TCO) 계산
HDD 및 NAS 교체 비용: 솔루션 1과 동일 = 49,788,000 KRW
LTO 드라이브 교체 및 테이프 관련 비용: 솔루션 1과 동일 = 35,000,000 KRW + 7,900,000 KRW = 42,900,000 KRW
클라우드 스토리지 비용 (AWS S3 Glacier Deep Archive): 솔루션 2와 동일 = 120,285,000 KRW
클라우드 검색 및 이그레스 비용: 솔루션 2와 동일 = 293,625 KRW
전력 소비: 솔루션 1과 동일 = 6,297,360 KRW
기타 비용: 솔루션 1과 동일 = 5,000,000 KRW
솔루션 3의 50년 총 소유 비용 (TCO):
초기 투자: 13,172,160 KRW
HDD 및 NAS 교체: 49,788,000 KRW
LTO 드라이브 및 테이프: 42,900,000 KRW
클라우드 스토리지: 120,285,000 KRW
클라우드 검색/이그레스: 293,625 KRW
전력 소비: 6,297,360 KRW
기타 비용: 5,000,000 KRW
총 TCO: 237,736,145 KRW (약 $176,099 USD)
듣고 싶은 답을 정해두고 질문하시니 원하는 답을 못듣는 것입니다.
장기 백업 매체로서 테이프가 현재 가장 안전하고 복원성이 좋다는 것이 검증되었습니다.
전세계 수많은 유명 연구소에서는 이미 테이프로 연구 자료를 장기 백업하고 있습니다.
예를 들어 입자 가속기로 유명한 CERN의 경우도 테이프로 연구 자료를 백업하고 있고, 3년에서 4년마다 주기적으로 장치 업그레이드를 하며 마이그레이션하고 있습니다.
https://cernandsocietyfoundation.cern/lhc-tapes
50년동안 자료를 장기 보관하려고 한다면 단순하게 TCO 계산하면 안되고 자료의 가치도 함께 고려해야합니다.
개인자료 보관에 현재 가치로 몇억을 써야 하는 지는 잘 모르겠네요. 물론 그중 개인에게 매우 소중한 일부 자료는 비용을 아끼진 않겠지만요.
오래된 기술의 예전 HDD는 단순 장기 보관(전원 비인가) 시 데이터 유실(비트부패)의 발생이 빨리 진행 하는 반면에, 최신 기술은 여러가지로 많이 좋아졌다 하는군요.
그런데 문제는 이 LLM은 현재 개발된 HDD 의 장기 보관시(15년-20년) 데이터 신뢰성에 대하여 정확한 자료를 못찾는 것 같습니다. (아직까진 전 못찾았습니다.) 물론 소수 기술자 의견으론 100년도 있다 하지만,
==> 아마도 못 찾을 겁니다.. 그렇게 오랫동한 테스트 하고 실제 운영한 예를 찾아야 하니까요.. (아마 없을 겁니다..)
하드디스크의 죽음은 케바케인지라 어느 정도의 통계는 내지만 그 이상의 절대적인 데이터는 없다라고 생각합니다..
개인적인 경험에서 볼 때 하드디스크에 데이터를 넣고 보관/관리하며 그 하드디스크를 사용하는데 (24시간 365일 돌리는 것이 아닙니다..)
문제 없는 기간은 대략 제조일로부터 10년입니다..
(하드는 사서 꼽자마자 고장나는 경우도 있고 10년 넘은 제조일을 지녀도 데이터 망실도 없이 잘 돌아가는 것도 있고 천차만별입니다..)
하드디스크는 억세스를 많이 하면 빨리 고장납니다..
하드디스크 제조사에서 무상 AS가 가능한 디스크의 무상 보증기간은 기업용 엔터프라이즈 하드의 경우 최대 5년이라고 봐야 합니다..
개인적으론 1년에 한번 쓸까 말까한 PC 에 있던 HDD들은 최근 확인해 보니 15년이 넘었는데도 아무 이상이 없더군요. (정기적으로 유지보수(Spin-up) 한 형태일듯)
문제는 TCO 인데, HDD(NAS) + 주요 자료 보관용 백업 HDD + 중요자료 클라우드 및 M-disk 로 쓰다. 개인 자료의 스타일이 미래에 바뀌면(매우 중요한 자료가 절반이상 등) LTO로 가는 것이 밖에 없지 않나 합니다.
아 그리고, 자료에 대한 결벽증(?)을 줄이는 것이 더 중요할 수도 있겠네요. 세상에 영원한 것은 없으니까요.
MO디스크는 언제 발명되었는지 모르지만 (검색하면 나오겠지만) 이론적인 디스크 수명 70년은 아직 넘지 않았을 것 같습니다..
따라서 실제 그런지 안그런지는 수십년 더 지나서 실물이 존재해봐야 알 수 있겠죠..
R 디스크(레코딩판) 경우 오래되면 코팅 벗겨짐 (독극 물질)
프레스판인 경우 레코딩판에 비해 오래 갈수는 있지만 이조차 본래 몸체는 프라스틱인지라 수명에 한계가 있음
그냥 데이터 드라이브 열어보고 디랙토리 화일명 이상없나 정도는 아니실 듯하고 하나하나 체크하는 것도 시간이 많이 걸리는 일일텐데요..
https://www.itworld.co.kr/article/3554571/%EB%B6%88%EB%9F%89-%EB%93%9C%EB%9D%BC%EC%9D%B4%EB%B8%8C-3%EB%85%84-%EC%95%88%EC%97%90-%EB%BB%97%EB%8A%94%EB%8B%A4-%EB%B0%B1%EB%B8%94%EB%A0%88%EC%9D%B4%EC%A6%88-%EC%A1%B0%EC%82%AC.html
그나마 하드디스크가 언제 얼마나 죽는지에 대한 어느 정도 대규모 실증과 통계자료를 내는 곳이 백블레이즈 입니다..
HDD 섹터별로 읽어서 다시쓰고 에러나면 처리하는 프로그램입니다. 시간이 지나서 자성이 약화된 디스크 표면 입자들을 다시 자성을 입히는 것이라고 보면 될 것 같네요. 그리고 이 외에도 디스크 scrub 하는 것들은 ZFS 나 BTRFS 같은 파일 시스템을 쓰던가 하고, LLM 에 의하면 현재 엔터브라이즈 급 혹은 일부 소비자용 HDD들은 펌웨어(내부적)수준에서 BMS, background media scan, 을 수행 한다고 하네요 (DiskFresh 같은 외부 프로그램이 필요 없음) 유휴 상태에서 약한 지점 사전 스켄하여 문제 있는 곳에 RIP, rewrite in place, 을 시도 한다 하네요. HDD 펌웨어 수준의 BMS RIP. 일부 Raid controller 도 Patrol Read를 한다고 하네요.
하여간 다시 쓰면 좋을듯 합니다.
심지어는 1년마다 갱신만 하고 방치해놔도 죽는넘 튀어나오는지라 몇년마다 갱신하는건 안전성에서 문제가 있습니다
리프레쉬 - 데이터 검증.. 재기록..
6~8개월에 한번씩 해 줘야 합니다.
사실 더 자주해야하는데, 귀찮아요 (...) (데이터 양이 많다보니 1번 진행하기만 해도 몇일은 걸림)
하드 드라이브의 자성유지 한계성은 명확합니다.
테이프가 싸요. 30TB 테이프 가격 조사해 보세요.
그리고 비용 계산은 납득이 않가네요...
HDD도 장기보관용은 아니라서 모터가 들어 있어서 윤활유가 들어가 가기때문에 그냥 냅두면 굳을수도 있고
오래되면 자성이 약해서 데이터에 문제가 생길 가능성이 많습니다.
개인적으로 생각해본거는 1,000년가는 한지(닭백지)같은곳에 디지털 코드를 아날로그로 심어서
기록을 남겨 두는것도 오래가는 방법인것 같습니다.
국가기록원 같은곳도 기록매체에 대한 고민은 많아 보이긴하더군요.
데이터 저장은 좀 보수적으로 기술을 도입해야하지 않을까 생각을 해봅니다.
그리고 자료에 의하면 스핀들 그리스 (윤활유) 외에도 단순 보관시에도 가장 주의 할 것이 '온도' 이더 군요 RT, room tecmperature, 25C(25-30C)가 이상적인 조건에 의한 열적 부패(비트 부패, 초상자성 한계에 의한 ) 방지, 습도 ( 이상적인 습도 40-60%RH, 장기아키이빙은 50-60%RH 미만 권장 ) 등에 의한 화학적 열화 방지, 참고로 헬륨HDD는 화학적 열화에 강한편임 헬륨이 어느정도 빠져나가도 작동가능하다고 함(SMART에 He 량 표시됨) 다만 He 은 밀도가 낮기 때문에 HDD 작동시 외부진동(특히 소리)에 대하여 더 취약 할 수있음. 자기장: 밀폐된 금속 캐비닛(자기방지 슬리브등)이 도움됨, 교류 정적 자기장, 주변 장비의 강자석류, 그리고 지자기 폭풍(HDD 손상가능) 으로 부터 보호.
결국 위와 같은 환경에서 정기적으로 디스크 자기장을 갱신(DiskFresh, ZFS, BTRFS, 패리티 무결성확인)하면서 모터에 윤활작용을 유지하는 것이 방법인것 같습니다. 결론적으로 강철 박스 (혹은 구형 강철 PC case?) 에 NAS설비를 만들어 놓고 정기적(수개월)으로 작동시키는 것이 좋을수도.
현대 Disk에 여러가지 Material 구조적인 발전이 있는 것 같습니다. 여러가지 발전된 자성체로 전례없는 비트안전성을 제공하고 있고, 이 자성체를 DLC(Diamond Like Coating) 처리하여 기계적 및 화학적 부식 안정성을 부여하고, 발전된 여러 Head기술들이 있고, 헬륨층전 등으로 작동시 수명이 향상 되며, 현대의 비활성HDD(보관만) 10-20년 안정적 데이터 보존 하며 최근 비공식 추정치는 온도가 25C 실온보존시 35-40년 혹은 100년까지도 제안한다 합니다. 제조업체 보증은 5년 미만인데 활성상태 사용 및 기계적 마모에 중점을 둔것이고 GMR 기반 재료의 디스크 상의 인접 스핀 도메인의 부패시간은 최소 수십년으로 오래된 자기 매체 보다 훨씬 길것으로 예상 한다네요. GMR 이 2000년대 후반이니까 그 즈음 혹은 그 이후 재료들은, 부패 현상 방지를 위해, 더 발전 했을 것이지만, 제 생각으로는 용량및 디스크 수 증가로 확률적 (혹은 경험적) 위험증가에 대비 하기 위하여 꾸준한 '관리'가 필요 할 것이고, LTO도 80%RH 습도 환경에는 20%RH대비 상당한 열화를 일으키고 이또한 50년내 마이그래이션이 필수 이며, 무엇 보다 '개인적'인 자료 수준에서는 LTO(시간에 의하여 장비 고장 발생)의 운용 효율성은 낮을 것으로 보여(물론, 개인적 자료 성격이 변하여 700만원짜리 LTO 드라이브를 몇번 사도 좋다면 추가 OK(그래도 백업 NAS 필요 백업 규칙상), 보관 습도 관리 필수), 결국 위와 같이 백업용 독립 NAS 운영 및 최고 중요 자료 일부에 한하여 (지정학적 사유로) 다른 대륙에 존재하는 클라우드 서비스(적은 비용) 사용 및 몇장정도의 M-Disk 구비 정도로 해야 할 듯 하네요.
그런데 LLM이 제시한 NAS, LTO, 클라우드 백업의 의미도 생각해보면 한 장소에 보관중인 HDD가 사고등의 이유로 파손되면 모조리 없어지기 때문에 다양한 수단을 추천한 것 같고, 클라우드 백업의 경우 비용이 생각보다 저렴하지 않으므로 기간에 따른 보관료가 제법 나오리라 생각됩니다.
개인적으로 보관하고 있는 자료는 90년대 DOS시절 자료들을 계속 유지중인데, 그냥 HDD 에서 신규 HDD로 계속 복사되면서 데이터가 유지되고 있네요.