파일서버 재구축기 - TrueNAS (Feat. 뻘짓) - Procrastinated

티스토리가 점점 미쳐가고 있다.

 

이번 아티클을 쓰는데 계속 접은글이 미친듯이 늘어나질 않는가 하면

이제는 짤이 맨 위에 갖다 박혀 버린다.

 

이번 구축 후 세팅 작업 중에 마주한 그지같은 뻘짓들을

여과없이 기록하였다.

 

아 서터레스.

I should not have done that.

 

0. 인트로

파일 관련해서 요즘 골머리를 썩고 있다.

 

2023.07.13 - [Engineering Log/On Premise Computing] - RSync + iCloud 파일동기화 (파일 서버 + macOS)

 

아이클라우드 스토리지의 경우

- 맥끼리 자동 동기화를 해준다는 점,

- File 히스토리를 누적시켜서 과거버전으로 되돌릴 수 있게 해준다는 점 (타임머신 연동시)

- 로컬 디스크 용량 부족시 자동으로 Purge를 해준다는 점 (로컬 디스크에서 지움)

의 장점이 있어서 계속 쓰고 있다만

 

 

1970년도로 생성/변경 날짜가 깨진 버그가 있었고

아주 가끔 파일이 깨져버리는 경우가 있다.

 

 

특히 파일을 생성/변경할 때

해당 맥의 hardware 컨디션에 매우 좌지우지된다.

 

램 RAM이랑 드라이브 (SSD) 상태에 매우 의존적인데

이는 맥의 고질병이 아니라 모든 컴퓨터가 가진 취약점이다.

 

그러나 램이 고장나는건 맥북의 고질병이 되었다.

칩셋 나가는 일은 잘 없다만

온보드 납땜형태다 보니까 기판이 휘거나 충격을 받으면

피로파괴가 누적되면서 냉납현상 (칩셋 납 일부분이 불안정하게 붙거나 아예 절체됨)이 발생한다.

 

이게 파일 쓰기 부분에서 큰 악영향을 미친다..

ㅜㅜ

(읽기는 디스크에서 램으로 끌어오고 증발시키므로 (변경사항 저장 없을 경우) 오염되더라도 영향을 안 받는다)

 

 

 

2012년식 맥북 에어를 쓰다가

2015년식 맥북 프로를 사게 된 계기가 메모리 문제였다.

 

메모리 칩셋 하나가 납땜불량이 나자

파일을 저장할 떄 오염이 극심해졌다.

 

 

이게 아이클라우드를 타고 고대로 날아가서

나머지 파일도 오염된 (깨져서 열 수 없거나 꽤 손상된) 버전으로 덮어씌워져버린다.

 

왜... 왜 ㅜㅜ

파일 읽고 쓸땐 비트에러 오지게 나면서

아이클라우드로 보낼땐 잘 보내는거냐고.

둘 다 주 저장장치(램)을 거쳐 가는거 아니냐고... ㅜㅜ

 

 

DDR3와 4 시절에는 ECC가 따로 있었다.

 

DDR5에는 일반 PC에도 제한적으로 들어간다곤 하나

ECC Unbuffered 보다는 못한 기능으로 기억한다.

 

ECC 할배가 와도 칩 불량시 에러뿜는건 못 잡는다.

 

단지 조용히 커럽션이 생기는걸 좀 지연시킬 뿐.

 

 

 

 

 

그리고 가장 심각한 단점.

 

macOS는 이동/복사/삭제하는 파일의 수가 많으면,

대략 10,000개 (만 개),

OS 멘탈이 나간다.

 

복사 취소도 안먹고,

삭제는 꼬여버리고 (지금 사용중이라 안됩니다 ㅇㅈㄹ한다)

이동은 하다가 취소할 경우 (크롭으로 할 경우)

반은 저쪽 가있고 반은 여쪽에 남아있다.

 

 

특히 메모리에 Swapped 공간이 많으면

(Finders의 메모리가 아니더라도)

진짜 잘 꼬인다.

 

맥을 재기동시켜야된다.

2023.03.29 - [Electronics log/Electronics Log (as Consumer)] - Mac 구매 고민-개봉기 (M2 Pro 미니 + 주변장치) - 스압 주의

Mac 구매 고민-개봉기 (M2 Pro 미니 + 주변장치) - 스압 주의

댓글에 하소연을 적어놨다.

 

진짜 macOS 최대 취약점이다.

쓰레기.

 

 

 

 

이렇듯 iCloud의 무결성 신뢰도는 낮지만

Google Drive의 무결성은 더 심각하다.

 

구글 드라이브에 올려놨다가

비트에러가 나서 결국 모두 갖다 버린 압축파일이 몇갠지 모르겠다.

 

진짜 집에 DDR2 컴보다도 못한 파일 무결성...

구글 드라이브는 깨져도 되는 이미지/영상이나

버려도 되는 iso 파일정도만 보관할만한 클라우드 서비스이다.

 

 

 

그래서 오늘의 브금은

비따스 (Vitas, Витаc) - 즈볘즈다 (Zbyezda, Звезда)

이다.

 

니에, 다가라이 즈볘즈다, 마야~, 빠스또이...!

내 별을 태우지마, 기다려..

 

러시아어 배운다고 깝죽거릴 때

처음으로 가사를 다 외운 노래이다.

 

한국에는 아쟁총각으로 알려져있다.

야 쁘리숄 닷 에뚜 비스뉴~

전에 픽업트럭을 몰고다닐때

저렇게 러시아 스티커를 어디서 주워와 붙여놓고

비따스 노래를 쿵짝거리며 틀고 다녔다.

 

언젠가 우크라이나 사람과 당근거래를 하면서

쳐발리는 러시아어 실력에 쪽이 팔렸던 기억이 있다.

짭제온에 980Ti였나

쓸만한 녀석을 30만원에 팔았다.

당시 시세가 한 35-40만원 하던 체급이었음.

 

당시엔 우크라이나에 대한 인식이 별로 안 좋았지만

러시아어도 할 줄 알길래 맴이 좀 바뀌어서

쿨거래로 네고를 좀 해줬다.

 

 

 

 

여튼,

여차저차하여 리눅스, 그것도 사용이 간편한 우분투에

단순하게 SMB 포트를 열어 파일서버로 쓰고 있다.

 

Xeon E3 + ECC Unbuffered 라서

반쪽짜리 ECC이긴 하다만

없는것보단 낫다.

 

 

 

 

그러나...

2023.03.11 - [Engineering Log/On Premise Computing] - VPN서버 (재)구축기 - OpenVPN on Ubuntu VM

VPN서버 (재)구축기 - OpenVPN on Ubuntu VM

2023.06.15 - [Engineering Log/On Premise Computing] - 개인 서버 망분리 고민 log (Feat. NAT & Sniffing) - 작업중

개인 서버 망분리 고민 log (Feat. NAT & Sniffing) - 작업중

 

VPN을 Dedicated 서버로 이전시키면서

셀러론 특유의 느림직한 성능이 엎쳤고,

(단순히 ips, 명령어 쓰루풋 문제가 아니라 지원명령어가 SSE3인가까지밖에 없다. AVX가 빠져버리니 느림직 느림직...)

 

최근 망분리를 고민하면서 SMB를 AES256 GCM으로 감싸버리면서 (암호화)

오버헤드가 늘었는지 성능이 심각하게 안 나온다.

 

진짜 쓰루풋이 처참함.

VPN으로 접속하면

폴더 열었을 때 인덱스 로딩조차 1-3초가 걸린다.

ㅜㅜ

 

 

 

기가빗 이더넷 대역폭을 풀로 당겨써도

CPU (4코어 4쓰레드) 점유율은 10% 남짓에 머물고

RAM (DDR3 14GB) 사용량도 터무니없이 (?) 너무 낮게 나온다.

 

 

 

이에 OS를 좀 바꿔보기로 했다.

 

 

 

https://www.truenas.com/

TrueNAS - Welcome to the Open Source Storage Era

 

TrueNAS와 (FreeBSD를 덤으로 얹어서)

ZFS가 생소한 사람들은

아래 블로그 아티클을 읽고 오면 되겠다.

https://admion.net/what-is-zfs/

ZFS 용어 정리 - 어드미온

제목은 ZFS 용어 정리인데

내용은 ZFS 소개이다.

 

겁나 깔끔하고 쉽게 정리되어있다.

오라클보다 더 깔끔하다.

 

 

나도 이번에 BSD와 ZFS를 처음 접하고

풀을 날려버리면서 개뻘짓 학습을 이어가고있다.

 

저 아티클이 참 도움이 많이 된다.

 

 

 

 

 

 

1. TrueNAS 설치 + HW 기록 (HP Z220)

 

 

파일 캐싱을 (RAM) 적극적으로 사용한다는데

나는... 싫다.

 

RAM을 거쳐가는것도 불안한데

RAM 위에서 뛰어놀게 만든다고?

 

 

성능/가용성보다 보안과 무결성을 훨씬 중하게 생각하므로

캐싱은 끄든지 할 예정이다.

 

이미 SATA SSD로 둘러쳐두었기 때문에

(IO가 빈번하지 않고, 500GB의 소용량이기 때문에 비용도 그리 차이나진 않는다.

요즘 하드 왜이렇게 비싸냐)

그정도 IO는 충분히 받아줄 것이다.

 

 

 

 

설치를 하기 위해

파일들을 급하게 난민수송시켰다.

 

꼼퓨따에 NVME SSD를 꼽고 거기에 쑤셔박았다.

 

난민 수송하면서 파일이 오염될 확률이 분명히 있다만

모르겠다... 감내하련다.

 

 

따운로드.

 

 

하드웨어 사양 관련 아티클이다.

https://www.truenas.com/docs/core/gettingstarted/corehardwareguide/

CORE Hardware Guide

 

노 상큐, 아이 해브 얼라디 사인덥

(우측 하단 회색)

을 눌러준다.

 

shasum으로 체크썸 검사를 해줬다.

 

어떻게 쓰는지 기억이 안 나서 걍 grep으로 비교했음.

 

 

 

https://www.truenas.com/docs/core/gettingstarted/printview/

https://www.truenas.com/docs/core/gettingstarted/printview/

 

약관을 읽어보니 뭐 특이한건 별로 없고

 

- 유저 데이터 수집이 기본으로 활성화 되어있다. (daily)

- 데이터 수집은 443 포트로 나가며, 방화벽에서 차단할 경우 시스템 이용에는 문제가 없다.

- 민감정보는 수집하지 않는다.

 

 

 

 

Window + Rufus...

발레나 엣쳐는 안되는거니

 

 

8GB짜리 애플 USB를 사용하였다.

요렇게 생긴 놈이다.

 

이베이에서 저렴하게 구할 수 있다.

간단한 작업을 통해 읽기전용 모드를 해제하고 포맷하여

일반 USB 떰스틱처럼 쓸 수 있다.

 

 

USB 2.0임에도 20 ~ 30MB/s로 속도가 준수하게 나온다.

 

 

 

 

굿쟙

USB 부팅 1순위 지정

오우 BSD는 처음이여

(전에 잠깐 잠깐 써보고 밀어버렸다)

부팅디스크로 120GB짜리 Dram 없는 싸구려 스스디,

마이크로닉스의 워프 뭐시기 2장을 골랐다.

윈도우에 백업 잘 되었겠지?

아까 확인을 안 해봤다.

 

두근두근.

 

밀어버려.

루트 비번 넣어주고

잉? BIOS가 왜 엔터프라이즈 하드웨어에 적합한거야?

UEFI가 기능이 많으니 보안이 더 좋다고 하는거같고

단순히 레거시 승계관계가 아니었어?

제온 스케일러블도 BIOS로 부팅한다고?

 

몰라 아 모르겠다.

그냥 UEFI로 선택했다.

 

흠.

 

 Y!

 

와이 낫.

 

스왑공간을 할당해주었다.

 

 

설치가 진짜 빨리 끝나버렸다.

부팅 디스크 순서가 좀 꼬여있어서

바꿔봤다.

흠

 

UEFI 지원하는 보드로 알고있는데.

 

 

세 번째 OS 설치에 들어와서야

BIOS로 선택했다.

 

부팅이 잘 된다.

 

이거 오래걸릴거에요 라는 문구가 나오고나서

혼자서 뭔가를 열심히 하고 있다.

 

ㅋㅋ

 

 

NIC (네트워크 인터페이스 카드) 설정을 한참 만지작 거렸다.

 

흠...

일단 라운드로빈은 성능저하가 너무 극심해서

(기가빗 이더넷 2개로 50MB/s도 못 뽑아낸다)

페일오버로 할까 하다가

일단 로드밸런스를 해보기로 했다.

 

솔직히 LAG는 별로 의미가 없다.

 

서버망 공유기 - 일반랜 공유기

커넥션이 기가빗 이더넷 1줄이다.

 

 

 

흠...

로드밸런스를 잡으면

(1번 1번 누름)

링크가 아예 내려가버린다.

 

Failover로 해야겠다.

 

 

 

아.

 

본딩을 하고나서 1번 컨피겨 들어간 뒤에

n

n

y

이렇게 하나하나 넘어가면서 DHCP 설정으로 간 뒤에

IPv6 no 정도만 설정하는 것으로

DHCP 설정을 해줘야한다.

 

그럼 바로  IP 할당이 된다.

 

 

 

나는 페일오버로 했다.

 

두 번이나 디폴트로 설정 초기화를 했다 ㅋㅋ;

아까 포트는 왜 죽은거지.

 

IP를 배정받고나서

고정IP로 박아버린 다음

서버망 공유기쪽 포트포워드 작업을 해줬다.

 

루트 비밀번호를 변경하라고 한다.

 

흠. 아까 설정 초기화해서 날아간건가.

 

 

 

 

크 UI 개깔꼼하다.

 

 

흠

헤드리스로 쓰고싶은데

(정확히는 모니터랑 키보드 꼽아도 반응 없게끔 하고싶다.

아님 최소한 로그인은 해야 설정을 만질 수 있게 하거나.)

 

찾아봐야겠다.

 

 

 

 

TrueNAS 셋업은 내가 해본 서버 구축 작업 중에

제일 쉽고 빠르고 편했다.

 

Storage - Pools - Add

 

인크립션 부분 워닝...

찾아보기 너무 구찮다.

AES 256 GCM이 기본으로 잡힌다.

 

굿.

 

흠.

전에 리눅스에선

/mainStorage/HDD

이렇게 디렉토리 마운트 하는 형태로

전체 공유 공간 안에 하드 1장짜리 (보호 없음) 공간을 매핑했는데

 

여긴 그런게 지원이 안 되는건가.

 

아 되려나.

-> 안되는 것 같다.

mnt(마운트) 안에 각각 마운트된다.

 

 

 

일단 각각 풀을 만들었다.

 

 

통신 암호화는 어디서 설정하는거지??

 

 

 

모르겠다.

 

일단 포트포워딩 설정해주고

계정 설정해주고

접속하니 잘 붙는다.

 

 

 

 

우와 속도가 끝내준다.

 

통신 암호화 (스니핑 방지)는 내일 찾아보는걸로 하고

(지금 새벽 1시이다)

일단 파일 왕창 옮겨야겠다.

 

CPU 점유율은 이전과 동일하나

RAM 사용량 (캐싱)이 미쳤다.

 

기껏 100MB/s로 밀어내는데

(그것도 자잘한 파일 수천개 넣을떄는 10MB/s 밑으로 떨어진다)

램을 그냥 퍼묵네.

스왑은 안 생긴다.

 

 

UI 만듦새가 정말 마음에 쏙 든다.

 

이게 무료라고? 싶을 정도.

 

 

 

 

하이퍼바이저의 기능도 있고

OpenVPN 서버의 기능도 있다...(!)

 

이런 옘병할거

 

2023.03.11 - [Engineering Log/On Premise Computing] - VPN서버 (재)구축기 - OpenVPN on Ubuntu VM

VPN서버 (재)구축기 - OpenVPN on Ubuntu VM

 

이딴짓 안 하고

trueNAS 깔아서 븨피엔 서버만 돌려도 되는것이었냐.

 

우분투 + VPN 보다 무거우려나.

 

 

일단 난민파일 복귀까지

맥주 한 캔 때리고 자러 가야겠다.

 

 

SMB 암호화나 나머지 부가 기능들,

특히 HDD  마운트포인트, Root 로그인 해제 등을

알아볼 예정이다.

 

 

 

 

29th Jul 2023

 

하아우 롱, 해즈, 디스, 빈, 고, 잉, 온

 

맨날 뭐 시작해놓고 잘 안 끝낸다.

 

어두일미와 용두사미를 합쳐서

용두일미... 가 아니고 (용 대가리가 제일 맛있다 ㅇㅈㄹ)

어두사미 (생선대가리 뱀꼬리)

ㅋㅋ

 

 

당근에서 E3 제온 + C칩셋 보드 + DDR3 ECC Unbuffered가 박힌

HP의 Z220 워크스테이숀을 데리고 왔다.

 

단돈 4만원.

 

 

와 이 구성을 2-3년전만 하더라도

10만원은 줘야했는데...

(것도 메모리는 대부분 별도 구매였음)

 

중고 하드웨어 가격이 미친듯이 나락으로 떨어지고 있다.

 

 

아직도 하스웰 완본체 컴 중고 시세가

10 ~ 15만원은 하는 시절인데

이 분은 좀 싸게 내놨다.

 

 

2CPU같은데 내놓으시지 그러셨어요 하니까

요즘 시세가 나락으로 떨어져서 그렇다고 한다.

 

보드는 버리고 CPU랑 램 정도만 빼다 팔까 고민중이라고 하시는데

나주세여...

 

 

 

이 녀석을 완전히 뜯어서

먼지는 빨아내고 (상당히 쌓여있었다)

써멀 재도포해주고 (완전히 돌가루가 되어있음)

찬찬히 뜯어보았다. 뻰찌 말고 눈으로.

 

 

 

SATA 4개에 (2개는 3, 6Gbps, 2개는 2, 3Gbps)

PCIe 3.0 x16 한 줄,

PCIe 2.0 x4 하나 x1 하나

끝.

 

 

확장성이 심각하게 떨어진다.

 

보드 규격은 ITX의 높이와 E-ATX의 너비를 쓰고 있으나

CPU의  패스스루 형태 Semi 패시브 쿨러도 독자적이고.

(케이스에 조이는 형태)

 

뭣보다도 파워 서플라이가 독자규격인게 큰 흠이다.

 

참새 코딱까리만한 케이스에 우겨?욱여? 넣기 위한건 알겠는데

너무 단촐한 파워 커넥터에 (개조를 하기가 두려운 수준)

처음 보는 형태의 규격..

 

값싸게 ECC 보드를 잔뜩 주워오려다가

결국 포기했다.

 

 

특히 최근에 파일서버 파워가 맛탱이 가면서

파워를 교체할 수 없다는 부분이 제일 걸렸다.

니트릴 장갑을 끼고 먼지를 닦았는데

작업을 마치고 나니 장갑이 누리끼리해졌다.

후면 IO이다.

 

DP 포트가 있는것 외에는 큰 특이사항이 없다.

아, LAN이 하나인 점도 좀 별로다.

 

뭐 나는 큰 상관 없다.

살면서 랜포트 고장난적은 딱 한 번밖에 없다.

그래도 CPU가 E3 1245V2로 달려있다.

 

솔직히 알리익스프레스에서 1220V2만 사도 이정도 가격 나와여...

한 2만원 줘야할듯.

 

 

ZFS 쓰려면 고사양 필요하다고 징징거리는 사람들

솔직히 2CPU나 중고장터도 안 뒤져보고

 

HPE 미니서버 (최소 100만원정도 들어간다) 신품 가격 보고

징징거리는 거라는 생각이...

 

 

 

 

아 참,

HP 워크스테이션 BIOS 진입은

 

컴퓨터 기동 하자마자

이스케이프 키 (ESC)를 막 눌러야

가능하다.

 

회사에서 버리는 HP 워크스테이션 껍데기만 봤기에

몰랐다. ㅋㅋ

 

당시에 E5 제온과 DDR4 ECC REG 램이 수북히 쌓여있길래

군침만 겁나 흘렸던 슬픈 기억이...

 

과장님 저 보드 (파워 고장)랑 저 파츠랑 (보드 나감)

저 파워 (케이스 파손 + 디스크 깨짐)랑 저 케이스랑 (원인불명 내장털린 껍데기)

조합하면 서버 하나 나오지 않아요?

 

응 왜

 

저 주면 안되요?ㅋㅋ

 

회사 기물은 잔존가 소멸로 버리는거라도

내부직원이 가져가게되면 문제생길 수 있음. 안됨

 

 

 

겁나 큰 통신랙이랑 제온 프로세서들이

수거업체사람들 손에 헐값으로 (다해서 10만원 받았나)

넘어가는데 정말 슬펐다.

 

 

 

나는 할게 너무 없어서 (유지보수직이 정말정말 싫었다. 지금도 끔찍하다)

오래된 하드디스크 천공이나 잔뜩 하고 있었다.

 

드릴프레스, 전문용어로 도루방이라고 한다, 가져와서

휘이이이이잉 드르르르르르륵 글긁륵ㄹ그륵르그르륾느ㅡ랴븜냥루ㅕㅂ 이이이잉....

 

설치는 진짜 빨리 끝났다.

 

쓸데없는 잡소리 쓰면서 오로라 덕질 하고 있는데

벌써 끝나버렸음.

 

 

ㅋㅋㅋㅋ

 

 

삼바 암호화 찾아봐야되는데

벌써 새벽 1시 30분이다.

 

 

 

29th Jul 2023

 

며칠만에 돌아왔는데

램에 ZFS 캐시가 그득히 쌓여있다.

 

 

어제 HP 워크스테이션 파는 아저씨가 생각이 나서

결국 질렀다.

 

CPU랑 SSD 제외, 개당 1.5만원

 

What a deal

으... 역시 먼지가 엄청나게 껴있다.

보드를 다 들어내고

남는 아이비 브릿지 CPU를 박았다.

 

하나가 모자라서

9세대 인텔 보드 살때 받은 커버를 끼웠음.

 

쿨러에 부식이 있는걸 보니

대기업에서 대량 방출한 잔존가 소멸품을 판 것 같다.

 

아마 창고에 (온습도 조절 1도 안되는 공간에) 있으면서 부식이 진행된게 아닐까 싶다.

 

 

쿨러 다 닦아내고나서

보드랑 램을 테스트했다.

 

사실 램때문에 산건데,

보드 여분으로 쥐고 있는것도 중요하다.

 

커스텀 파워를 쓰기 때문에 파워 역시 중요.

네 놈 다 문제 없이 잘 된다.

 

다다익램

파일서버의 램을 16GB로 늘려줬다.

 

크 서버 플릿 (fleet)이 그득하니

마음이 풍족하다.

 

 

 

이제 SMB 암호화로 돌아가야겠다.

 

 

이번에 산 HP 서버를 마루타로 이것 저것 실험해보고

세팅 먹일것만 골라 실제 서버에 적용할 예정이다.

 

 

 

 

2. 셋업

- Link Aggregation (Bonding)

4th Mar 2024

구축을 완료하고나서 손댈일이 없다가

어찌저찌하여 회사에 서버를 구축할 일이 있게 되었다.

 

집에서 기껏 작업 다 해놓고 시바거 진짜

가져왔더니 링크 에그리게이션이 안 먹는게 아닌가.

 

비활성화하였던 CLI (직접연결된 화면)을 어찌어찌 살려

설정을 만지작거렸다가

8번 Reset Configuration to Defaults 를 눌렀다.

 

나는 ㅅㅂ 네트워크 설정 초기화인줄 알았는데

....

 

다 날아갔다.

ㅜㅜ

 

 

 

 

 

아무리 해도 링크 에그리게이션이 안 먹어서

한참 찾다가 내 블로그 글을 보고 방법을 찾게되어

빡치는 마음에 항목을 추가한다.

 

 

새벽 4시 반에 일어나서 온 보람이라곤 1도 없다.

 

 

 

이전글을 가져와보면;

{

 

NIC (네트워크 인터페이스 카드) 설정을 한참 만지작 거렸다.

 

흠...

일단 라운드로빈은 성능저하가 너무 극심해서

(기가빗 이더넷 2개로 50MB/s도 못 뽑아낸다)

페일오버로 할까 하다가

일단 로드밸런스를 해보기로 했다.

 

솔직히 LAG는 별로 의미가 없다.

 

서버망 공유기 - 일반랜 공유기

커넥션이 기가빗 이더넷 1줄이다.

 

 

 

흠...

로드밸런스를 잡으면

(1번 1번 누름)

링크가 아예 내려가버린다.

 

Failover로 해야겠다.

 

 

 

아.

 

본딩을 하고나서 1번 컨피겨 들어간 뒤에

n

n

y

이렇게 하나하나 넘어가면서 DHCP 설정으로 간 뒤에

IPv6 no 정도만 설정하는 것으로

DHCP 설정을 해줘야한다.

 

그럼 바로  IP 할당이 된다.

 

 

 

나는 페일오버로 했다.

 

두 번이나 디폴트로 설정 초기화를 했다 ㅋㅋ;

아까 포트는 왜 죽은거지.

 

 }

 

결론:

 

다른 에그리게이션은 자동으로 설정이 안 먹는다. -> 설정이 안 먹어서 IP할당이 안됨, 그래서 Webui가 떨어져버린다.

WebUI로 바로 LACP를 붙이면 ip 설정이 절대 안 먹는다.

 

...

 

그럼 뭘 해야되느냐

 

1. CLI에서 (직결된 모니터 + 키보드) failover로 링크에그리게이션을 생성해준다.

(2 - 2 - 1 - 1)

2. CLI에서 failover의 ip세팅을 잡아준다

(1 - 1 - n - n - y)

3. Web UI에서 failover 를 LACP로 변경해준다.

 

Round robin 은 제 속도를 못뽑아내고

(링크가 붙은 스위치 / 공유기 단에서 제대로 밸런싱을 못해줌)

로드밸런싱은 모르겠다.

 

LACP는 2Gbps 속도를 완전히 뽑아주길래 (226MB/s) LACP를 해야겠단 생각을 한 것이다.

 

 

아 진짜 이거 또 언제 작업하냐

존나 빡치네.

 

 

 

 

- Email Notification

System - Email

 

구글 메일로 알림 메일 발송 설정.

 

이렇게 개인 시스템용으로 쓰는 구글 계정을 연동시켰다.

 흠 그렇구만.

 

계정으로 갔다 온다.

 

 

일단 루트 계정에 알람 메일 발송 주소를 추가해줬다.

 

System - Alert Services

 

끄적끄적 적고 나서 테스트 메일을 보내봤는데

구라치지 마라.

안 보내진다.

ㅜㅜ

 

 

https://www.truenas.com/docs/core/coretutorials/systemconfiguration/configuringthesystememail/

Configuring the System Email

아... 발송메일하고

수신메일하고 다르게 설정은 안되는거냐.

 

ㅜㅜ

 

아

 발송메일 설정:

System - Email (구글의 경우 계정 로그인)

Accounts - Users - Root - Email

 

수신메일 설정:

System - Alert Services - 메일 서비스 이름 - Authentication

 

 

나는 구글 메일하고 애플 메일 2개를 설정하고 싶어서

서비스를 2개 만들었다.

 

 

잘 된다.

 

 

테스트로 SSD SATA선을 뽑아봐야겠다.

 

 스스디 선을 뽑았는데

왜 네트워크도 같이 뽑히는거냐.

 

WebUI는 끊겼고

네트워크 연결도 안 된다.

 

왓더뻑? Hva Faen?

 

 

CLI도 맛이 갔고..

재기동을 시켰는데 서비스가 안 죽나보다.

 

 

아니 무슨 사타선 하나 뽑았다고 맛가는 OS가 어딨어

 

ㅅㅂ

 

 

결국 강제종료 후 재기동하였음.

 

얼럿이 온다.

(예정에 없던 재기동이 되었습니다)

 

 

 

 

아....

젠장.

 

서버망을 분리하면서

인터넷을 차단시켜놨더니

안된다.

 

제기랄.

 

메일만 릴레이해줄 서버 (VPN 서버가 릴레이 해줄 수 있는데)가 필요한데

어떻게 하는지 모르겠다.

 

일단 포기.

 

- 계정

 

Accounts - Users

 

Root 수정부터 하자.

오른쪽의 > 를 눌러

아래로 펼친 뒤 Edit으로 수정한다.

 

 

루트 계정의 경우 별로 뭐 만질게 없다.

 

메일만 추가해줌.

(실제 구글 계정과 동일한 주소로)

 

 

- UI 보안 설정 (HTTPS)

 

System - General - Web interface http to https

 

http 접속을 막을 수는 없나보다.

젠장

 

찾아봐야겠다.

 

 

TLS v1.2 와 v1.3 차이는 뭘까.

https://www.a10networks.com/glossary/key-differences-between-tls-1-2-and-tls-1-3/

Key differences Between TLS 1.2 and TLS 1.3 | Glossary | A10 Networks

그렇구만.

 그렇구만.

 

그럼 TLS V1.2 꺼도 되여?

 

https://learn.microsoft.com/en-us/answers/questions/491365/windows-server-how-tls-1-2-disable-and-use-only-tl

Windows server: How TLS 1.2 disable and use only TLS 1.3 - Microsoft Q&A

 

예상했던 대로 지원 OS와 애플리케이션만 확인하고

문제 없으면 꺼도 된다.

 

 

이렇게 꺼봤다.

 

현대적인 OS에선 잘 붙는다.

 

오키.

 

 

 

- Samba Encryption

 

결론부터 얘기하자면

 

 Services - SMB - Advanced Options - Aux Params

 

 

server signing = required (무결성 부분이라 빼도 됨)

 

client smb encrypt = required
server smb encrypt = required
server smb3 encryption algorithms = AES-256-GCM
client smb3 encryption algorithms = AES-256-GCM

 

 

 

https://www.reddit.com/r/truenas/comments/z9q6g5/enabling_smb_encryption_in_trusnas/

From the truenas community on Reddit

레딧에서 TrueNAS 상 SMB 통신 암호화 셋업에 대한 아티클이 있다.

https://www.samba.org/samba/docs/current/man-html/smb.conf.5.html 

smb.conf

 

혹시 레딧 서버가 터지거나, 글이 삭제되거나

레딧 서비스 종료가 공표되는 경우를 대비해

박제를 해두었다.

 

 

일단 순정(?) 상태에서

Wireshark로 스니핑을 해보았다.

 

 뭔놈의 리퀘스트가 저렇게 많이 가는거냐.

 

 이러한 텍스트 파일을 쏴보기로 했다.

15 byte짜리 파일이라

패킷 하나에 다 담겨서 가지 싶다.

 

 

 순서를 보면

 

1. 124(맥 미니) -> 127 (서버), Untitled.rtf.txt란 파일이 존재합네까?

2. 127 -> 124 그런 파일 없읍네다.

3. ???

4. 124 -> 127 전체 파일 주세여?

5. 127 -> 124 여기여

 

...

나 여기 파일 쓸 수 있음?

ㅇㅇ

....

 

...어쩌고저쩌고 한참 떠들다가

 파일생성 리퀘스트

ㅇㅋ

 

생성할 파일의 이름이 고대로 적혀있다.

 

 진짜 한참 찾았네.

 

아까 15 바이트라고 그랬다.

Write Request

Len: 15

보이는가.

 

 페이로드에 그대로 떡하니 박혀있다.

소오름

ㅋㅋ

 

 

하나 더 보내보자.

 

 2.txt 파일이고 내용은 이렇다.

 230 바이트짜리 파일을 보내겠다.

 

한글은 깨졌다만

영어는 잘 보인다.

 

 해당 패킷의 Data에 우클릭 후

Export Packet Bytes...

선택하여

저장.

 

 230 byte라니

수상하지 않은가.

 확장자를 txt로 바꿔주고 열어보면

 스니핑이 잘 되었다.

 

단순히 텍스트 파일만 스니핑이 되는게 아니고

오가는 모든 파일을 이렇게 스니핑하여

빼갈 수 있는 것이다.

 

 

일단 SMB 3로 변경하고

암호화 작업을 수행해야곘다.

 

macOS에서 현재 삼바 연결 상태를 보기 위한 명령어

 

smbutil statshares -a

 

 

삼바 암호화 설정은

(딴짓만 돌고 돌다가 이제서야 들어왔다)

두 가지 설정이 있다고 한다.

 

하나는 글로벌 설정,

하나는 각개 설정.

 

리눅스에선 smb.conf에서

[global], [each] 이렇게 한 파일 내에 나눠져있지만

트루나스는 각자 다르게 선택한다.

 

 

=> 글로벌만 설정하면 된다.

 

 

 

글로벌 설정:

 Services - SMB - Advanced Options - Aux Params

 

server signing = required
client smb encrypt = required

두 줄을 넣고 Save.

 

 

각 디렉토리별 설정:

 Sharing - Windows Shares - 해당 디렉토리

 

하단에 Advanced Options 눌러서 확장한 뒤

우측 하단의 Aux Params 에 기입한다.

(smb.conf에 추가할 항목들 기재하는 곳이라고 뜬다)

 

흠... 서비스가 꿹하고 죽어버렸다.

 

그러고보니 전에 어떻게 암호화를 적용했는지

기록을 아무리 찾아봐도 안 보인다.

 

글로벌만 했던 것 같은데....

 

 

 

https://www.samba.org/samba/docs/current/man-html/smb.conf.5.html

smb.conf

너무 지저분해서 안 봤는데

결국 여기로 계속 링크가 걸린다.

아하.

 

앞에 -를 붙이면 해당 알고리즘은 쓰지 않곘다고

선언하는 것이라고 한다.

 

 

그래서 레딧 유저가 128비트 알고리즘 2개를 "뺀 것" 이라고 한거구나.

 

GCM이 CCM보다 우월하다고 들었던 것 같다.

 

나는 AES-256-GCM만 허용할 예정이니 - 프리픽스를 붙일 필요가 없겠다.

 

 

 아니 시밤 Server랑 Client랑 뭔 차인거여

 

설명은 똑같은데 왜 둘이 이름을 다르게 한거냐

맞을래

 

이렇게 "똑같은" 내용을 두 번 써도

에러 없이 먹는다.

 

 

Signing 알고리즘은 3가지가 있나보다.

AES-128-GMAC, AES-128-CMAC, HMAC-SHA256

 

찾아보니 강도는 비슷하고

연산은 AES가 좀 더 오버헤드 적은 것으로 보인다.

https://datatracker.ietf.org/doc/id/draft-lebovitz-ietf-tcpm-tcp-ao-crypto-01.html

Cryptographic Algorithms, Use, & Implementation Requirments for TCP Authentication Option

 

 

어차피 Signing은 MAC으로 무결성 검증이니까.

 

 

흠

 

이거 Signing은 (서명) 필요 없겠는걸

 

오버헤드만 늘어나고

무결성은 macOS + TrueNAS 쪽에서 다시 검증하지 않을까?

 

성능비교를 해봐야겠다.

 

 

...?

세팅값을 저장하고 (aux param)

서버를 떼었다가 다시 붙였는데

 세팅값이 안 먹었다.

 

128비트랑 CCM 쓰지 말라고...!!

 

 

에라이씨

 

콘솔로 들어가서 직접 봐야겠다.

 

/usr/local/etc/smb4.conf

 

 잘 들어가있다.

 

서비스 재기동은 한거냐?

 

수동으로 껐다 켰음에도 여전히 동일하다.

 

 

레딧 유저 말대로 디렉토리별로도 설정을 해줘야 하는 건가...

 

 텅 비어있다.

 

 

레딧유저의

smb server encrypt = required

는 아예 안 들어가서 (변수명이 뭔지 알 수 음슴)

 

server smb encrypt = required

로 했더니 저렇게

글로벌 파라메터는 안됩네다

이지랄을 하고 있다.

 새벽부터 빡치네...

(오늘은 05:30에 일어났다. 수면시간 2시간 30분... 잠이 안 온다)

 

 

 서버 재기동 해봐야겠다.

 

안된다.

 

아까 server랑 client랑 설명은 똑같으면서

이름만 달라서, 둘 다 박아봤다.

 

(지금까진 client만 있었음)

 

와 시밤 됐다.

근데 나머지 알고리즘은 왜 안 떨어지고 살아있는거냐.

 -를 줘봤다.

 흠...

AES-256-GCM은 빼고

- 프리픽스 붙은거만 박아볼까.

 

 

여전하네...

그와중에 SMB 1은 왜 살아있는거지??

 

이건 맥쪽 설정인건가?

 

Hva FAEN ??

 

아 안되겠다.

 

호작질용 리눅스 머신을 하나 깔든지 해야것음.

 

 

https://support.apple.com/en-us/HT211927

How to disable SMB 1 or NetBIOS in macOS

 

갑자기 넷바이오스가 튀어나와...?

뭔데 그게

 

https://texit.tistory.com/32

Windows 컴퓨터 이름과 NetBios 이해하기

 

그렇구만.

 

버려.

 

macOS는 호환성땜시롱

SMB1이 기본적으로 켜져있다.

 그런 파일이 없는데여...

아니 시밤 없으면 만들라는 말을 써놔야할거 아냐

 아... ㅈㅅ

 요 애트리뷰트는

서버사이드가 아니고 클라이언트 사이드 (맥쪽 설정) 인가보다.

 

휴

 

 

스니핑을 다시 해볼까나.

파일 올리고 자시고 할 것도 없이

내용 자체가 암호화되어있다.

 

단순히 폴더 열었을 뿐인데도 내용을 볼 수가 없다.

 

 

 

일단 진짜 서버에 세팅값들을 적용하고 와야겠다.

흠...

세숀 시작시 유저 네임이 평문으로 노출되는 문제가 있다.

 

비번 말고 이름만 노출인데도 문제인 것은

내가 어떤 계정을 쓰는지 알게 되면

브루트 포스 공격시 절반은 해결한 것이 되기 때문.

 

 

옘병할거... 커베로스 서버를 (SSO) 또 구축해야되나.

 

일단은 맥이나 윈도우 로그인 계정이랑 다르게 설정하고나서

키체인에 걸어둬야겠다.

 

 

 

 

삼바 트래픽 암호화를 해보면

사람들은 늘 Signing 옵션을 넣는다.

 

일시적이고 일회성이 강한 인증서 전송과 다르게

대용량 파일을 보내는데 패킷별로 무결성 검증을 해버리니

쓰루풋이 처참하게 바닥을 긴다.

 

 

외부 인터넷을 통해서 오가는 데이터라면

중간에 가로채 변형된 파일을 보내는 MitM 공격을 대비해서

무결성 검증도 (MAC) 하는게 좋겠다만

 

나는 거기까진 필요가 전혀 없겠다고 판단.

 

물론 해쉬 연산 성능이 좋아서

오버헤드가 적다면 켜두겠다만

 

이미 VPN 서버가 헥헥대는 셀러론 + 싱글채널 DDR3 콤퓨타인지라

지금 이 글을 로딩하는데도 코어 0번 점유율이 50%를 웃돈다.

 

 

거기에 클라-서버 (삼바) 해쉬연산까지 해버리면

답이 없을 것 같다.

 

 

Signing 옵션을 빼버리고 VPN을 통해서 파일 입출력을 해보면

아주 매끄럽게 진행된다.

 

3. 트윅 Tweak

- 뻘짓의 시작 (계정 삭제, 계정별 디렉토리, 윈도우 SMB 연결 불가)

 

 

...????????

기존에 올려뒀던 파일들이 안 보인다.

 

아 ㅅㅂ

 디렉토리가 다르게 잡혔다.

 

 

미치겠다.

 

어떻게 잡는지 모르겠다.

 

ACL인지 나발인지 줘보고

기본 디렉토리도 줘보고

똑같은 계정이름으로 다시 만들어서 뻘짓을 해봐도

안보인다.

 

디렉토리는 살아있는데

풀에서는 안 보인다.

 

아 진짜 돌아버리것네.

 

셸로 접근해서 mv 명령어로 이동을 시키고 있는데

 

 미친듯이 읽고 쓰고 있다.

 

맥처럼 디렉토리 메타데이터만 바꾸는게 아니고

물리적으로 진짜 이동을 시켜야되나보다.

 

더 문제는 막 만지작거리니까

삼바 로그인도 안되고 진짜 개판이다.

 

 

그냥 디렉토리 날려버리기로 결정하였다.

 

와 시바 지우는것도 리소스 퍼먹는다.

 

걍 포맷해야겠다.... ㅜㅜ

ctrl c도 안 먹는다.

 

걍 맛이 가버렸음...

 

 

TrueNAS 이거 개쓰레기네 진짜...

(본인이 잘 못쓰면 쓰레기가 된다 ㅋㅋ)

 

셸 화면을 나갔다 오면 해당 커넥션은 끊기지만

나가기 전에 시켜놓은 작업은 살아있다.

 

미치곘다.

ㅜㅜ

 

그냥 우분투에 ZFS 깔아서 쓸까? ㅜㅜ

하하...

문제해결은 브루트포스지.

 

 

암호화를 적용하지 않고 그냥 만들었다.

도둑노무샛기가 스스디만 뽑아 훔쳐가서

집에서 TrueNAS 깔고 DB 살리고 읽어보는 짓을 하지 않으면

별 문제가 없다.

 

 

 

디스크 파기할 때 제로필 랜덤필

그런거 필요없다.

 

자동차 앞바퀴로 깔아서 뭉개면 된다.

 

나는 SSD가 뻗을 때까지

보내주지 않고 혹사시킬 예정이다.

 

Scrub scrub scrub ... SATA3 not detected

 

https://tech.gluesys.com/blog/2022/09/21/TrueNAS.html

글루시스 기술 블로그

이번에는 그룹을 따로 만들어주고

거기에 유저를 하나 박아봤다.

 

(메인 파일 스토리지로 호작질을 하고 있다 ㅜㅜ)

 

 

이놈이 문제였나보다.

 

나는 해제했다.

 

다른 블로그를 찾아보면서

Pool - Dataset 을 보고 나서

풀 안에 데이터셋을 만들어줬다.

 

 

 이렇게 ACL을 활용하는..?

방식으로 해봤다.

 

 둘 다 뜬다.

 

문제는 읽고 쓰고 변조할 수 있느냐.

 

 

 

자알 된다. Few.

 마침 두아 리파가 손을 흔들어주고 있다.

겁나 귀엽네 ㅋㅋ

 

두아는 분명 섹시컨셉으로 나오는데

(모델 출신이라 춤은 못 추는데 기럭지가 끝내준다)

내 눈엔 왤케 귀엽게 보이는지 모르겠다.

 Tiny Desk Concert에서

해맑게 웃는거 겁나 귀엽다 ㅋㅋ

중간에 뚬치 뚬치도 ㅋㅋㅋㅋㅋ어도러블

 

처음에 목소리에 반해서 팬이 되었는데

나중에 뮤비를 찾아보니 춤을 정말 못춘다.

그래서 더 마음에 들었다.

 

 

오로라도 그렇고 두아도 그렇고

너무 어릴적에는 별로 예쁘다는 느낌이 안 드는데

20대 후반이 되면서 머투어, 머쳐 (mature) 한 느낌을 점점 뿜어내니까

오... 정말 매력적으로 느껴진다.

7년 전의 두아와 (좌) 현재의 두아 (우)

(2023년 기준)

 

7년 전의 오로라와 (좌) 1년 전의 오로라 (우)

 

내 취향이 20대 중후반이라서 그런진 모르겠다만...

그러고보니 20대 초반에도 여자친구 두 명이나 30살 전후였다.

ㅋㅋ;

나이가 먹어가면서 취향은 안 바뀌어서

점점 동갑내기로 가까워지더니 그만...

 

비혼주의자가 되어버렸다.

 

 

저 둘의 경우 아주 대표적인 케이스로

10대 후반보다 20대 후반이 훨씬 매력적으로 느껴진다.

 

잘 숙성이 되었다. 머투어.

 

 

또 또 샛길로 샌다.

개소리 그만하고.

여튼.

 

굿.

 

 

 맥에서 붙인 상태에서

Windows로 붙이려니 안 붙는다...?

 

아나 아까 그 짤 어딨어

 

 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

 

 이건가??

 

안되는데....

 

계정 추가.

 

안되네.... ㅅㅂ 뭐가 문젠거지 ㅜㅜ

 

 

테스트 섭에 붙여도 안된다.

 

암호화가 걸리는거냐?

 

 

와

암호화 알고리즘 옵션을 싹 빼고 나니까

 바로 뙇 붙었다.

 

 뭐지??

Windows에선 SMB2 로 붙는건가??

진짜 한참 찾았네.

 

AES 128 GCM을 추가로 허용해줬다.

 

macOS에선 256으로 붙고

Windows 10에선 128로 붙는다.

 

Windows 11로 올라갈까 싶다가도

곧 12 나온다는데... 걍 써.

 

 

 

Windows 에서 SMB 안 붙을 때

(Access Denied)

AES 알고리즘쪽에 문제가 있는지 확인할 것.

 

Windows 10 은 AES 128 CCM/GCM만 지원한다.

 

 

에라이 씨밤.

 

 

- 프로세서의 하한 성능 Test (Feat. 전력소모)

 

실제로 사용할 서버

- 1220V2 (4C 4T 45W TDP)

- 16GB RAM (4GB ECC x 4)

 

테스트 서버:

- 1245V2 (4C 8T 77W TDP)

- 16GB RAM (상동)

 

굴러다니는 서버:

- Pentium G2030 (2C 2T 55W TDP)

or

- Celeron G550 (2C 2T 65W TDP)

- 16GB RAM (상동)

 

 

 

질문 1.

과연 아이비브릿지 펜티엄이나 셀러론으로도

이정도 로드를 감내할 수 있을까?

 

질문 2.

셀러론 / 펜티엄은 실제 TDP가 낮은가?

 

질문 3.

전성비는 어떤지.

 

 

 

이번 테스트에서

- 같은 보드

- 같은 RAM

- 같은 POWER

- 같은 SSD

를 사용하였고,

HP Z220 하드웨어이며

SSD는 2장 (250GB WD Green, 120GB 미상의 돌하르방(?) 트랜센드 SSD)

이 들어갔다.

 

쉽게 말해서 CPU만 바꿔 끼웠다.

 

써멀의 경우 중국의 HY610 싸구려 써멀을 사용.

 

이더넷 외에 연결된 IO 일절 없음.

(전원선, LAN선, 끝.)

 춘장묻은 전력측정기로 한 번 봐야겠다.

총 54GB의

- 영상파일 (100~500MB)

- ISO 파일 (1 ~ 8GB)

데이터를 옮기면서 전력소비량을 봐야겠다.

 

 

 

일부러 1-2분정도 기다렸다.

 

ZFS 캐싱으로 램이 꽉 차도록.

 

초당 113MB/s의 속도로

파일을 잘 밀어내고 있고,

 

소비전력은 33 ~ 36W를 오간다.

평균 35W정도 된다.

 

 

 

이제 컴터 뜯어서 펜티엄이랑 셀러론을 적출하자.

 아 써멀이 아틱 MX5였구나..

+ 부팅시 USB 무선 키보드마우스, 모니터 잠깐 연결

(CPU 변경으로 부팅 중지됨)

후 절체

 

본체 뉘임

(처음엔 서있었음)

 

정도의 차이가 있겠다.

 

전력소비량 측면에서는 유의미한 차이를 보이지 않으리라 생각된다.

 

 

펜티엄으로 부팅하였다.

(펜티엄의 경우 전원선을 잘못 꼽아서 교체하고 다시 부팅, 헤드리스로 부팅하여 연결된 IO는 1245V2와 동일)

 

 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

성능이 너무 딸려서 기가빗 이더넷 속도를 못따라간다.

 

처음엔 CPU 점유율 90%를 찍다가 속도가 60MB/s대로 하락하면서 70% 중반으로 떨어졌다.

 

파워는 31.3 와트에서 고정이다.

 

온도도 착하고.

 

 

4와트 아껴서 성능을 1/10 토막내는건 의미가 없을 것 같다.

 

아마 AVX 명령어가 누락되면서 성능이 뚝뚝 떨어지는게 아닐까.

AES도 하드웨어로 지원하질 않는다.

 

셀러론은 테스트하지 않기로 결정하였다.

 

지금 박아둔 1220V2 면 낮은 TDP와 괜찮은 성능으로

딱 적당하지 않을까 싶다.

 

 

 

 

- ARC 용량 설정

 

 

https://admion.net/how-to-use-zfs-at-freenas/

ZFS 다루기 - 어드미온

흠.

 

단위가 Giga 바이트인지

Gibi 바이트인지...

 

1 Giga Byte =  1000 Mega Bytes

1 Gibi Byte  = 1024 Mibi Bytes

 

적어놓은걸 보면 Gibi (GiB)를 의미하는 것 같다.

2^10

 

 

https://www.truenas.com/solution-guides/

Solutions Briefs & White Papers - TrueNAS - Welcome to the Open Storage Era

백서까진 찾았는데..

저 사람이 떠드는 부분 더큐먼트를 찾을 수가 없다.

 

 

에이씨... 나중에 해야지.

 

급한거 아니니께.

 

- 고장 시나리오 테스트 (로직보드 사망, SSD 사망)

 

현재 사용중인 장비는 제조된지 10년이 넘은

낡은 보드이다.

 

 

이미 같은 칩셋 (C216?) 인텔보드가

서비스 중 사망한 이력이 있다.

 

보드 칩셋 냉납으로 보인다.

 

전원 인가시 삑삑거리면서 부팅 자체가 됐다 안됐다 하고

(RAM 불량으로 갔다가, CPU 불량으로 갔다가...)

간신히 어찌어찌 부팅을 해도

곧 커널패닉이 뜨면서 컴퓨터가 멈춰버렸다.

 

파츠 싹 다 바꿔보고

나중엔 CPU랑 RAM 빼고 기동시켜봤다.

 

PCIe 에러를 띄운다.

 

 

힛싱크 떼고 열풍기로 조졌더니

며칠 돌아왔다.

 

그러나 서버 냉각이 잘 안되서 그런건지

다시 돌아갔다. 반쯤 정신나간 상태로.ㅜㅜ

 

 

 

서버 보드가 언제 죽을지 모르는 상황이다.

 

메인보드가 사망할 경우

다른 보드로 교체하면,

다시 말해서 SSD만 빼다가 다른 서버에 꼽으면

잘 작동하는지 테스트를 해봐야겠다.

 

일반 Windows 랑 Ubuntu Server는 별 탈 없이 잘 된다.

 

 

일단 테스트용 서버 구성을 바꿔볼 예정이다.

 

4장의 SSD를 사용할 예정이며,

1 장의 킹스톤 120GB SSD NOW

3 장의 마이크로닉스 120GB WARP B2

로 구성할 예정이다.

 

 싸구려긴 한데

(마이크로닉스는 파워만 봤지 SSD는 최근에 출시한 제품이라 검증이 안 되었음)

없는거보다 나은, 막 쓰다가 고장나면 (차로 깔아 뭉갠 뒤) 쓰레기통으로 직행할

그런 마구잡이 SSD로 딱이다.

 

120GB SSD가 어떻게 1.3만원밖에 안하냐

정말 싸다.

 

(전에 Crucial BX 스스디를 사봤는데 디었다.

기가바이트 저가 SSD는 괜찮았고,

이번 Warp B2 도 괜찮다.)

 

 

 

A. 로직 보드 사망

1. 같은 제품 다른 보드

돌고 돌아 21th Aug 2023, @ 00:21 이 되어서야

이 토픽으로 돌아왔다.

 

정말 바빴다. ㅜㅜ

2023.08.13 - [Electronics log/Electronics Log (as Consumer)] - 구형 맥북 SSD 교체 Log (15년 프로, 17년 에어)

구형 맥북 SSD 교체 Log (15년 프로, 17년 에어)

 배송받은 SSD는 쳐박아뒀다가

이 작업을 할 때 백업용으로 썼다.

 

작동은 잘 된다.

 

윈도머신에 물리고 스트라이프로 3개를 엮었더니

800MB/s 의 속도가 뽑혔다.

 

 정확히는 Raid z 이지만

편의상 Raid 5로 이름을 붙였다.

 

 서버 메세지 블럭 (SMB)을 활성화하고

접속.

 

아맞다 데이터세트

데이터셋 안에 만들고

이를 SMB 공유로 해줬다.

 

ACL에는 유일한 테스트용 유저를 박고

 OS 설치 이미지 두 개를 넣었다.

다 옮겼으니 전원을 끄고

스스디 네 장을 옮겨심어봤다.

동일한 Z220 다른 본체에 SSD를 꼽았다.

부팅은 같은 Sata 0번 포트에 꼽았고

나머지는 일부러 섞어서 꽂았다.

 

부팅할 때 Secure Boot 에러가 나면서

부팅이 아니되길래

시큐어 부트를 꺼주는 작은 힉껍이 있었고,

 

별다른 문제 없이 잘 켜졌다.

 

 보드가 바뀌면서 Ethernet의 MAC 주소도 바뀌었고

그로 인해 IP 주소가 바뀐점 외에는

아무런 문제가 없다.

 

 

2. 다른 제품, ECC 지원 보드

 

일단은 다른 제품이 없어 걸러본다.

조만간 하이퍼바이저를 내리고

이 HP 제품이랑 맞교환할 예정이다.

 

 

 

3. 다른 제품, 일반 PC 보드

 자알 된다.

 

ECC가 없어졌는데 이에 대한 워닝은 없는게 좀 아쉽다.

 

보드 뻗어도 걱정할 일은 없을 것같다.

 

 

 

 

B. SSD 돌연사

나는 정말 운이 좋은건지 나쁜건지

SSD가 죽는 모습을 본 적이 없다.

 

 

지금까지 겪은 컴퓨터 부품 사망 중 기억나는 것들: (인텔 네할렘 이후부터, DDR3 이후)

- 메인보드 사망 5건 (인텔 서버보드 C216, 기가바이트 H81, MSI H97, 바이오스타 기억안남, ECS 기억안남)

- 램슬롯 사망 3건 (Asrock H81 2장, 폭스콘 (삼성 OEM) Core2 Duo + DDR3)

- 파워 정신나감 (부팅 간신히 되나 불안정) 2건 (잘만 600W, 기가바이트 400W)

- 램 모듈 고장 7-8건 (삼성 시금치 DDR3 2GB ~ 4GB)

정도 된다.

 (처음부터 고장난 녀석들 제외)

 

120GB SSD가 3만원대,

그 것도 WD Green같은 보급형이 그정도 가격을 형성할 때

짜장면 그릇에 담겨온 듕긕산 재활용품 SSD,

GoldenFur, KingSpec과 같은 e-Waste 재생품 SSD를

1만원 안팎으로 여러장 샀다.

 

 

당근으로 동네 폐 컴퓨터를 쓸어와서

HDD 슬롯이 많은 컴퓨터 케이스를 잔뜩 구했다.

왜 트렁크 사진은 안 찍은거지

액티언 스포츠 적재함에도 컴퓨터가 꽈악 차있던 날이다.

 

 

당시 약 100대정도 모았던 것으로 기억한다.

(그 중 사용 가능한 (미관상 처참하더라도) 케이스가 약 60여개)

 

80386이 박힌 아-주 구형 컴퓨터 1대는 이베이에 몇백불을 받고 팔았고

(당시 살려내느라 개고생을 했다. 보드에 부식 하나 없이 잘 돌아갔음)

AMD의 불도저나 인텔 Pentium 4처럼 기념으로 소장할만한 녀석들도

몇십불을 받고 코쟁이들에게 넘겼다.

 

 

 

케이스를 벗기면서

(mATX용 케이스는 뒤돌아보지도 않고 차 바퀴로 깔아뭉갠뒤

CPU 쿨러와 하드디스크 등등 모아서 고철로 팔았다 ㅋㅋ)

아직 현역인 컴퓨터들이 꽤 많이 보였다.

 

 

그 중 775소켓 Core2Duo ~ 소켓 1150 하스웰 컴퓨터들 중 고장난 녀석들이 꽤 있었는데

단순히 전원 스위치가 고장난 놈부터

메모리 접촉불량 (또는 메모리나 소켓불량)처럼 수리가 간단한 애들,

CPU 자체가 구려서 폐기된 정상컴까지

팔만한 파츠가 잔뜩 쌓였다.

 

 

CPU 교체할 녀석은 (CPU가 죽었거나 펜티엄 셀러론 녀석들)

듕긕에서 짭제온 (E3 아이비브릿지 ~ 하스웰 1220V2~V3)을 사다 끼웠고

(당시 가격이 20불 미만이었다)

 

램이 죽은건 2CPU에서 쓸어오거나 다른 컴에서 뺀 램으로

보통 풀뱅을 채워 완성하고...

(8GB - 2GB 4장 또는 4GB 2장 등등)

 

대부분 시세 15 ~ 20만원짜리 컴퓨터에 들인 돈으로

3-5만원? 들여서 10 ~ 15만원으로 시세보다 싸게 팔면서

차액으로 돈을 꽤 쏠쏠하게 벌었다.

 

 

특히 동네 할배들

고스돕용 컴퓨터로 5만원짜리를 조립해 당근에 올려두면

효도르 컴으로 미친듯이 팔려나간다.

 

개조제온 L5420 4C4T + DDR2 4GB (1기가 4장) + 64GB SSD + Win 10 인증

당시 개조제온은 (771소켓 제온을 개조해 775 소켓에 끼울 수 있게 함) 보드 BIOS를 개조해

제온 명령어를 지원하도록 추가하였고,

GT210같은 화면표시용 그래픽만 달면

(전성비는 쓰레기지만) 고스돕정도는 잘 돌아가는 컴퓨터가 완성되는 것이다.

 

당시 '단가가 나오냐'는 질문을 종종 받았는데

그럼요. 단가 나오죠.

경유 기름값이랑(액티언 스포츠 평균 연비는 10.5km/L, 진짜 광기의 발컨을 하면 11.5km/L)

로동비용 (+ KF94 마스크 + 디월트 20V 드라이버 충전비용 + 청소기 전기료)

빼고 단가가 없는걸요. 나머지 다 마진임.

모든 부품은 폐 컴퓨터 중에 개조제온을 받아들일 수 있는 녀석들로 구성된건데..ㅋㅋㅋ

 

심지어 케이스는 삼성 매직스테이션 LP를 써서

(파워도 FSP OE라서 내구성이 끝내준다)

'와 대기업 제품이네' 하는데 ㅋㅋㅋㅋㅋㅋ

할배요 보드는 MSI인데여..ㅋㅋㅋㅋㅋㅋ

(삼성 매직스테이션 775보드, 폭스콘 DDR3 + 775소켓 Core2Duo 보드는

별 지뢀을 해도 개조제온이 안 된다)

 

 

 

조선족 딜러를 알게 되어 당시에 제온 L5420을 장당 5천원에 벌크로 사왔다.

40장인가 사서 30장정도 쓰고 나머지는 당근으로 8천원에 팔았다.

 

그 10명 중 5명은 어렵다면서 보드 호환성 확인 + 바이오스 개조를 요청했다.

비용으로 2만원 달라고 하니까

이미 구매한 L5420을 책상위에 올려놓고

결국 짭제온 E3 1220V2 와 H81보드 (옥션에서 2만원에 떼와 2만5천원에 팖)를 달라고 한다.

 

5명 모두 작은 삼촌 ~ 아부지뻘 아재였다.

자기가 젊었을 적에 애플 클론을 어떻게 썼고 뭐

윈도우 ME (밀레니얼 에디숀)이 출시됐을 때 어떤게 참신했고 등등

옛날옛적 자기 자랑을 꺼내면서 아쉬움을 토해내면

 

아재와 같이 둘이서 껄껄 웃으면서 다 받아주고 비위를 맞춰줬다.

옥션에서 2만원하는 보드인데 조립 테스트까지 해서

(미화 달러로 적힌 제온 매입 내역을 보여주면서) 내가 구매한 비용이 얼마고 수고비 5-6천원

괜찮으세요? 하면 (자기 얘기를 잘 들어줘서) 기분이 좋아진 아재들은

흔쾌히 그러시죠! 한다.

 

ㅋㅋㅋㅋㅋ'이런게 장사다' 라는걸 배웠다.

 

 

 

 

인텔 8세대 보드 + 16GB DDR4 + 1050Ti 박힌 컴도 있었는데

고놈은 파워만 죽은 것이라

마이크로닉스 중고 파워를 끼워서 40만원? 정도 받았다.

 

i5 8세대가 박혀있었는데 (6C6T i5 8500였던 것 같음)

구매자 왈 Among Us랑 축구게임 (피파?) 정도면 된다길래

사양을 찾아보니 i3 9세대 (4C4T)로 충분했다.

 

당근으로 i5 8세대 팔고 i3 9세대를 사와서 (차액 이득)끼웠다.

(보드 바이오스 업데이트 해서 9세대 지원했나. 아 9세대 10세대였나. 기억이 가물가물)

 

당시 스트레스 테스트 모두 통과한걸 보면 파워 죽을 때

다른 부품은 다행히 안 데리고 갔다.

 

 

 

스토리지 사망 시나리오 얘기하는데

왜 갑자기 폐컴 재활용 용팔이짓으로 돈 번 얘기를 잔뜩 하냐고?

 

당시에 (케이스와 함꼐) 이렇게 중고 하드디스크를 많이 구할 수 있던 이유는

무료로 수거한 폐컴퓨터 중에 상당수가 HDD만 달려있었기 때문에

Windows를 깔아서 팔려면 (이베이에서 Key를 사다가 수십대를 인증...라이센스 위반 오지게 했다)

싸구려 SSD가 많이 필요했기 때문.

 

 

 

짱깨 SSD가 성능은 좀 구려도

사망한 놈이 하나도 없다.

 

뭉테기로 샀다. 알리에서 판매자에게 쪽지를 보내

10개 단위로, 박스 포장 없이 벌크로 보내달라고 하면 싸게 줬다.

(한 번에 20개정도씩 샀던 기억이 있다.)

 

오히려 신품으로 BX500을 사다 끼운 컴퓨터 (AMD 1500이었나 4C8T 조립컴 주문을 받아줬다)에서

프리징이 심해 컴플레인이 들어와서 무료로 AS를 해준 적은 있다.

(당시 ECC 없는 서버도 팔고 교회 네트워크도 구축해주고...

랜선 오지게 잘 찝는 동네 컴팔이 소년이었다)

 

 

 

모든 SSD 시리얼 넘버가 똑같고

안에 뜯어보면 기판이 제각각이면서

IC칩의 마킹은 모두 지워져있고...

 

누가 봐도 고장난 SSD 쓰레기 주워다가

땜질로 엮어서 진정한 좀비 SSD를 만든 것임에도

3년동안 SSD 사망 컴플레인은 1건도 없었다.

 

폐기컴에 달려있던 도시바 / WD Green / Adata / 리뷰안 / 타무즈 등등

싸구려 SSD조차도 성능하락 크게 없이 (300MB정도 뽑힌다)

잘 돌아갔다.

 

물론 캐싱을 위해 윈도우 설치시

끄트머리 20GB정도는 일부러 빈 공간을 두었다.

 

 

당시 내가 컴퓨터를 빠르게 + 많이 팔 수 있던 것은

1년 무상수리 보증 + 시세보다 약 5 ~ 8만원 저렴한 가격

덕분이었다.

 

때문에 RAM 모듈이 뻗어버리거나, ODD가 고장나 CD를 씹어묵는 경우가 있어

스페어 파츠로 무상수리를 해줬지만 SSD 사망으로 부팅불가건은 한 번도 없었다.

 

 

당시 '군대갔다 왔더니 엄마가 이상한 컴을 주워왔네' 컴플레인과

(SSD가 왜 듣보잡 64GB인건가요)

'기증한 내 컴퓨터가 왜 팔리는건데' 컴플레인이 들어왔다.

(당시 내 캐치프레이즈는 '연구용 컴퓨터 케이스 확보를 위한 고장컴퓨터 무상수거' 였다.

자기가 '기증'한 컴퓨터랑 똑같이 생긴 (케이스만 같은) 놈이 매물로 있으니 지랄을 할 수밖에)

 

동사양 인터넷 매물보다 5-7만원 저렴한 가격,

1년 무상보증을 위한 영수증 (당시 Web 서버 + MariaDB로 시스템을 구축해 보관함)과 거래내역,

고객에게 충분히 설명하였음 (당근 채팅 상담)

 

3가지를 들이밀면서 꼬우면 다시 되팔든가.. 가 아니고

충분히 호갱님의 요구사항을 충족하는 사양임을 안내하고

(윈도우 깨지는게 두려운 사람은 3만원 추가옵션으로 신품 BX500 or WD Green 장착을 제시하였음)

SSD 사망시 무상 교체 + Windows 설치 제공을 고지하였다.

 

 

딱 한 번

고객샛기랑 말다툼으로 번져서 개빡친 적이 있다.

서버인데 (1265L V3 + 16GB DDR3 일반램 + Ubuntu Server + Shinobi (NVR)를 깔아줌)

왜~~ ECC가 없는거며~~~ 레드햇을 쓰지 않고 천박한 우분투를 썼냐며~~~

조또 모르는 샛기가 아는척만 하면서 헛소리를 짖어대고 있었다.

 

결국 Sata선 한 뭉치 (약 30개)를 주고 해결했다.

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ Sata선 받아들고 좋다고 가는데

아휴 진짜 구매자(아부지)가 말렸으니 다행이지

민원인 (조또 모르는 아들램) 줘 패버리고 싶었다.

 

구매자 아저씨랑 나중에 우연히 마주쳐서 어찌어찌하여

막걸리를 한 잔 걸치면서 미안하다고 하셨는데

아저씨가 정말 점잖고도 유쾌한 분이라 나는 마음에 들었다.

 

최근에 Raid가 깨져서 (500GB 하드 4장을 Raid 5로 묶었는데 HDD 한 장이 뻗어버렸다)

연락이 왔다.

 

판매한지 꽤 몇 년이 지났고,

당시에도 NVR (IP CCTV 녹화기)로 쓰시기 때문에 하드가 터질 수 있으니 감내하시라 안내한 점이지만

3일만에 방문해서 리빌드를 해줬다.

 

아저씨가 돈 줘야한다면서 (10만원을 돈봉투에 담아서 막 건넸다) 막 밀어붙이셔서

결국 막걸리를 한 잔 걸쳤다.

돈은 슬쩍 내려놓고 그냥 왔다.

그 집 개도 (큰 골든 리트리버랑 레브라도? 두 마리) 아저씨도 성품이 참 좋다.

아들래미 샛기가 진짜 한 대 줘 패버리고 싶었음.

 

 

 

 

 

 

Short story long,

나는 진짜 쓰레기 SSD를 가져와도 고장난 경우를 본 적이 없다.

하드는 뻗는걸 여러번 봤음에도.

 

 

 

그럼 스토리지 사망 시나리오는 왜 테스트 하는건데.

 

글쎄. 잔대가리 + 픽업트럭으로 돈 번 경험

자랑하고싶었나?

 

뭔가 이유가 있던 것 같은데.

 

 

기억나면 기록하도록 하겠다.

ㅋㅋ;

 

 

일단은 테스트 작업용 SSD 가 도착할 때까지 기다리자.

 

 

 

 

 

- macOS와 TrueNAS간의 기싸움 (폴더 내용 없음)

 

이번에 자료를 난민수송시키면서

상당수가 누락이 되었다.

 

아 진짜 죤내 빡친다.

 

 

Linux -> Windows 로 파일을 가져올 때

' 디렉토리 명이 너무 길어 가져올 수 없음 ' 이란 그지같은 오류를 뿜으면서 가져오다 말았고

 

Windows -> BSD로 옮기고 나서 식겁했다.

 

 

 

 

그래서 하나 하나 까서 보고있는데...

 

일부 디렉토리를 열었더니 빈 폴더로 보인다.

진짜 심장이 내려앉았음.

 

 

심지어 iCloud는 파일 옮기다가 정지를 먹은건지...

빈 폴더이다.

ㅜㅜ

이딴식으로 뜬다.

 

리쥬머블 카피는 안 먹고

(원본 포인터가 사라졌으므로)

파셜 카피를 누르면 빈 폴더만 뙇....

 

 

아 씨바 진짜 미치고 돌아버리겠네.

 

툭하면 이렇게 개소리를 짖어대고있고

 

 똑같은 폴더를 맥에서 열면 빈 폴더로 보이고

윈도우즈에서 열면 그득히 차있는 폴더로 보인다.

 

ㅜㅜㅜ

 

 이렇게 .으로 시작하는 파일를 지워버리면

(macOS에서 인덱싱 용으로 만드는 것 같다)

 

짠 하고 나타난다.

 

 

미쳐버릴것 같다.

 

 

일단 Windows에서 .으로 시작하는 파일들을 모두 검색해서

싹 다 지웠다.

 

수동작업...

왜 저럴까.

 

 

 

- NFS 공유 (feat. dataset 이름 변경 rename)

 

dataset 이름에 공백이 있다 보니

NFS 공유가 안 된다.

 

 

데이터셋 이름을 바까야되는데...

 

https://www.truenas.com/community/threads/how-to-rename-dataset.11604/

How to rename dataset?

 

셸에서 가능 한가보다.

 

 

 

NFS 공유는 함도 안 써봐서리...

맥이랑 잘 붙으려나.

 

(귀찮아서 던져놓고 있다)

 

 

 

- Rsync + macOS (TrueNAS를 백업으로, iCloud -> TrueNAS and Vice Versa)

 아이클라우드를 200GB짜리로 쓰다보니 (월 3.3천원)

용량이 꽈악 찼다.

 

여튼.

 

맥과 트루나스 (삼바 통하여 접속)에 각각 폴더를 만들었다.

 요로코롬 쓸데없는 파일을 좀 쑤셔넣어봤다.

https://www.truenas.com/docs/core/coretutorials/tasks/creatingrsynctasks/

Creating Rsync Tasks

 

 

 

 

- 스냅샷

 

Storage - Snapshots로 들어가면

바로 스냅샷을 수동으로 찍을 수 있다.

 

 

자동화를 멕여보자

 

Tasks - Periodic Snapshot Tasks

 

 

 

 

 

- 내부망 접속은 되나 외부망 접속이 안됨

(증상: 시간 틀어짐 (ntp 절체), 외부 ping 안됨 등)

 

 

디폴트 라우트 테이블이 안 되어있어서 그런 듯 하다.

 

영업장에 서버를 하나 갖다놓고 운용하고 있는데,

어느 날부터인가 OTP가 잘 안 먹기 시작하더니

나중엔 아예 OTP가 안 먹었다.

 

시간을 보니 Skew 가 심하게 있어서

음... ntp 서버로 연결이 안 되는가보군

하였다.

 

클라우드 플레어로 핑이 안 날아간다

그 와중에 게이트웨이 (공유기)로는 잘 날아가고

지금도 SSH를 붙여서 쓰고 있음.

(SMB도 잘 먹힘)

 

 

초반에 링크 에그리게이션으로 NIC을 묶었다가

성능이랑 안정성 이슈가 심하게 발생해서

결국 링크를 별개로 나누었다.

 

 

그 과정 중에서 라우팅 테이블에 문제가 생겼던 것으로 보인다.

 

진짜... TrueNAS 기능 좋은거 알겠는데

모든걸 웹UI에 때려박고 치워버리다보니까

네트워크쪽 문제가 생기면 해결하기가 정말 골치아프다.

 

자체로 만든 CLI 기능은 정말 개판인데다

BSD다 보니까 자료도 잘 없다.

 

ㅜㅜ

 

라우팅 테이블 보는법

netstat -rn

 

저걸 보니까 0.0.0.0/0 라우팅이 없다.

0.0.0.0/0은 뭐냐면, 위에 어쩌고 저쩌고 라우팅 테이블에서

모두 걸러지지 못한 애들을 싸그리 모아서 부르는 것이다.

 

저기 보면 192.168.0.0/24는 테이블이 있기 때문에

(지금 이용중인 네트워크의 CIDR과 동일하다)

내부망은 잘 붙는 것이다.

 

그러니까 외부 네트워크로는 언리쳐블이 뜨지...

 

sudo route add -net 0.0.0.0/0 디폴트게이트웨이주소(=공유기내부주소)

 

물론 네트워크 구성이 복잡하다면 게이트웨이주소가 바뀌겠지만

그정도 네트워크 안에서 작업하는 사람이라면 뭔 말 하는지 알아먹을 것이다.

 

 

저걸 하고 바로 핑을 때려보니

외부로 핑이 나간다.

 

근데 라우팅 테이블엔 안 보인다...

 

 ㅅㅂ 무냐.

 

 

 

 

 

- 헤드리스 - 단말 직접접속 보안 (로컬 콘솔 비활성화)

 

 

System - Advanced - Show Text Console without Password Prompt

 

이걸 왜 디폴트로 켜놓은건지

당최 이해가 안 된다.

 

 

 

 

 

End of Document.