[토막글] 무료 하이퍼바이저 (Proxmox) Log

 

 

 

 

제온 E3 4C8T ~ 4C4T + DDR3 ECC Unbffd + C칩셋 (224랑 뭐였지)

 

서버 HW를 중고로 저렴하게 가져와 쓰고있다.

 

요즘에는 하드베이 (특히 3.5인치)를 없애고 워터블럭을 달 수 있게 하는게 트렌드인가보다.

 

라떼는 말이야, Latte equals horse budd,

전면부에 하드베이 5개 ODD베이 (5.25)베이 4개는

기본사양이었단 말이야.

 

내가 쓰던 PC는 1.8인치 HDD가 들어간게 종종 있어서

3.5 - 2.5 어댑터에 2.5 - 1.8어댑터를 어렵사리 구해다 끼워쓴 기억이 난다.

1.8하드에 IDE커넥터를 꽂아보면,

하드에 선을 연결한게 아니라 선 끝에 뭔가를 매단 것만 같은 느낌이 났다.

 

 

친구놈들 집에서 썩고있는 DDR2 DDR1 컴퓨터를

커피 한 잔 밥 한끼 입에 쑤셔넣고

공짜로 탈취해왔다.

 

물론,

그들의 젊을적 취향을 인베이드 하지 않기 위해

보는 앞에서 차 앞바퀴로 하드를 깔아뭉개 비볐다.

IDE 하드라 아깝긴 했는데 뭐. 작동 되는지도 확실치 않으니깐.

오닐 표정 보소

 

 

끝에 낡은 삼성 컴퓨터 케이스 안에는

제온을 품은 mATX H칩셋 보드가

베어메탈 레거시 PC로 구성되어있다.

 

 

 

SDRAM이랑 DDR1 머신은 정상 작동하는 것을 확인해서

이베이에 값싸게 팔아치웠고

DDR2 Era 머신과 고장난 부품들은 대부분 금박추출공장으로 보내버렸다.

 

남은것은 저 케이스들.

 

 

 

 

2CPU에서 보드만 5장 샀나.

파츠 가격이 워낙 저렴하니 (10년 넘은 것이니 그럴만함)

중간에 보드 2장 고장나서 금박 추출 업체에 기증해도 아쉬울 것이 없었다.

(인텔 보드는 파워 초크?가 두 개 나갔고, 아수스 보드는 칩셋 냉납으로 열풍기 조지고 뻗었다.)

 

 

Proxmox 로 테스트 서버를 생성하고

필요없을 떄 즉시 파기, 리눅스 갓 깔은 VM 클로닝으로

미들웨어 테스트하기에 딱 좋은 것이 하이퍼바이저라고 생각.

 

VMWare의 제품을 써보고 싶지만..

방구석 기타리스트...키보디스트로서 돈 드는 제품 포기.

프록스목스로 가야겠다.

 

고 결정한게 어언 2년.

 

이번 포스팅에서는 프록스 목스를 쓰면서

면상에 뚜들겨 맞았던 에러와 이슈들을 다루려 한다.

 

 

A. 설치

B. 네트워크 본딩과 이슈

C. ISO 이미지 업로드 실패

D. Scaling Mode: Local Scale 모드 디폴드 고정.

E. root 계정 비활성화 (관리자 계정 추가)

F. IP 도메인 변경 후 작업

G. 노드 마이그레이션 (준비중)

(차 후 더 발견되면 추가하는 것으로.)

 

 

 

 A. 설치

 

Proxmox 홈페이지에서 ISO 다운로드

https://www.proxmox.com/en/downloads/category/proxmox-virtual-environment

Download Proxmox Virtual Environment

 

 

Rufus 로 만든 떰스틱이

몇번이고 잘 작동했는데...

 

이번에 서버 개편?하면서 남는

애즈락 랙 C224 보드에서는

GRUB - file extension not recognisable..?

이상한 에러를 뿜으면서 시작을 하지 못하였다.

 

 

마음같아서는 뜨레드리퍼 + 풀뱅 메모리 + VMWare 솔루션으로 가고싶다.

보드만 100만원.. AWS 펑펑써도 그 것보다 싸겠지 ㅜ.

 

 

 

파고 들기도 귀찮다. 짜증.

 

-  UEFI only - UEFI & Legacy로 변경,

-  발레나 엣쳐 설치

https://www.balena.io/etcher/

balena - The complete IoT fleet management platform

 

 

개인적으로 루푸스를 선호하지만,

발레나 + UEFI 모드 변경 후 바로 설치 됨.

슬픈건 NVME SSD가 인식이 안된다..

(전세대인 1225V2, 아이비 브릿지 시스템에서는 NVME가 붙었다. 이번 시스템은 1265L V3)

 

나중에 SATA SSD 하나 사서 붙여야겠다.

 

SATA나 NVME나

큰 체감은 없다.

데이터 많이 쓰는 서버는 메탈에 바로 OS 올려 쓰니까.

 

띤 프로비저닝으로 VM OS용 디스크 할당 멕였다.

 

 

 

 

 

 

https://서버.아이피.입력.하고:8006 

흐트트프스로 접속하려니

오페라는 자꾸 흐트트프스를 지우고나서 (접속 실패요 X_X) 이러는데

파이어폭스 는 SSH 인증서 경고인지 뭔지만 띄우고 진행된다.

 

 

 

 

 

 

https://opencourse.tistory.com/445

개발용 VM서버 - 무료 가상화 하이퍼바이저 Proxmox 구축 후기

이 포스팅 하단에 있는

- 업데이트 르포 제거

- 웹 UI 섭스크립션 에러박스 비활성화 ( if (false)  )

따라하면 된다.

 

본인은 nano를 선호해서

nano ~~~   ->  Ctrl + W   ->  if문 위에 보이는 스트링 " ~~~ " 입력 검색  -> 해당 if문 가서 작업   -> Ctrl S + Ctrl X

로 했다.

 

저 사람에게 크레딧을 주려했으나 번거롭다.

저 사람 아이디어도 아닌데 굳이비...

 

 

nano /etc/apt/sources.list.d/pve-enterprise.list

 

 

nano /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

 

Ctrl + w

No valid sub

검색

기존 주석, 폴스 먹이고 저장.

 

재기동

reboot

 

 

-> 구찮아서 재기동을 했는데도 변경된 소스가 안 먹었다.

왜지?

 

systemctl restart pveproxy.service

 

 

설치 끝.

 

 

 

B. 네트워크 본딩 + 이로 인한 이슈

 

이번 포스팅에 쓴 보드이다.

기가랜 2개. 인텔 210 칩셋이구나.

 

 

처음에는 NAT+DHCP서버 공유기 (최상단 공유기?)

에 서버들을 직결했다.

 

집 사고 벽 뜯어서 교체 + 증설한 Cat6 커넥터

보기 싫기도 하고, Proxmox 본딩은 오히려 성능만 떨구는 입장이라

결국 서버군용 8포트 기가비트 허브를 사서 묶었다.

 

가격보고 더미허브겠구나 (설명에 없음) 싶어서

모든 포트에 뿌려버릴 패킷 더미로 성능이 떨어질까 걱정했는데,

초반 몇개 외에는 데스티네이션 포트에만 패킷을 전달하는 스위칭 허브임을 알게 되었다.

 

참고해주시고, 여튼.

 

 

 

2코어 펜티엄쓰다 8뜨레드 E3로 업글하니 매우매우 쾌적하다.

우분투와 다르게 

설치 과정에서 랜 본딩 셋업이 불가능했다.

아무 포트나 멕이고 진행한 결과.

다른 포트는 미사용이다.

 

 

[기존 브릿지 해제] - [신규 본딩 생성 후 포트 2개 슬레이브] - [본딩 브릿지]

순으로 설정하면 본딩이 된다.

기존 브릿지 대상 제거

신규 본딩 생성 - 두 랜 포트 삽입

본딩 브릿징.

어플라이 콘피규레이숀 누르고 야스 두 번 눌러주면 끝.

필자는 밸런스 - 라운드로빈으로 했는데,

하.. 처음에 파일서버 올릴 참으로 본딩을 해놨드만

속도가 53 ~ 57MB/s 로 불안불안하게 전송이 된다.

(SSD는 SATA 500GB 4장 소프트웨어 RAID10 구성, 스스디나 구성 문제는 아닌듯) 

 

 

쌈바 파일서버, VPN 서버, NVR서버 (CCTV서버)를 별개로 운영중인데

각 서버별 유휴 자원이 아깝기도 하고,

아이들링으로 버려지는 전기도 줄여볼 겸 하나로 합치려 했다.

 

4C4T + 14GB (4+4+4+2) 구성이라 모자라진 않는데.

VPN도 잘 되고 (OpenVPN) NVR도 잘 된다. (시노비)

파일서버가 영 불안하다.

 

 

LVM 띤 프로비저닝으로 할당한 공간도 왜인지 신뢰가 가질 않고..

결국 나스는 베어메탈 기냥서버 + 랜 본딩으로 복귀.

속도가 100MB/s 로 안정적이다.

 

 

 

포스팅에 쓰려했던 해결책이 뭐얐지..

일단은 브로드캐스팅 (한 포트에 들어가는 패킷을 다른 포트에 미러링해주는 레질리언스 중점 방법)으로 해뒀다.

성능 << 안정성 인 서버라..

 

 

하.. 기억이 안 난다.

일단 패스

기억력 감퇴 ㅜㅜ

 

 

 

 

...

그냥 따로따로 운용.

클라우드 서버에서 모듈처럼 제공하는 네트워크 기능과 유사한 것 같다.

하이퍼바이저 오버헤드로 가상네트워크 구성이 포함된 것 같다.

 

성능이 너무 안 뽑힌다.

 

그냥 각기 따로 IP 받는걸로...ㅠ

 

포트 죽을까봐 본딩 하는건데

그냥 리스킷 하련다.

게이트웨이는 하나만 넣어주면 된다.

 

 

DHCP에서 아직 새로 달라고한 IP를 안 주길래

PVE랑 공유기를 재기동하였다.

 

...공유기 측에서 인식이 여전히 안 된다.

 

모르겠다 ㅜㅜ

나중에 해결하면 기록해야겠다.

 

 

C. ISO 이미지 업로드 실패 

 

하이퍼바이저답게

VM에 OS 설치시 USB 부팅 인스톨러를 쓰지 않고

하이퍼바이저 디스크에 ISO 파일을 업로드하고

VM 생성시 해당 파일을 링크시켜 가상 CD ROM으로 멕이는 방법을 쓴다.

 

 

로컬 btrfs가 프록스목스 설치된 논리드라이브,

여기에 올려도 되고 

 

 

별도로 다른 HDD를 ISO용으로 잡고 거기에 올려도 된다.

 

 

...마스터 부트 레코드로 init 된 디스크라

GPT로 이닛이 안된다.

하드 초기화 강행.

(Windows 기준 DISKPART - sel disk (디스크넘버) - clean 과 같은 행위)

 

 

 

막내 사촌동생보다 나이가 많은 하드라 워닝이 뜬다. 걍 무시. (관심도 없거니와 미션 크리티컬하지 않음)

 

 

 

요로쿠럼 디렉토리를 만들어주면

 ISO를 업로드 할 수 있다.

해당 PATH로 SFTP 접속해서 파일 올리면 잘 뜸.

 

 

 

 

 

나는 ISO 전용 흐드드를 만들고 싶지 않다.

다시 돌아와서

(글이 완전 중구난방)

 

저기서 Upload를 누르면 로컬 파일을,

Download ~ URL를 누르면 인터넷 상 서버 파일을 (해쉬 설정시 오류 여부까지 잡아줌)

다운로드한다.

 

우분투, 센트오에스는 걍 홈페이지 링크로 다운로드 했다.

https://ubuntu.com/download/server

Get Ubuntu Server | Download | Ubuntu

다운로드 URL은 저기서 Download Now 하이퍼링크 오른클릭으로 따낼 수 있고

체크섬인 이렇게 긁어서 아래처럼 넣어주면 된다.

 

 

 

체크섬 에러가 나서 (가정용에서 첵섬에러 처음 마주한 것이라 놀랐다)

보니 에코 "..." | ...

터미널 명령어다.

 

 

 

첵섬 부분만 복사해줘야된다.

 

Oopsie daisy

 

 

 

 

 

URL 다운로드는 아무런 이슈가 없다.

 

 

 

 

그런데..

... 내가 가진 ISO 파일을 직접 올리려 하면 자꾸 뻑이 난다.

 

프록스목스가 깔린 하드,

2.5인치 HDD, SATA3기준 초당 100MB정도 나오는 하드룰

4장을 RAID 1으로 묶어놨다.

 

하드 속도가 딸려서 그런건 아닌 것 같은데..

프록스목스를 서버 3대에 깔아봤는데

셋 다 이지경을 내니 뒷목이 잡힐 수 밖에 없다.

 

 

 

뭔 증상이냐면

로컬 파일을 업로드하려 하면

이렇게 업로드가 멀쩡히 시작하다가...

어느정도 업로드가 되면 멈춘다.

한 10초정도 프리즈.

 

그러더니..

0프로부터 다시 시작..

 

 

업로드 리셋 무한반복이 생기면서 업로드가 되질 않는다.

언젠가 알아보것지 내맘

하고 방치해두면 이런 에러를 띄워버리는..

 

 

 

Reddit과 Proxmox 커뮤니티를 한참 뒤졌다.

'

템프 폴더가 꽉 차서 그런 것 아니냐,

 

/var/lib/vz/template/iso

 

디렉토리에 다이렉트로 업로드 해버리면 바로 보일 것이다.

'

 

SSH이 열려있으므로

22번포트로 SFTP 붙였다.

 

 

macOS에서 command + K로 붙일 경우

(Finder)

sftp가 아니라 ftps://를 써야 붙는다.

아니

안 붙는다.

 

그지같구만.

https://brtech.tistory.com/142

macOS Mojave - SFTP finder 연결하기

...

에이씨 그냥 파일질라 받어.

 

 

...? 빈 디렉토리인데...?

 

나는 이미 URL로 데비안이랑 우분투 ISO를 업로드 해둔 상황인데...

여기 그냥 올리면 되나요?

시험삼아 윈도우 XP 이미지를 올려봐야곘다.

업로드 헀습니다만..

...

반응이 없는데..

서버를 껏다 켜보자.

...

The Fuq...?

 

한 30분동안 별의 별 짓을 다 해봐도

내가 올린 파일이 보이지 않는다.

tf did I wrong...?

레딧과 프록스목스 커뮤니티는 저 디렉토리만 주구장창 얘기하는데.

 

 

일단 온라인에서 다운로드 가능한 이미지부터 작업해야겠다 하며

FreeBSD를 다운로드하는 도중.

 

 

 

 

 

디렉토리다.

가보자.

 

 

 

 

/var/lib/pve/local-btrfs/template/iso

 

나처럼 ISO 업로드 무한재반복 뜨다 에러나는 경우

위 디렉토리 (본인이 ext4? 다른 파일 시스템으로 Proxmox를 설치한 경우 참고) 로 가보자.

 

 

 

 

 

 

망할 디렉토리 하나때문에 근 1시간을 허비했다.

 

 

 

 

 

 

 

 

 

 

God damnit.

 

...

짱깨 익스프레스에서 산 만원짜리 CPU 쿨러가 안 맞아서

(램이랑 간섭있음)

서버를 쥐고 흔들다보니 HDD 하나가 깨졌다.

 

나는 안정성 때문에 일부러 소프트레이드를 잡은건데

(특히 하이퍼바이저 깔리는 디스크)

 

부팅 자체가 안 된다.

 

결국 기존에 구축한 서버 다 날려먹고

(백업을 안 해놨다)

새로 구성했다.

 

 

이번엔 싱글 HDD 구성을 부팅용으로 줬다.

로직보드에서 HDD를 레이드로 묶을 수 있는데

아무리 뒤적거려도 RAID 구성하는 옵션이 안 뜬다.

 

애즈락... 그지같군.

 

그냥 싱글로 줬다.

 

3.5inch 7400rpm 1TB 도시바 하드라

그냥 잘 버텨주겠거니.

 

 

 

 

brtfs인지 뭔지를 안 쓰니까

커뮤니티가 알려준 디렉토리에 iso 파일이 들어간다.

 

 

D. Scaling Mode: Local Scale 모드 디폴드 고정

 

 

이렇게 GUI 가상머신을 쓰고 있다.

 

웹개발 환경 구성(Eclipse) 고민기 - 필자 보라고 쓰는 글이라 작성중임.

저 대표이미지 바꾸든가 해야겠다.

처음엔 웃겼는데 ㅋㅋ;

 

 

noVNC로 접속할 경우 (가상머신 이름 더블클릭해도 뜸)

아래와 같이 팝업 창으로 뜬다.

게스트 OS(우분투)와 클라이언트 OS(윈도우10)의 모니터 해상도가 다르다.

 

사이즈 조정을 하고 싶은데... 윈도우는 자꾸 거부한다.

 

윈도우즈에서 프록스목스 접속시 디폴드값으로 Autoresize Window Scaling Mode: Off

macOS에서   프록스목스 접속시 디폴드값으로 Autoresize Window Scaling Mode: Local Scaling

 

로컬 스케일링이 선택되야 줌을 떙기든 하는데.

 

뭐냐. 클라이언트 차별하네.

상단 검은색 root@pam.... 클릭 - My Settings - noVNC에서 로컬 스켈링으로 변경.

하이퍼바이저 서버 재기동 할 필요 없이

바로 적용 되었다.

 

 

 

 

아래: 뻘짓 log

 

https://forum.proxmox.com/threads/novnc-defaulting-to-local-scaling-possible.55607/

noVNC - defaulting to "local scaling" possible?

 

/usr/share/pve-manager/js/pvenamagerlib.js

에 하드코딩이 되어있단다.

 

스태프님 ㄳㄳ

 

... 단축키 컨트롤이 안먹는다.

 

noVNC로 재접속.

 

키보드에서 절대.

컨트롤 + W 누르지 말자.

 

화면 상에서 컨트롤 키를 마우스로 클릭 한 번 해주고

키보드에서 W 누르기.

 

(암 생각없이 눌렀다가 창 닫아버림.)

 

 

...

위치는 찾았는데 스태프님 설명이

뭔소린지 모르곘다.

 

다시 들어가 해당 트레드를 읽고있는데..

하여간...

Proxmox는 사용자 직관적이지 않은 소프트웨어다.

 

그건 별로인듯.

무료니까. 쓰자. 하.

 

E. root 비활성화

 

root, admin, user 같은 계정명을 쓰는건 (and/or 살려두는건)

공격자에게 일의 절반은 해결해주는 것과 같다. 고 생각한다.

 

특히 루트권한은 강력한 것인만큼 계정 로그인을 해제해버리고

일반 관리자 / 사용자 계정을 별도로 만들자.

 

참고 블로그:

https://syweblog.tistory.com/12

 

 

루트를 해제하면 PCIe 패스스루가 안된다고 한다.

나는 pcie 패스스루할 장치가 없으므로 (nvme만 씬 프로비저닝으로 달아놨다)

 

그런 권한 문제가 있을법하다.

아직은 괜찮다.

 

 

useradd는 어떻게 쓰는지 몰라서

adduser를 써야되나?

 

http://annyeong.me/n/proxmox-setup

 

차이점을 찾아봤다.

 

https://phoenixnap.com/kb/useradd-vs-adduser

useradd vs. adduser: What Are the Differences?

 

useradd가 좀 더 비직관적이고 아규먼트 넣어줄게 많다고 한다.

useradd를 썼다.

 

man useradd를 때려봤다.

이하생략.

 

 

첫번째 블로그 글을 보면

useradd -m -s /bin/bash -c 관리자계정 -p NewAdminPassword NewAdminUserID

명령어를 기입했다.

 

(리눅스에서 계정을 추가해본 적이 없어서 생소하다)

 

-m : 홈 디렉토리 생성하지 않음

-s : 셸 로그인시 사용되는 이름?? 이게 뭐지..? 배쉬를 가져오는건 왜인거지

-c : 코멘트, 별 의미는 없음. (리눅스 설치할 때 쓰는 풀 네임)

-p : 비밀번호 암호화, 권장하지 않음 (프로세스들을 띄울때 유저들에게 비밀번호 (또는 암호화된 비밀번호)가 노출됨.

 

...????

 

 

에휴 한글 블로그는 못믿겠다.

영어 자료를 찾아봤다.

 

 

흠.

 

https://pve.proxmox.com/wiki/User_Management

User Management - Proxmox VE

LDAP을 쓸 수 있다네...?

 

무선랜때문에 RADIUS 서버를 알아보고 있었는데

흠.

 

일단 나중으로 미루고.

 

 

https://techviewleo.com/create-users-groups-permissions-proxmox/

이 글을 보면 WebUI에서 바로 해버리는데...?

 Datacentre - Permissions - Groups - Create

 

아래처럼 적당히 만들어주고

 

 

Ага.

 

프록스목스도 결국에 Debian에 기반한 OS이다보니

- Debian OS에 유저를 추가 (PAM)

- 프록스목스 전용 유저 생성

- 기타 다른 Auth 연동

 

3가지 옵션이 있다.

 

 

나는 프록스목스 서버에 굳이 SSH를 붙일 필요를 전혀 느끼지 못한다.

(모튼 포트를 막았음)

업데이트 할 때 아니면 외부인터넷 자체를 차단해버리고 있다.

 

그럼 굳이 앞서 두 블로그에서 한 것처럼 데비안 계정을 만들 필요가 없다.

 

 

 DC - Perm - Users - Add

 렒을 Proxmox VE Auth Server 로 변경해주고

(처음 하면 리눅스 PAM으로 잡혀있을 것임)

 

유저 네임 빼곤 다 옵션이다. ㅋㅋㅋ;

나는 앞서 만든 그룹이랑 비밀번호만 설정해주고 추가했다.

 

 

  DC - Perm - Add - Group Perm

(퍼미션 탭을 눌러야됨)

 이렇게 롤이 세분화되어있으니 참고하면 될듯하고

(나는 유저 = 유지보수 담당자 = 소유자 = 관리자 = 본인 이기 때문에 의미가 없음)

 

Administrator로 했다.

 

 각 롤에 해당하는 그룹을 만들어서

사용자들을 등록하면 되는구나.

 

그렇구만.

 

 

 

 

F. IP 도메인 변경 후 작업

 

2023.06.15 - [Engineering Log/On Premise Computing] - 개인용 서버의 망분리 고민 log (Feat. 대역폭 병목, 라우팅)

개인용 서버의 망분리 고민 log (Feat. 대역폭 병목, 라우팅)

 

해당 포스팅 관련 작업 중

 

일반 IP 대역과

서버 IP 대역을 분리시켰다.

(NAT)

 

기존 IP 도메인이 aaa.aaa.aaa.xxx 였고

서버 IP 도메인은 bbb.bbb.bbb.xxx 이기 때문에

ip 주소와 포트포워딩 (proxmox web ui 접속)작업이 필요했다.

 

프록스목스 디폴트 세팅은 고정 IP (Static) 이다.

ㅅㅂ

 

 

https://pve.proxmox.com/wiki/Network_Configuration

Network Configuration - Proxmox VE

 디폴트 값은 이러하다.

물리적으로 하이퍼바이저 서버에 직접 모니터랑 키보드를 달았다.

 

root으로 로그인한 뒤

(다른 계정을 쓴다면 계정 + sudo su를 해야겠지)

nano /etc/network/interfaces

로 해당 파일을 적어준다.

 

인터페이스 이름은 eno1이 아닐 수 있으니

(나는 enp3s0, PCIe 버스 3번의 슬롯 0번 과 같다)

주의하여 기재한다.

(ip link 로 볼 수 있다)

 

reboot을 하면 설정값이 반영된다는데

나는 재기동을 해도 인터페이스가 자꾸 떨어져 나갔다.

 

공유기에 LED가 꺼져버림...

 

 

ifup enp3s0

이렇게 ifup으로 살려준다.

 

 

 

포트포워딩은 8006만 해주면 됨.

 

나는 외부 443 내부 8006

이런 식으로 세팅하였다.

 cli 로 만지작거리고 나서

들어가면 auto start가 체크 해제되어있다.

 

체크해준다.

 

 

서버를 재기동하여

자동으로 인터페이스가 붙는지 확인해봤다.

 

 

POST 직후

인터페이스가 다시 죽었다가

부팅이 끝날때 쯤 다시 살아났다.

 

휴.

 

 

끝. EoD