[토막글] 무료 하이퍼바이저 (Proxmox) Log

 

 

 

 

제온 E3 4C8T ~ 4C4T + DDR3 ECC Unbffd + C칩셋 (224랑 뭐였지)

 

서버 HW를 중고로 저렴하게 가져와 쓰고있다.

 

요즘에는 하드베이 (특히 3.5인치)를 없애고 워터블럭을 달 수 있게 하는게 트렌드인가보다.

 

라떼는 말이야, Latte equals horse budd,

전면부에 하드베이 5개 ODD베이 (5.25)베이 4개는

기본사양이었단 말이야.

 

내가 쓰던 PC는 1.8인치 HDD가 들어간게 종종 있어서

3.5 - 2.5 어댑터에 2.5 - 1.8어댑터를 어렵사리 구해다 끼워쓴 기억이 난다.

1.8하드에 IDE커넥터를 꽂아보면,

하드에 선을 연결한게 아니라 선 끝에 뭔가를 매단 것만 같은 느낌이 났다.

 

 

친구놈들 집에서 썩고있는 DDR2 DDR1 컴퓨터를

커피 한 잔 밥 한끼 입에 쑤셔넣고

공짜로 탈취해왔다.

 

물론,

그들의 젊을적 취향을 인베이드 하지 않기 위해

보는 앞에서 차 앞바퀴로 하드를 깔아뭉개 비볐다.

IDE 하드라 아깝긴 했는데 뭐. 작동 되는지도 확실치 않으니깐.

오닐 표정 보소

 

 

끝에 낡은 삼성 컴퓨터 케이스 안에는

제온을 품은 mATX H칩셋 보드가

베어메탈 레거시 PC로 구성되어있다.

 

 

 

SDRAM이랑 DDR1 머신은 정상 작동하는 것을 확인해서

이베이에 값싸게 팔아치웠고

DDR2 Era 머신과 고장난 부품들은 대부분 금박추출공장으로 보내버렸다.

 

남은것은 저 케이스들.

 

 

 

 

2CPU에서 보드만 5장 샀나.

파츠 가격이 워낙 저렴하니 (10년 넘은 것이니 그럴만함)

중간에 보드 2장 고장나서 금박 추출 업체에 기증해도 아쉬울 것이 없었다.

(인텔 보드는 파워 초크?가 두 개 나갔고, 아수스 보드는 칩셋 냉납으로 열풍기 조지고 뻗었다.)

 

 

Proxmox 로 테스트 서버를 생성하고

필요없을 떄 즉시 파기, 리눅스 갓 깔은 VM 클로닝으로

미들웨어 테스트하기에 딱 좋은 것이 하이퍼바이저라고 생각.

 

VMWare의 제품을 써보고 싶지만..

방구석 기타리스트...키보디스트로서 돈 드는 제품 포기.

프록스목스로 가야겠다.

 

고 결정한게 어언 2년.

 

이번 포스팅에서는 프록스 목스를 쓰면서

면상에 뚜들겨 맞았던 에러와 이슈들을 다루려 한다.

 

 

A. 설치

B. 네트워크 본딩과 이슈

C. ISO 이미지 업로드 실패

D. Scaling Mode: Local Scale 모드 디폴드 고정.

E. root 계정 비활성화 (관리자 계정 추가)

F. IP 도메인 변경 후 작업

G. 내부 라우팅 추가

H. 프록스목스 메이저 버전 업그레이드 (7 - 8)

I. 가상머신 백업

J. 외부 스토리지 붙이기 (SMB 서버 연동)

L. VMWare 이미지 마이그레이션 (vmdk)

...

Z. 노드 마이그레이션 (준비중)

 

(차 후 더 발견되면 추가하는 것으로.)

 

 

 

 A. 설치

Proxmox 홈페이지에서 ISO 다운로드

https://www.proxmox.com/en/downloads/category/proxmox-virtual-environment

Download Proxmox Virtual Environment

 

 

Rufus 로 만든 떰스틱이

몇번이고 잘 작동했는데...

 

이번에 서버 개편?하면서 남는

애즈락 랙 C224 보드에서는

GRUB - file extension not recognisable..?

이상한 에러를 뿜으면서 시작을 하지 못하였다.

 

 

마음같아서는 뜨레드리퍼 + 풀뱅 메모리 + VMWare 솔루션으로 가고싶다.

보드만 100만원.. AWS 펑펑써도 그 것보다 싸겠지 ㅜ.

 

 

 

파고 들기도 귀찮다. 짜증.

 

-  UEFI only - UEFI & Legacy로 변경,

-  발레나 엣쳐 설치

https://www.balena.io/etcher/

balena - The complete IoT fleet management platform

 

 

개인적으로 루푸스를 선호하지만,

발레나 + UEFI 모드 변경 후 바로 설치 됨.

슬픈건 NVME SSD가 인식이 안된다..

(전세대인 1225V2, 아이비 브릿지 시스템에서는 NVME가 붙었다. 이번 시스템은 1265L V3)

 

나중에 SATA SSD 하나 사서 붙여야겠다.

 

SATA나 NVME나

큰 체감은 없다.

데이터 많이 쓰는 서버는 메탈에 바로 OS 올려 쓰니까.

 

띤 프로비저닝으로 VM OS용 디스크 할당 멕였다.

 

 

 

 

 

 

https://서버.아이피.입력.하고:8006 

흐트트프스로 접속하려니

오페라는 자꾸 흐트트프스를 지우고나서 (접속 실패요 X_X) 이러는데

파이어폭스 는 SSH 인증서 경고인지 뭔지만 띄우고 진행된다.

 

 

 

 

 

 

https://opencourse.tistory.com/445

개발용 VM서버 - 무료 가상화 하이퍼바이저 Proxmox 구축 후기

이 포스팅 하단에 있는

- 업데이트 르포 제거

- 웹 UI 섭스크립션 에러박스 비활성화 ( if (false)  )

따라하면 된다.

 

본인은 nano를 선호해서

nano ~~~   ->  Ctrl + W   ->  if문 위에 보이는 스트링 " ~~~ " 입력 검색  -> 해당 if문 가서 작업   -> Ctrl S + Ctrl X

로 했다.

 

저 사람에게 크레딧을 주려했으나 번거롭다.

저 사람 아이디어도 아닌데 굳이비...

 

 

nano /etc/apt/sources.list.d/pve-enterprise.list

 

 

nano /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

 

Ctrl + w

No valid sub

검색

기존 주석, 폴스 먹이고 저장.

 

재기동

reboot

 

 

-> 구찮아서 재기동을 했는데도 변경된 소스가 안 먹었다.

왜지?

 

systemctl restart pveproxy.service

 

 

설치 끝.

B. 네트워크 본딩 + 이로 인한 이슈

이번 포스팅에 쓴 보드이다.

기가랜 2개. 인텔 210 칩셋이구나.

 

 

처음에는 NAT+DHCP서버 공유기 (최상단 공유기?)

에 서버들을 직결했다.

 

집 사고 벽 뜯어서 교체 + 증설한 Cat6 커넥터

보기 싫기도 하고, Proxmox 본딩은 오히려 성능만 떨구는 입장이라

결국 서버군용 8포트 기가비트 허브를 사서 묶었다.

 

가격보고 더미허브겠구나 (설명에 없음) 싶어서

모든 포트에 뿌려버릴 패킷 더미로 성능이 떨어질까 걱정했는데,

초반 몇개 외에는 데스티네이션 포트에만 패킷을 전달하는 스위칭 허브임을 알게 되었다.

 

참고해주시고, 여튼.

 

 

 

2코어 펜티엄쓰다 8뜨레드 E3로 업글하니 매우매우 쾌적하다.

우분투와 다르게 

설치 과정에서 랜 본딩 셋업이 불가능했다.

아무 포트나 멕이고 진행한 결과.

다른 포트는 미사용이다.

 

 

[기존 브릿지 해제] - [신규 본딩 생성 후 포트 2개 슬레이브] - [본딩 브릿지]

순으로 설정하면 본딩이 된다.

기존 브릿지 대상 제거

신규 본딩 생성 - 두 랜 포트 삽입

본딩 브릿징.

어플라이 콘피규레이숀 누르고 야스 두 번 눌러주면 끝.

필자는 밸런스 - 라운드로빈으로 했는데,

하.. 처음에 파일서버 올릴 참으로 본딩을 해놨드만

속도가 53 ~ 57MB/s 로 불안불안하게 전송이 된다.

(SSD는 SATA 500GB 4장 소프트웨어 RAID10 구성, 스스디나 구성 문제는 아닌듯) 

 

 

쌈바 파일서버, VPN 서버, NVR서버 (CCTV서버)를 별개로 운영중인데

각 서버별 유휴 자원이 아깝기도 하고,

아이들링으로 버려지는 전기도 줄여볼 겸 하나로 합치려 했다.

 

4C4T + 14GB (4+4+4+2) 구성이라 모자라진 않는데.

VPN도 잘 되고 (OpenVPN) NVR도 잘 된다. (시노비)

파일서버가 영 불안하다.

 

 

LVM 띤 프로비저닝으로 할당한 공간도 왜인지 신뢰가 가질 않고..

결국 나스는 베어메탈 기냥서버 + 랜 본딩으로 복귀.

속도가 100MB/s 로 안정적이다.

 

 

 

포스팅에 쓰려했던 해결책이 뭐얐지..

일단은 브로드캐스팅 (한 포트에 들어가는 패킷을 다른 포트에 미러링해주는 레질리언스 중점 방법)으로 해뒀다.

성능 << 안정성 인 서버라..

 

 

하.. 기억이 안 난다.

일단 패스

기억력 감퇴 ㅜㅜ

 

 

 

 

...

그냥 따로따로 운용.

클라우드 서버에서 모듈처럼 제공하는 네트워크 기능과 유사한 것 같다.

하이퍼바이저 오버헤드로 가상네트워크 구성이 포함된 것 같다.

 

성능이 너무 안 뽑힌다.

 

그냥 각기 따로 IP 받는걸로...ㅠ

 

포트 죽을까봐 본딩 하는건데

그냥 리스킷 하련다.

게이트웨이는 하나만 넣어주면 된다.

 

 

DHCP에서 아직 새로 달라고한 IP를 안 주길래

PVE랑 공유기를 재기동하였다.

 

...공유기 측에서 인식이 여전히 안 된다.

 

모르겠다 ㅜㅜ

나중에 해결하면 기록해야겠다.

 

 

C. ISO 이미지 업로드 실패 

 

하이퍼바이저답게

VM에 OS 설치시 USB 부팅 인스톨러를 쓰지 않고

하이퍼바이저 디스크에 ISO 파일을 업로드하고

VM 생성시 해당 파일을 링크시켜 가상 CD ROM으로 멕이는 방법을 쓴다.

 

 

로컬 btrfs가 프록스목스 설치된 논리드라이브,

여기에 올려도 되고 

 

 

별도로 다른 HDD를 ISO용으로 잡고 거기에 올려도 된다.

 

 

...마스터 부트 레코드로 init 된 디스크라

GPT로 이닛이 안된다.

하드 초기화 강행.

(Windows 기준 DISKPART - sel disk (디스크넘버) - clean 과 같은 행위)

 

 

 

막내 사촌동생보다 나이가 많은 하드라 워닝이 뜬다. 걍 무시. (관심도 없거니와 미션 크리티컬하지 않음)

 

 

 

요로쿠럼 디렉토리를 만들어주면

 ISO를 업로드 할 수 있다.

해당 PATH로 SFTP 접속해서 파일 올리면 잘 뜸.

 

 

 

 

 

나는 ISO 전용 흐드드를 만들고 싶지 않다.

다시 돌아와서

(글이 완전 중구난방)

 

저기서 Upload를 누르면 로컬 파일을,

Download ~ URL를 누르면 인터넷 상 서버 파일을 (해쉬 설정시 오류 여부까지 잡아줌)

다운로드한다.

 

우분투, 센트오에스는 걍 홈페이지 링크로 다운로드 했다.

https://ubuntu.com/download/server

Get Ubuntu Server | Download | Ubuntu

다운로드 URL은 저기서 Download Now 하이퍼링크 오른클릭으로 따낼 수 있고

체크섬인 이렇게 긁어서 아래처럼 넣어주면 된다.

 

 

 

체크섬 에러가 나서 (가정용에서 첵섬에러 처음 마주한 것이라 놀랐다)

보니 에코 "..." | ...

터미널 명령어다.

 

 

 

첵섬 부분만 복사해줘야된다.

 

Oopsie daisy

 

 

 

 

 

URL 다운로드는 아무런 이슈가 없다.

 

 

 

 

그런데..

... 내가 가진 ISO 파일을 직접 올리려 하면 자꾸 뻑이 난다.

 

프록스목스가 깔린 하드,

2.5인치 HDD, SATA3기준 초당 100MB정도 나오는 하드룰

4장을 RAID 1으로 묶어놨다.

 

하드 속도가 딸려서 그런건 아닌 것 같은데..

프록스목스를 서버 3대에 깔아봤는데

셋 다 이지경을 내니 뒷목이 잡힐 수 밖에 없다.

 

 

 

뭔 증상이냐면

로컬 파일을 업로드하려 하면

이렇게 업로드가 멀쩡히 시작하다가...

어느정도 업로드가 되면 멈춘다.

한 10초정도 프리즈.

 

그러더니..

0프로부터 다시 시작..

 

 

업로드 리셋 무한반복이 생기면서 업로드가 되질 않는다.

언젠가 알아보것지 내맘

하고 방치해두면 이런 에러를 띄워버리는..

 

 

 

Reddit과 Proxmox 커뮤니티를 한참 뒤졌다.

'

템프 폴더가 꽉 차서 그런 것 아니냐,

 

/var/lib/vz/template/iso

 

디렉토리에 다이렉트로 업로드 해버리면 바로 보일 것이다.

'

 

SSH이 열려있으므로

22번포트로 SFTP 붙였다.

 

 

macOS에서 command + K로 붙일 경우

(Finder)

sftp가 아니라 ftps://를 써야 붙는다.

아니

안 붙는다.

 

그지같구만.

https://brtech.tistory.com/142

macOS Mojave - SFTP finder 연결하기

...

에이씨 그냥 파일질라 받어.

 

 

...? 빈 디렉토리인데...?

 

나는 이미 URL로 데비안이랑 우분투 ISO를 업로드 해둔 상황인데...

여기 그냥 올리면 되나요?

시험삼아 윈도우 XP 이미지를 올려봐야곘다.

업로드 헀습니다만..

...

반응이 없는데..

서버를 껏다 켜보자.

...

The Fuq...?

 

한 30분동안 별의 별 짓을 다 해봐도

내가 올린 파일이 보이지 않는다.

tf did I wrong...?

레딧과 프록스목스 커뮤니티는 저 디렉토리만 주구장창 얘기하는데.

 

 

일단 온라인에서 다운로드 가능한 이미지부터 작업해야겠다 하며

FreeBSD를 다운로드하는 도중.

 

 

 

 

 

디렉토리다.

가보자.

 

 

 

 

/var/lib/pve/local-btrfs/template/iso

 

나처럼 ISO 업로드 무한재반복 뜨다 에러나는 경우

위 디렉토리 (본인이 ext4? 다른 파일 시스템으로 Proxmox를 설치한 경우 참고) 로 가보자.

 

 

 

 

 

 

망할 디렉토리 하나때문에 근 1시간을 허비했다.

 

 

 

 

 

 

 

 

 

 

God damnit.

 

...

짱깨 익스프레스에서 산 만원짜리 CPU 쿨러가 안 맞아서

(램이랑 간섭있음)

서버를 쥐고 흔들다보니 HDD 하나가 깨졌다.

 

나는 안정성 때문에 일부러 소프트레이드를 잡은건데

(특히 하이퍼바이저 깔리는 디스크)

 

부팅 자체가 안 된다.

 

결국 기존에 구축한 서버 다 날려먹고

(백업을 안 해놨다)

새로 구성했다.

 

 

이번엔 싱글 HDD 구성을 부팅용으로 줬다.

로직보드에서 HDD를 레이드로 묶을 수 있는데

아무리 뒤적거려도 RAID 구성하는 옵션이 안 뜬다.

 

애즈락... 그지같군.

 

그냥 싱글로 줬다.

 

3.5inch 7400rpm 1TB 도시바 하드라

그냥 잘 버텨주겠거니.

 

 

 

 

brtfs인지 뭔지를 안 쓰니까

커뮤니티가 알려준 디렉토리에 iso 파일이 들어간다.

D. Scaling Mode: Local Scale 모드 디폴드 고정

 

이렇게 GUI 가상머신을 쓰고 있다.

 

웹개발 환경 구성(Eclipse) 고민기 - 필자 보라고 쓰는 글이라 작성중임.

저 대표이미지 바꾸든가 해야겠다.

처음엔 웃겼는데 ㅋㅋ;

 

 

noVNC로 접속할 경우 (가상머신 이름 더블클릭해도 뜸)

아래와 같이 팝업 창으로 뜬다.

게스트 OS(우분투)와 클라이언트 OS(윈도우10)의 모니터 해상도가 다르다.

 

사이즈 조정을 하고 싶은데... 윈도우는 자꾸 거부한다.

 

윈도우즈에서 프록스목스 접속시 디폴드값으로 Autoresize Window Scaling Mode: Off

macOS에서   프록스목스 접속시 디폴드값으로 Autoresize Window Scaling Mode: Local Scaling

 

로컬 스케일링이 선택되야 줌을 떙기든 하는데.

 

뭐냐. 클라이언트 차별하네.

상단 검은색 root@pam.... 클릭 - My Settings - noVNC에서 로컬 스켈링으로 변경.

하이퍼바이저 서버 재기동 할 필요 없이

바로 적용 되었다.

 

 

 

 

아래: 뻘짓 log

 

https://forum.proxmox.com/threads/novnc-defaulting-to-local-scaling-possible.55607/

noVNC - defaulting to "local scaling" possible?

 

/usr/share/pve-manager/js/pvenamagerlib.js

에 하드코딩이 되어있단다.

 

스태프님 ㄳㄳ

 

... 단축키 컨트롤이 안먹는다.

 

noVNC로 재접속.

 

키보드에서 절대.

컨트롤 + W 누르지 말자.

 

화면 상에서 컨트롤 키를 마우스로 클릭 한 번 해주고

키보드에서 W 누르기.

 

(암 생각없이 눌렀다가 창 닫아버림.)

 

 

...

위치는 찾았는데 스태프님 설명이

뭔소린지 모르곘다.

 

다시 들어가 해당 트레드를 읽고있는데..

하여간...

Proxmox는 사용자 직관적이지 않은 소프트웨어다.

 

그건 별로인듯.

무료니까. 쓰자. 하.

E. root 비활성화

root, admin, user 같은 계정명을 쓰는건 (and/or 살려두는건)

공격자에게 일의 절반은 해결해주는 것과 같다. 고 생각한다.

 

특히 루트권한은 강력한 것인만큼 계정 로그인을 해제해버리고

일반 관리자 / 사용자 계정을 별도로 만들자.

 

참고 블로그:

https://syweblog.tistory.com/12

 

 

루트를 해제하면 PCIe 패스스루가 안된다고 한다.

나는 pcie 패스스루할 장치가 없으므로 (nvme만 씬 프로비저닝으로 달아놨다)

 

그런 권한 문제가 있을법하다.

아직은 괜찮다.

 

 

useradd는 어떻게 쓰는지 몰라서

adduser를 써야되나?

 

http://annyeong.me/n/proxmox-setup

 

차이점을 찾아봤다.

 

https://phoenixnap.com/kb/useradd-vs-adduser

useradd vs. adduser: What Are the Differences?

 

useradd가 좀 더 비직관적이고 아규먼트 넣어줄게 많다고 한다.

useradd를 썼다.

 

man useradd를 때려봤다.

이하생략.

 

 

첫번째 블로그 글을 보면

useradd -m -s /bin/bash -c 관리자계정 -p NewAdminPassword NewAdminUserID

명령어를 기입했다.

 

(리눅스에서 계정을 추가해본 적이 없어서 생소하다)

 

-m : 홈 디렉토리 생성하지 않음

-s : 셸 로그인시 사용되는 이름?? 이게 뭐지..? 배쉬를 가져오는건 왜인거지

-c : 코멘트, 별 의미는 없음. (리눅스 설치할 때 쓰는 풀 네임)

-p : 비밀번호 암호화, 권장하지 않음 (프로세스들을 띄울때 유저들에게 비밀번호 (또는 암호화된 비밀번호)가 노출됨.

 

...????

 

 

에휴 한글 블로그는 못믿겠다.

영어 자료를 찾아봤다.

 

 

흠.

 

https://pve.proxmox.com/wiki/User_Management

User Management - Proxmox VE

LDAP을 쓸 수 있다네...?

 

무선랜때문에 RADIUS 서버를 알아보고 있었는데

흠.

 

일단 나중으로 미루고.

 

 

https://techviewleo.com/create-users-groups-permissions-proxmox/

이 글을 보면 WebUI에서 바로 해버리는데...?

 Datacentre - Permissions - Groups - Create

 

아래처럼 적당히 만들어주고

 

 

Ага.

 

프록스목스도 결국에 Debian에 기반한 OS이다보니

- Debian OS에 유저를 추가 (PAM)

- 프록스목스 전용 유저 생성

- 기타 다른 Auth 연동

 

3가지 옵션이 있다.

 

 

나는 프록스목스 서버에 굳이 SSH를 붙일 필요를 전혀 느끼지 못한다.

(모튼 포트를 막았음)

업데이트 할 때 아니면 외부인터넷 자체를 차단해버리고 있다.

 

그럼 굳이 앞서 두 블로그에서 한 것처럼 데비안 계정을 만들 필요가 없다.

 

 

 DC - Perm - Users - Add

 렒을 Proxmox VE Auth Server 로 변경해주고

(처음 하면 리눅스 PAM으로 잡혀있을 것임)

 

유저 네임 빼곤 다 옵션이다. ㅋㅋㅋ;

나는 앞서 만든 그룹이랑 비밀번호만 설정해주고 추가했다.

 

 

여기서 성격급하게

루트 로그인을 해제해버린 사람은

이제 로그인도 못하고 설정권한도 없어

난처해진 상황이 올 것이다.

 

https://forum.proxmox.com/threads/re-enable-root-user.83764/

[SOLVED] - Re enable root user

 

그런 경우 루트를 되살려줄 수 있다.

(서버에서 직접 로그인해서)

 

 

 

  DC - Perm - Add - Group Perm

(퍼미션 탭을 눌러야됨)

 이렇게 롤이 세분화되어있으니 참고하면 될듯하고

(나는 유저 = 유지보수 담당자 = 소유자 = 관리자 = 본인 이기 때문에 의미가 없음)

 

Administrator로 했다.

 

 각 롤에 해당하는 그룹을 만들어서

사용자들을 등록하면 되는구나.

 

그렇구만.

 

 

F. IP 도메인 변경 후 작업

 

2023.06.15 - [Engineering Log/On Premise Computing] - 개인용 서버의 망분리 고민 log (Feat. 대역폭 병목, 라우팅)

개인용 서버의 망분리 고민 log (Feat. 대역폭 병목, 라우팅)

 

해당 포스팅 관련 작업 중

 

일반 IP 대역과

서버 IP 대역을 분리시켰다.

(NAT)

 

기존 IP 도메인이 aaa.aaa.aaa.xxx 였고

서버 IP 도메인은 bbb.bbb.bbb.xxx 이기 때문에

ip 주소와 포트포워딩 (proxmox web ui 접속)작업이 필요했다.

 

프록스목스 디폴트 세팅은 고정 IP (Static) 이다.

ㅅㅂ

 

 

https://pve.proxmox.com/wiki/Network_Configuration

Network Configuration - Proxmox VE

 디폴트 값은 이러하다.

물리적으로 하이퍼바이저 서버에 직접 모니터랑 키보드를 달았다.

 

root으로 로그인한 뒤

(다른 계정을 쓴다면 계정 + sudo su를 해야겠지)

nano /etc/network/interfaces

로 해당 파일을 적어준다.

 

인터페이스 이름은 eno1이 아닐 수 있으니

(나는 enp3s0, PCIe 버스 3번의 슬롯 0번 과 같다)

주의하여 기재한다.

(ip link 로 볼 수 있다)

 

reboot을 하면 설정값이 반영된다는데

나는 재기동을 해도 인터페이스가 자꾸 떨어져 나갔다.

 

공유기에 LED가 꺼져버림...

 

 

ifup enp3s0

이렇게 ifup으로 살려준다.

 

 

 

포트포워딩은 8006만 해주면 됨.

 

나는 외부 443 내부 8006

이런 식으로 세팅하였다.

 cli 로 만지작거리고 나서

들어가면 auto start가 체크 해제되어있다.

 

체크해준다.

 

 

서버를 재기동하여

자동으로 인터페이스가 붙는지 확인해봤다.

 

 

POST 직후

인터페이스가 다시 죽었다가

부팅이 끝날때 쯤 다시 살아났다.

 

휴.

G. 내부 라우팅 추가하기

 

VMWare 처럼 내부 라우팅 기능이 내장되어있는 하이퍼바이저가 아니다보니

별도의 라우터를 VM으로 파서 생성해주어야 한다.

 

vyos

opnsense

pfsense

...

 

UTM 운영체제도 라우팅 기능 등이 있으므로

라우터로 써도 된다.

 

openwrt의 경우 하드웨어에 초점이 맞춰져있으므로 제외,

pfsense의 경우 opnsense의 클레임을 보고 나면 도저히 쓰고싶은 마음이 사라지게 된다.

https://opnsense.org/opnsense-com/

OPNsense.com - OPNsense® is a true open source firewall and more

 

와 미친놈들

pfsense에서 opnsense.com이라는 사이트를 열었다.

 

어쩐지, 예전에 opnsense.org이랑 opnsense.com이랑

둘이 사이트가 달라서 고민하다가 결국

포기한 적이 있다.

 

그때만 해도 각자 클레임이

opnsense는 자기가 원조라며...

 

그래서 결국 둘 다 못믿어 걍 안썼던 기억이 남.

 

opnsense랑 pfsense 는 믿고 걸러야겠다.

 

 

그럼 남는건 sophos 랑 vyos인데

소포스는 유료로 바뀌었고

vyos만 남은듯.

 

 

 

구구절절 쓰면 헷갈리니까

리스팅으로 해보자.

 

 

- vyos (O)

   무료다. 성능 좋다고 한다. CLI 로 작업해야하기 때문에 도큐먼트나 레퍼런스가 없으면 운용하기 불편하다.

 

- BSDRP (O)

   freeBSD 기반, 방화벽 기능이 없는 라우터라고 한다. GUI 그런거 없다.

 

- Untangle (O)

   Web UI 있고, 운용이 편하다고 한다. 유로 기능이 있긴 한데 핵심기능은 무료로 다 있나보다.

 

- Mikrotic RouterOS (X)

   free trial 기간이 지나면 라이센스가 있어야 사용이 가능하다.

   다만, 아래 기술하는 CHR로 사실상 갈음이 되었다. (2018년 이후 AMD64 아키텍쳐 매뉴얼 업데이트 X)

 

- CHR (X)

   가상화 환경에서 운용하기 위해 나온 녀석으로, 기존의 32 비트 운영체제가 아닌 64비트 운영체제라고 한다.

   가장 심각한 문제, 무료 라이센스에서는 인터페이스당 1Mbps의 처참한 속도를 쓸 수 있다.

   패스.

 

- pfSense (O)

  freeBSD 기반, 방화벽이나 그리 높은 방호력을 가지진 못한다고 한다. 일단 라우터로 쓸 수 읶다.

 

- opnsense (X)

  pfSense의 포크버전. pfSense랑 쳐 싸우는거 보고 일단 걸렀다. 패스.

 

- sophos (X)

  얘는 방화벽인데, 전에 다른 OS였다. (Astro)

  유료다. 패스. -> 50 클라이언트는 무료로 쓸 수 있다고 한다.

  전에 교육받을 때 깔아봤는데, 골머리를 썩었던 기억이 난다.

  방화벽 성능은 좋다고 한다. 패스.

 

- OpenWRT (X)

   이거는 하드웨어 중심인 OS라서 (펌웨어에 가깝다)

   가상머신에서 바로 올릴 수가 없는 것으로 알고 있다.

2024.05.11 - [1.A. High Level Computing/Network] - 공유기 싸제 운영체제 올리기 (OpenWRT, Linksys, ipTime)

공유기 싸제 운영체제 올리기 (OpenWRT, Linksys, ipTime)

 

 

흠..

일단 동그라미 친 것들 중에

- pfSense

- Untangle

두 놈이 보인다.

 

GUI 있는게 편함.

 

몰라. pfSense 랑 Untangle이랑 일단

설치 이미지부터 받자.

 

 

 언탱글은 30일 무료로 바뀐듯하다.

 

패스.

 

하... ㅅㅂ

언 스테이블 버전만 다운이 된다.

 

LTS 받으려면 로그인을 해야되는건가?

 

패스.

 

 

 아 ㅅㅂ 여기도 로그인 해야되네

진짜 귀찮구만.

 ㅅㅂ 이걸 왜 구매형식으로 하는거임

개빡치네

 

 

 

일단 다운 받았다.

 

Note - System - Network - Create로

원하는 만큼 (망의 갯수만큼) 네트워크 브릿지를 만들어준다.

 

나의 경우 아래 해킹 연습용 구성이라

망이 3개 필요하다.

 

 

 

저기서 V0 ~ V2가 각각 vmbr0 ~ 2를 의미한다.

프록스목스 도큐멘트에도 나와있다.

 

 

DMZ (라우터 ~ NIC 사이 구간)는 사실 필요하진 않으나

라우터를 외부망 (지금의 경우 집 내부망)에 연결하기 위해선 필요하다.

 

NAT, DHCP 서버는 라우터 측에서 담당할 예정이다.

(pfSense)

 

 

 

여기서 인터페이스만 만들고 말면

작동이 아니된다.

 

CIDR을 잡아줘야한다.

 

나는 그냥 편하게 10.0.*.0/24 망을 잡았다.

 

 

 라우터 가상머신을 적당히 만든 다음에 (커널부분은 그냥 리눅스로 일단 잡았음)

네트워크 디바이스를 모두 추가해준다.

 

 

아까 CIDR을 설정 안하고 그냥 라우터 VM을 기동시키려 했더니

그딴 장치를 찾을 수 없다며 에러를 띄웠다.

 

 

여기서 WAN을 잡아주고

(나의 경우 0번)

 

딱히 만질거 없고

 

 랜 잡아주고

 

 

흠...

 

 

이거 설정값을 바꿔야되는데

어떻게 바꾸는지 모르곘다 ㅅㅂ

그지같이 만들어놨네 진짜.

 

일단 막 넘기고 웹 UI나 CLI에서 해야겠다.

 

 

ㅇㅈㄹ을 해서 뭐지?? 플러스 ?? 벨리데이숀?????? 왜??? 했더니만

ㅅㅂ 유료버전? 을 다운받았던 것이다.

 

 

 아니 홈페이지에서 CE를 받는 링크가 없는데????
빡치기 시작한다.

 

 

https://repo.ialab.dsu.edu/pfsense/pfSense-CE-2.7.2-RELEASE-amd64.iso.gz

 

 

 gz 압축해제하고

 ㄱ ㄱ

 

 

 

네트워크는 늘 항상 지랄인게

시스템별로, 환경별로, 운영체제별로 호환성 같은 문제가 심하다.

 

일단 WAN만 멕이고 패스.

 

 

디폴트 크레덴셜은

admin

pfsense

이다.

 

 

 

GUI 없이 하니까 뭔가 자꾸 안먹어서...

ㅅㅂ 가상머신 하나 파고 윈도우를 깔았는데 깔고나니까 겁나 잘된다.

 

흠...

하나의 DHCP에서 두개 망을 같이 쪼개는건 안되나보다.

 

일단 하나의 망으로 묶고, 라우팅으로 내외부 통신을 차단해야겠다.

 

 

 

H. 프록스목스 메이저 버전 업그레이드 (7 - 8)

 

Proxmox 7.3 버전을 쓰고 있는데...

Proxmox 8부터 ESXI 마이그레이션이 지원된다고 한다.

ㅜㅜ

 

결론부터:

뭔가 이상하다. 그냥 밀고 다시 까는게 더 나은듯... ㅜㅜ

 

웹 UI 로그인이 지속적으로 풀리고

가상머신 종료가 안되고

웹 구독 경고창은 계속 뜨고

성능 그래프가 1970에 고착되면서 리소스 사용량이 안 보인다.

 

씨부엉...

 

 

순서

1. 백업

-> 아래 I. 가상머신 백업으로 갈음

 

2. 현재 메이저 버전 내에서 최신 마이너 버전 확인

-> 아래 K. 프록스목스 업데이트 (마이너) 갈음

 

3. 업그레이드 전 점검 스크립트 실행

-> Shell에서 pve7to8 입력

이슈 발견.

 

방금 업데이트 했는데 뭔 개소리여

 

껏다 켜 ㅅㅂ

 

 왜 안되는거임

 

apt-get으로 하니까 하나는 업데이트가 됨.

 

hmm...

 

 

apt full-upgrade를 먹이니 된다.

WHAT THE F

 

 

일단 다른 에러부터.

가상머신 켜져있다 - 끔. (안죽어서 보니 콘솔띄워서 자체 종료는 또 잘먹음 뭐냐)

apt install grub-efi-amd64

 

 이 워닝만 안 사라짐.

 

또 껏다 켜 ㅅㅂ

 

 

4. 메인 업그레이드

셸에서 소스 다시 변경

(ㅅㅂ 뭐 과정이 이따위냐)

 

deb http://ftp.debian.org/debian bookworm main contrib

deb http://ftp.debian.org/debian bookworm-updates main contrib

deb http://security.debian.org/debian-security bookworm-security main contrib

deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription

 

apt update; apt upgrade

 

 왓더 뻑이즈 디스.

 

패키지 메인테이너의 버전을 따라간다고 할까.

 

Y

 

업데이트가 또 다 안먹어서 (403개)

apt full-upgrade를 또 먹였다.

 

뭐 이따위냐 이거.

 

 

 

 

 

 

I. 가상머신 백업

 

한 개씩 백업할 경우

 해당 가상머신 - 백업 - 상단 백업 나우 클릭

 모드: 스냅샷, 스탑, 서스펜드가 있다.

나는 지금 가상머신을 꺼둔 상태라 그냥 아무거나 골랐다.

 

 

노드 통째로 백업하기

 

데이터센터 - 백업 - 애드

 

정기적인 백업 스케줄을 만드는건데,

한 번만 할 사람도 이걸 만들어야된다.

 

나는 1년으로 잡았고,

노드는 하나밖에 없딘 하다만 해당 노드를 선택했고,

스토리지는 파일서버로 잡았고,

모든 가상머신을 클릭해서 백업하는 것으로 잡았다.

 

 

그 다음에

 

 

우측 상단에 Run Now 를 눌러서

 

 

백업을 수행한다.

 

기존 디스크를 압축하고나서 (씨피유가 구림 인텔 3세대 제온)

네트워크 통해서 보내는 것이라 (113MB/s)

엄청 오래 걸린다.

 

각 가상머신별 디스크는 대부분 32GB 씬 프로비저닝이라

용량이 그렇게 크진 않다.

 가상머신 8개,

우분투 서버 웹서버 3식

우분투 서버 DB서버 3식

우분투 서버 배스쳔호스트 1식

BSD 라우터 서버 1식

윈도우 10 가상머신 1식

총 9식이다.

 

9식인데 용량이 112기가밖에 안된다.

 

 프록스목스 노드 설정은 백업하려면 scp 로 옮겨야되서

걍 포기했다.

 

VM만 살리면 된다.

 

 

 

 

 

J. 외부 스토리지 붙이기 (SMB 서버 연동)

 데이터센터 - 스토리지 - 애드 - SMB

 

이렇게 하면 일반 파일서버 붙이듯이 붙일 수 있다.

 

 

우측의 컨텐츠 탭에서 저장할 것 종류를 선택할 수 있다.

 초보자라도 만지다보면 금세 익힐것이라 별도의 설명은 더 하지 않고 여기서 마친다.

 

 

 

K. 프록스목스 업데이트 (마이너)

 

리파지토리 확인 & 추가

 노드 - 업데이트 - 리파지토리 - 애드

 넌-섭스크립션 추가. 

 

GUI가 안되는 사람들은

셸 접속

nano /etc/apt/source.list

deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription

 

 

 셸을 기록한 이유는

 국내 데비안 미러 서버가 제대로 작동을 안해서이다.

(카이스트)

 

ㅅㅂ

 

 

 방사능의 나라 일본으로 잡아주었다.

 

 여전히 안된다.

 

아, 지금 유심히 보니 리졸빙 문제가 있다.

 

DNS 문제.

 

 

nano /etc/resolv.conf 

 168.126.63.1

KT 뎨네스 서버를 써도 되지만

(아님 게이트웨이로 잡아주든가)

입력이 편하므로 클라우드플레어 서버를 쓴다.

 

바로 먹는다.

ㅅㅂ

 

다시 한국 서버로 변경.

 

이런 젠장.

그동안 DNS 서버 문제인줄 몰랐...

ㅜㅜ

 

 

셸로 들어가서

apt update;apt upgrade -y

하면 됨.

 

 

 

 

L. VMWare 이미지 마이그레이션

 

https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Manual_Migration

Migrate to Proxmox VE - Proxmox VE

 

프록스목스는 공식매뉴얼이 개판이다 정말.

 

일단 가상머신을 하나 판다.

 

CD는 없음으로, 디스크는 아무거나 하나는 만들어야됨

나머지는 본인 필요에 맞게.

 

 

 해당 VM 가서 하드를 디태칭 한다.

 

근데 이러면 구녕 처음부터 안 만들어도 되는데

이새기는 왜 이렇게 한거지?

(유툽 보고 따라하는중)

 

 

 다음에 vmdk를 옮겨줘야 한다.

 

나는ㅁㄴ Samba 서버를 프록스목스와 연계시켜놨고 (상단 참조)

거기에 iso 컨텐츠를 추가한 뒤, 해당 디렉토리에 올렸다.

 

 -> iso 파일이 아니라 바로 읽진 못하고,

/mnt/pve/ ... 에서 읽을 수 있다.

 

 

 cp로 루트의 홈디렉토리에 옮겨주자.

(셸을 꼭 새 창으로 띄워서 작업하자. 프록스목스 기본 셸에서 하다가 창 바꾸면 해당 프로세스가 죽어버린다.)

 

 다 옮겼으면 해당 디렉토리에 가서 아래와 같은 명령어를 친다.

 qm importdisk 가상머신번호 첫번째파일명.vmdk 스토리지명

 

 

 이 명령어도 된다. 다만 이 경우 직접 결과물을 옮겨줘야됨.

 

 

 

 요렇게 되면

 

 108번용 디스크가 잘 생성된걸 볼 수 있다.

 

 요걸로 지워주자.

 

 

가상머신으로 다시 가보면

언유즈드 디스크가 보인다.

 

 걍 더블클릭해서 설정 해주면 붙는다

 

 옵션즈 - 부트 오더에서

해당 디스크를 선택해준다.

 

(나는 네트워크 부팅을 할 일이 없으므로 네트워크는 해제해줬다)

 

 

부팅이 안된다.

ㅜㅜ

 

 

 

 

 

 

 

 

 

끝. EoD