Az Masraflı Çok Kuvvetli Cloud VM

Son güncelleme tarihi 5 Eylül 2022

Kim istemez ki 🙂

Az masraflı Cloud VM, şaka değil mümkün ama biraz dolambaçlı. Dolar kurunun alıp başını gittiği bu günlerde test için Cloud hizmeti sunan bir firmadan giriş seviye bir VM başlatsanız bile aylık hesaba vurduğunuz zaman masraflar, aldığınız hizmet ile kıyasladığınızda canınızı sıkabilecek düzeyde olabiliyor…

Peki çözümü var mı?

Evet, şahsen kullandığım bir yöntem var ve bu yazımda onu açıklayacağım. Linux sistem yöneticisi arkadaşlardan daha önce kullanmayan varsa da faydalanacaklarını ümid ediyorum. SSH kullanarak yerelde statik ip adresine ihtiyaç olmadan yani, CGNAT kullanan ev internetimizle bile Web Hosting sınıfındaki neredeyse tüm hizmetleri yerel bilgisayarımızdaki sanallaştırma altyapısıyla sağlayabiliriz.

İhtiyaç listesine bir göz atalım.

• Cloud Sanal Makine, Cloud hizmeti veren herhangi bir firmadan alınan VM (giriş seviye olabilir) mesela ben genellikle DigitalOcean üzerinden bu hizmeti alıyorum, kaydolmak isteyen varsa bu link üzerinden kaydolarak 60 günlük kullanıma sahip $100 değerinde ücretsiz kullanım hakkı elde edebilirsiniz.
• Sanallaştırma Sistemi bilgisi yerel sistemimizdeki VM ile asıl işlemleri yapacağımız için gerekli.
• Temel Server kurulumu bilgisi, network protokollerini yüzeysel olarak biliyor olsanız bile yeterli, ayrıca ssh, web, ftp, dns, veritabanı, mail, nfs, v.b. sunucuları yapılandırabiliyor olmalısınız. Yerel VM üzerine kuracağız doğal olarak.
• Web Proxy bilgisi
• Upload Bant Genişliği 10Mbit altında olmayan ev interneti, ne kadar fazla o kadar iyi.
• SSH kullanım bilgisi, ve port redirection, ssh key pair, ssh config, bu yazımın merkezinde tam olarak bu başlık var.
• systemd bilgisi kurulumumuzun otonom şekilde çalışması için sistem servislerini oluşturmak gerekiyor.

Dezavantajları / Avantajları

• Kişisel bilgisayarınız kapalıysa sunulacak birşey yok demektir.
• Yerel internetiniz kesildiyse sunulacak birşey yok demektir.
• Diğer taraftan 1/10 masrafla sunucu ayağa kaldırabilirsiniz.
• Konsol, Backup, Snapshot elinizin altında olur, yönetim kolaylaşır.
• Veri Gizliliğiniz elinizin altında olur. (Cloud VM sadece relay vazifesi göreceğinden)
• Testlerinizi çoook daha ucuza, hızlı şekilde gerçekleştirmiş olursunuz.

1vCPU, 2GB ram, 25GB disk için aylık ödediğimiz para $6 (~90TL) peki GitLab-CE kurup kullanmak istersek, sistemin adam akıllı çalışması için minimum 4vCPU, 8GB ram, 100GB disk alanına ihtiyacımız var bu özelliklere sahip VM’i hizmet sağlayıcıdan almak istersek aylık $48 (~720TL) gibi bir masraf karşımıza çıkıyor. Eğer kişisel bilgisayarımızda bu kaynak varsa $6 VM ile GitLab DevOps sunucusunu kurup kullanabiliriz.

✕

İşlem adımları;

1. Cloud VM oluşturalım.
2. DNS ayarlarımızı yapalım, domain/subdomain yeni oluşturduğumuz VM’i göstersin.
3. Yerel bilgisayarımızda yüksek kapasiteli bir VM oluşturalım.
4. Cloud VM içerisine ihtiyaç duyduğumuz uygulamaları kuralım, yapılandıralım.
5. SSH port redirection ile Yerel VM üzerindeki bir uygulamaya, Cloud VM üzerinden nasıl erişilebileceğine bakalım.
6. SSH port redirection işlemini systemd unit file kullanarak otomatize edelim, sistem servisi haline getirelim.

Bu adımları attığımızda yerel bilgisayarımızda kurduğumuz VM üzerindeki sunucu uygulamaları aynen Digital Ocean tarafındaki VM üzerinden erişilebilecektir.

1. Cloud VM Oluşturalım

En basit adımlarımızdan birisi, yapılandırmayı seç, hostname yaz, oluştur butonuna bas bitti.

2. DNS ayarlarımızı yapalım

Bu kısım sizin tarafınızda, bir alan adına sahip olmalısınız, Cloud hizmeti veren firmalar genellikle ücretsiz DNS hizmeti de vermekte, yönergeleri izleyin. Benim gibi kendi DNS sunucunuz varsa eğer A kaydı ekleme işlemini biliyorsunuz demektir, elinizdeki domainlerden birtanesine A kaydı ekleyin ve yeni oluşturduğumuz Cloud VM ip adresini göstersin. AAAA kaydı da ekleyebilirsiniz ipv6 adresini gösterebilir (opsiyonel) yerel internetim ipv6 desteklemediğinden bu kısmı uygulamaya dökemeyeceğim.

ysn.app alan adı üzerinde vcs.ysn.app alt alanadını yeni Cloud VM’i gösterecek şekilde yapılandırdım.

Cloudflare DNS’i sunucumun A kaydını 2dk içerisinde gördü, yani işlem yapmaya başlayabiliriz.

3. Yerel bilgisayarımızda yüksek kapasiteli bir VM oluşturalım.

Bu kısmı size bırakıyorum, Yerel VM için hangi sanallaştırma altyapısını kullanırsanız kullanın sonuç değişmeyecektir, makineyi ister veritabanı sunucusu olarak kurun, ister web hosting makinesi olarak kurun, ister benim yaptığım gibi GitLab-CE kurun size kalmış, yüksek kapasite ihtiyacı olan herhangi bir uygulama olması burada toplanmamızın asıl amacı 🙂 VM oluşturmayıp kişisel bilgisayarınızdaki portları da Cloud VM tarafına paslayabilirsiniz, sizin tercihiniz.

4. Cloud VM içerisine ihtiyaç duyduğumuz uygulamaları kuralım, yapılandıralım.

Temelde ssh uygulamamız tüm ihtiyacımızı karşılıyor, hali hazırda varsayılan kurulum ssh publickey kısıtlamasına sahip, sadece ssh port 22 yerine Cloud VM 2222, Yerel VM 22 olacak şekilde bir değişiklik yapacağım. İlaveten ufw firewall kurup temel uygulamalarımıza izin verdiğimizde genel manada işimiz tamamdır.

yasin@uxn-workstation:~$ ssh vcs.ysn.app

# root olarak
sed -i 's/#Port 22/Port 2222/g' /etc/ssh/sshd_config
exit
logout
Connection to vcs.ysn.app closed.

yasin@uxn-workstation:~$ ssh vcs.ysn.app "systemctl restart sshd"
yasin@uxn-workstation:~$ ssh vcs.ysn.app
ssh: connect to host vcs.ysn.app port 22: Network is unreachable

Yukarıda farketmişsinizdir ssh vcs.ysn.app diyerek ne kullanıcı adı ne parola ne başka bir bilgi vermeden doğrudan sunucuma erişiyorum, bunu sağlayan yapı SSH keypair ve SSH config dosyası, varsayılan ~/.ssh/config dosyasıdır, ancak isteğe bağlı farklı bir dosya içerisinden de özellikler okutulabilir.

# keep alive all hosts connections
Host *
    ServerAliveInterval 60
    ServerAliveCountMax 3

Host ysnapp
		HostName vcs.ysn.app
        User    root
        Port    2222
        IdentityFile ~/.ssh/parolasiz_yeni

Yukarıdaki örnek SSH yapılandırması ~/.ssh/config içerisinde yer alıyor, farklı bir yere ssh-con.config olarak kaydedip kullanmak istersem komut şu şekilde işleyecek.

ssh -F ~/ssh-con.config ysnapp

SSH uygulaması ve detaylı açıklamaları başka bir yazının konusu o sebepten burada bırakıyorum.

UFW firewall yapılandırmasını olabildiğince basit tutacağım,

apt install ufw

ufw default deny incoming
ufw default allow outgoing
ufw default allow routed

ufw allow ssh
ufw allow http
ufw allow https
ufw allow 2222/tcp comment 'SSH Port'

ufw enable

Buraya kadar Yerel ve Cloud tarafındaki ayarlamaları bitirmiş olduk, an itibariyle;

• Cloud VM bir domain ile erişilebiliyor olmalı.
• Yerel VM ile Cloud VM arasında ssh keypair kullanarak ssh bağlantısı kurulabiliyor olmalı.
• Yerel VM üzerinde yayınlamak istediğimiz uygulamalar çalışıyor olmalı.
• Sıraladığım bu 3 madde için internette zibilyontane how-to var hali hazırda, ben karşılaştığım probleme getirdiğim çözümü paylaşıyorum, yeri gelirse bu maddeler için de örnek hazırlarım. Mesela şurada ssh keypair oluşturma ile ilgili bir yazı yazmışım zamanında. Özü aynı, PC üzerinde ssh-copy-id kullansak keyleri aktarmak daha basit olur.

5. SSH port redirection

Hızlı bir giriş yaparak yerel bilgisayarımdaki mysql veri tabanı ve http web sunucusunu yönlendirelim…

MySql 3306/tcp

HTTP 80/tcp

ssh -NT -R 80:0.0.0.0:80 vcs.ysn.app

ssh -NT -R 3306:0.0.0.0:3306 vcs.ysn.app

Yukarıdaki 2 komutu 2 ayrı terminalde açalım ve ne olduğuna bakalım.

yasin@uxn-workstation:~$ ssh vcs.ysn.app

netstat -tlpn4
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 127.0.0.1:3306          0.0.0.0:*               LISTEN      3727/sshd: root     
tcp        0      0 0.0.0.0:2222            0.0.0.0:*               LISTEN      2459/sshd: /usr/sbi 
tcp        0      0 127.0.0.1:80            0.0.0.0:*               LISTEN      3720/sshd: root

Sunucularımızın local 127.0.0.1 olarak değilde, tüm networke 0.0.0.0 yayın yapmasını istiyorsak Cloud VM üzerinde;

sed -i 's/#GatewayPorts no/GatewayPorts yes/g' /etc/ssh/sshd_config

systemctl restart sshd

restart dedikten sonra yukarıdaki bağlantıları yeniden başlatmayı unutmayın 🙂

netstat -tlpn4
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN      3790/sshd: root     
tcp        0      0 0.0.0.0:2222            0.0.0.0:*               LISTEN      3780/sshd: /usr/sbi 
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      3783/sshd: root

artık istediğim gibi çalışıyor.

http://vcs.ysn.app adresine gittiğimde karşıma yerel bilgisayarımın web server varsayılan dizini çıkıyor. HTTP redirection başarılı.

MYSQL redirection ne alemde ona bakalım. Normalde dışarıdan 3306 portuna erişim kapalı, geçici olarak ufw allow 3306 dedim ve test için erişime izin verdim.

Bu şekilde redirect yapabileceğimiz bir başka uygulama ise SSH, yukarıda vcs.ysn.app makinesinin ssh portunu 2222 çevirme sebebim tam olarak bundan.

ssh -NT -R 22:0.0.0.0:22 vcs.ysn.app

Şu anda vcs.ysn.app makinesine Web Sunucu, Mysql Sunucu, SSH sunucu bağlantısı yapılmaya kalkıldığında doğrudan yereldeki sistemime yönlendirme işlemi gerçekleşiyor. Bunun gibi neleri aktarabiliriz sorusuna ise “TCP protokolü ile iletişim kuran neredeyse tüm uygulamaları” şeklinde cevaplarsam yalnış olmaz sanırım.. Aşağıdaki tabloda portlar ve o portlar üzerinde kullanılan uygulamaları bulabilirsiniz, ayıklamaya uğraşmadım TCP olanları bu yöntem ile redirect yapabiliriz.

6. systemd ile Sistem Servisi Oluşturalım

Bu servisi yerel VM üzerinde veya sunucu uygulamayı barındıran makine üzerinde oluşturup çalıştıracağız.

• man systemd.unit veya html formda, systemd.unit

Sistem yöneticisi arkadaşlar hali hazırda unit file oluşturmayı genellikle biliyor veya öğrenmesi zor olmayacaktır. Burada oluşturmak istediğim servis tek config dosyasıyla birçok işi yapabilmeli…

Unit file içerisinde Specifiers ismi verilen bir yapı var, hani systemctl restart servis-ismi@ @ işareti çıkıyor ya, tam olarak o @ simgesinden bahsedeceğiz. service dosyaları argüman alabiliyor ve bunu belirli standartlarda yapıyorlar. Specifiers, tümüne girmeyeceğim bize sadece %i lazım.

İhtiyacımız olan temel service dosyası;

/etc/systemd/system/ssh-tunnel@.service

[Unit]
Description=Start ssh-tunnel %i
After=network.target

[Service]
ExecStart=/usr/bin/ssh -F /etc/default/ssh-tunnel.config -NT %i
RestartSec=5  
Restart=always

[Install]
WantedBy=multi-user.target

4. başlıkta ssh config dosyasından bahsetmiştim, /etc/default/ssh-tunnel.config dosyamız tam olarak sistem servisimizin kullanacağı yapılandırmalara, parametrelere sahip olacak detay için man ssh.

Host *
	ServerAliveInterval 60
	ServerAliveCountMax 3

Host ysnapp_ssh   
	HostName vcs.ysn.app
	User    root
	Port    2222
	IdentityFile /home/yasin/.ssh/parolasiz_yeni
	GatewayPorts yes
	RemoteForward 0.0.0.0:22 0.0.0.0:22
	ExitOnForwardFailure yes

Yukarıda sadece ssh servisini yerel tcp 22 portunu uzak tcp 22 portuna bağladı, vcs.ysn.app alanı port 22 üzerine yapılan talebin tümü yerel bilgisayarıma gelecektir.

Servisi aktive etmeden önce test edelim,

/usr/bin/ssh -F /etc/default/ssh-tunnel.config -NT ysnapp_ssh

ssh key fingerprint soracaktır, ekleyelim. Komut root yetkileriyle çalıştırılıyor, systemd –user ile kullanıcı için de yapılandırma yapılabilir ancak bir kullanıcının port 1000 ve üzerine redirect işlemi yapabildiği unutulmamalı.

# root olarak;
systemctl enable ssh-tunnel@ysnapp_ssh.service
Created symlink /etc/systemd/system/multi-user.target.wants/ssh-tunnel@ysnapp_ssh.service → /etc/systemd/system/ssh-tunnel@.service.

systemctl start ssh-tunnel@ysnapp_ssh.service

systemctl status ssh-tunnel@ysnapp_ssh.service
● ssh-tunnel@ysnapp_ssh.service - Start ssh-tunnel ysnapp_ssh
     Loaded: loaded (/etc/systemd/system/ssh-tunnel@.service; enabled; vendor preset: enabled)
     Active: active (running) since Fri 2022-04-08 18:19:30 +03; 2s ago
   Main PID: 183786 (ssh)
      Tasks: 1 (limit: 19005)
     Memory: 896.0K
        CPU: 19ms
     CGroup: /system.slice/system-ssh\x2dtunnel.slice/ssh-tunnel@ysnapp_ssh.service
             └─183786 /usr/bin/ssh -F /etc/default/ssh-tunnel.config -NT ysnapp_ssh

Nis 08 18:19:30 uxn-workstation systemd[1]: Started Start ssh-tunnel ysnapp_ssh.

Cloud VM tarafında

Sistemimizin açılışında ssh redirect işlemi otomatik olarak gerçekleşecektir. HTTP için de config dosyamıza ilave yapıp servisi aktive edelim, birkaç tane de kendim ilave ettim bu şekilde yukarıdaki paylaştığım tablodan dilediğiniz uygulama için port redirect yapabilirsiniz.

Host *
	ServerAliveInterval 60
	ServerAliveCountMax 3

Host ysnapp_ssh   
	HostName vcs.ysn.app
	User    root
	Port    2222
	IdentityFile /home/yasin/.ssh/parolasiz_yeni
	GatewayPorts yes
	RemoteForward 0.0.0.0:22 0.0.0.0:22
	ExitOnForwardFailure yes

Host ysnapp_http   
	HostName vcs.ysn.app
	User    root
	Port    2222
	IdentityFile /home/yasin/.ssh/parolasiz_yeni
	RemoteForward 0.0.0.0:80 0.0.0.0:80
	ExitOnForwardFailure yes

Host ysnapp_https   
	HostName vcs.ysn.app
	User    root
	Port    2222
	IdentityFile /home/yasin/.ssh/parolasiz_yeni
	RemoteForward 0.0.0.0:443 0.0.0.0:443
	ExitOnForwardFailure yes

Host ysnapp_ftp   
	HostName vcs.ysn.app
	User    root
	Port    2222
	IdentityFile /home/yasin/.ssh/parolasiz_yeni
	RemoteForward 0.0.0.0:21 0.0.0.0:21
	ExitOnForwardFailure yes

Host ysnapp_mysql   
	HostName vcs.ysn.app
	User    root
	Port    2222
	IdentityFile /home/yasin/.ssh/parolasiz_yeni
	RemoteForward 0.0.0.0:3306 0.0.0.0:3306
	ExitOnForwardFailure yes

Host ysnapp_pgsql   
	HostName vcs.ysn.app
	User    root
	Port    2222
	IdentityFile /home/yasin/.ssh/parolasiz_yeni
	RemoteForward 0.0.0.0:5432 0.0.0.0:5432
	ExitOnForwardFailure yes

systemctl enable ssh-tunnel@ysnapp_http
systemctl enable ssh-tunnel@ysnapp_mysql
systemctl enable ssh-tunnel@ysnapp_pgsql

systemctl start ssh-tunnel@ysnapp_http.service
systemctl start ssh-tunnel@ysnapp_mysql.service
systemctl start ssh-tunnel@ysnapp_pgsql.service

Sistem servisi olarak ssh bağlantısı işlemini görmüş olduk. Kolay gelsin.

Allah’a emanet olun.