Zuinig virtualiseren met ESXi

Door HyperBart op dinsdag 26 april 2011 11:00 - Reacties (20)
Categorieën: Tech, Vrije-tijdsbesteding, Views: 4.896

Inleiding
Zelf ben ik al een paar maandjes werkzaam bij een bedrijf dat virtualisatie sterk aanbiedt en dan vooral met VMware... Privé ook een grote interesse naar virtualisatie en tijdens mijn opleiding dan ook wat geëxperimenteerd met ESXi met een whitebox van een vriend.

Thuis heb ik altijd een klein servertje gedraait (op dit moment een oud bakje op basis van een AMD Athlon XP 2000+, maar in mijn ogen was het rendement van het verbruik te weinig (ik had te weinig mogelijkheden in verhouding tot de stroomconsumptie).

Maar wat is ESXi nu eigenlijk en voor wat dient het?
ESXi is een virtualisatieproduct van VMware, een zogenaamde "bare metal hypervisor". Simpel gezegd is een bare metal hypervisor een soort van "verkeersregelaar" die bepaalt welke VM (=Virtual Machine of Virtuele Machine) toegang krijgt to welke hardware en voor hoelang. Het zorgt er dus voor dat je meerdere besturingssystemen (ook gemengd! Windows/Linux) langs mekaar op dezelfde hardware gelijktijdig kan draaien.
In het bedrijfsleven heeft dit als voordeel dat waar een bedrijf vroeger om een scheiding in zijn machines en de taken te houden verschillende fysieke machines moest aankopen, nu één zwaardere machine kan kopen (met vooral veel meer geheugen) en alle VM's hardware-onafhankelijk op die machine kan draaien. Als je meerdere ESXi-machines in een cluster groepeert kan je zelfs VM's migreren van de ene naar de andere host zonder dat de gebruiker er iets van merkt... Dat is de kracht van virtualisatie en omwille van het feit dat ik meerdere VM's kan draaien op één bakje wou ik er ook eentje thuis.


De Hardware
Dus: tijd voor een nieuw bakje, en wel eentje dat ESXi ondersteunt en bovendien relatief zuinig is (zeker als je kijkt naar het aantal (virtuele) machines dat je kan draaien). Na een tijdje rondgehangen te hebben in Nieuwe Zuinige Server (discussie) toch besloten om de volgende hardware aan te kopen:

#ProductPrijsSubtotaal
1Antec New Solution VSK-2000-EC¤ 38,57¤ 38,57
1Intel Core i3 540¤ 86,70¤ 86,70
1be quiet! Pure Power L7 300W¤ 34,30¤ 34,30
1GeIL Value PLUS GVP38GB1333C9DC¤ 59,90¤ 59,90
1MSI H55M-E33¤ 63,50¤ 63,50
Bekijk collectie
Importeer producten
Totaal¤ 282,97


Ter zijner tijd (enkele weken terug) kostte het bakje net geen 300 EUR en ik had nog een HDD en een compatibele Intel NIC liggen (die nodig is voor de installatie, aangezien de onboard NIC standaard niet ondersteund wordt tijdens het installatieproces...)

De Installatie
Alles ingebouwd en het boeltje opgestart met een CD'tje van ESXi 4.1 Update 1...

Verdorie :( hij wilt niet installeren! Toch maar even wat gaan opzoeken en contact opgenomen met een Tweaker die het wel werkend had (iNSaNe-oNe), na wat heen en weer gestuur te weten gekomen hoe ESXi te installeren en bovendien de onboard NIC werkend te krijgen:

Stap 1: assembleer alle hardware (duh :+ ) maar vergeet geen compatibele NIC te plaatsen... In mijn geval was dat een Intel 1000 MT Desktop Adapter, en daardoor heeft ie tijdens de installatie geen problemen. Zonder die NIC ben ik niet bekend wat de gevolgen zijn van een installatie

Stap 2: gebruik de image van ESXi 4.0 U1 (staat bij de lijst van ESXi's bij de downloads genoteerd als: "ESXi 4.0 Update 1 Installable (CD ISO)"), brand deze naar een CD, boot hier van en installeer op de normale wijze ESXi

(in principe heb je nu al een werkende installatie van ESXi zonder problemen op je bakje staan, weliswaar zonder je onboard NIC werkend, maar je hebt al ESXi...)

Stap 2a: deze stap is optioneel, maar geeft je wel toegang tot de Host Update Utility die je misschien makkelijker vindt om je ESXi te updaten, persoonlijk vond ik de commandline veel makkelijker (je bent Tweaker of niet...) en ik vond het veel "cleaner". Surf naar het IP-adres van je ESXi-bak en download op die pagina de vSphere client, installeer deze en vergeet tijdens het installatieproces het vinkje "Install host update utility" niet aan te duiden...

Stap 3: installeer de vCLI (http://www.vmware.com/support/developer/vcli/)

Stap 4: stel via de console een wachtwoord in (denk aan de juiste toetsenbord-instellingen)

Stap 5: connecteer met behulp van de vSphere Client naar je ESXi-machine en plaats deze in maintenance-mode

Stap 6: update ESXi 4.0 U1 naar ESXi 4.1 U1, dit doe je op basis van het ZIP-pakketje dat je kan downloaden op dezelfde pagina waar je je ISO hebt gedownload, dit ZIP-bestandje staat daar bij het kopje: "ESXi 4.1 Update 1 (upgrade ZIP from ESXi 4.1)". Ik heb mijn ZIP-pakketje in mijn C:\ geplaatst en met de vCLI de update gedaan en dat gaat als volgt:

C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl --server 192.168.X.X --install --bundle c:\upgrade-from-esxi4.0-to-4.1-update01-348481.zip
Enter username: root
Enter password:
Please wait patch installation is in progress ...
Maintenance mode is not enabled or could not be determined.The following VIBs re
quire this host to be in maintenance mode: deb_vmware-esx-firmware_4.1.0-1.4.348
481, cross_oem-vmware-esx-drivers-scsi-3w-9xxx_400.2.26.08.036vm40-1OEM, cross_o
em-vmware-esx-drivers-net-vxge_400.2.0.28.21239-1OEM.  Please put the host in ma
intenance mode to proceed.

Tadaaa :) ik was vergeten maintenance mode te enablen... Snel even gedaan, en wat krijgen we dan:

C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl --server 192.168.X.X --install --bundle c:\upgrade-from-esxi4.0-to-4.1-update01-348481.zip
Enter username: root
Enter password:
Please wait patch installation is in progress ...
The update completed successfully, but the system needs to be rebooted for the changes to be effective.


Stap 7: reboot je ESXi-machine

Stap 8: enable Remote Tech Support Mode (remote TSM) via de vSphere client (http://www.virtual-blog.c...support-mode-on-esxi-4-1/ , wij connecteren ipv naar een vCenter naar de ESXi rechtstreeks, voor de rest is alles bijna hetzelfde)

Stap 9: Check Whitebox HCL op VM-Help.com en kijk even bij nummer 1 bij Realtek 8111, in de TS van die thread vind je een attachment (RTL8111_8168_P55_integr_SATA_Ctrl.(AHCI).oem.tgz [187.13 KiB] ), download dit en sla het op als "oem.tgz"

Stap 10: download WinSCP of eender welk ander SCP-capabel programma en maak verbinding via SCP naar het IP-adres van je ESXi-host, browse naar "/bootbank". Hier vind je een bestandje genaamd "oem.tgz", hernoem dit naar "oem.tgz.bak" (dit is gewoon als failsafe om een backupbestandje te hebben). Upload vervolgens het oem.tgz bestand wat je gedownload hebt naar deze "/bootbank"-directory.

Stap 11: reboot je server

Ziezo, nu heb je in principe een heel zuinige ESXi-server die bovendien gebruik kan maken van de onboard NIC. Nu kan je volgens de normale procedures VM's gaan aanmaken.

Happy virtualising :)

* HyperBart out!


PS: voor de geïnteresseerden omtrent het v-verhaal, een blogger op http://www.vladan.fr/esx-virtualization-contest/ doet nu een wedstrijd... Als je een aantal dingen doet die beschreven staan op zijn blog maak je kans op:
1st Price – Veeam Backup and Replication v. 6.0 ! – Full 365 days NFR license
2nd Price – vSpere 5 DVD Training Course by David Davis and Elias Khnaser !
3rd Price – Mastering VMware vSphere 5 !

Toffe prijzen voor weinig dus!

Volgende: De Zotte Weddenschap 25-09 De Zotte Weddenschap
Volgende: Waze - Social GPS and traffic information based on the wisdom of the crowd 04-'11 Waze - Social GPS and traffic information based on the wisdom of the crowd

Reacties


Door T.net user Bjornski, dinsdag 26 april 2011 11:10

Waarom heb je gekozen voor dat MSI bordje?

Dit intel bordje heeft een onboard NIC die volgens mij standaard op de HCL van VMWare voorkomt (niet gecheckt, maar volgens mij is het gewoon een PRO 1000 MT).

Scheelt weer een NIC die stroom verbruikt en grote kans dat 4.1 ook meteen installeert.

Door T.net user HyperBart, dinsdag 26 april 2011 11:20

Niet bijzonder voor dat mobo gekozen maar dat zag ik toch al een paar keer voorbij komen in dat zuinige server topic, het leek me een goed bordje, gewoon op buikgevoel afgegaan omwille van de goede ervaringen van mensen in dat topic... (kan me nu niet herinneren of dat MSI bordje zuiniger was dan het Intel bordje of niet...)

Door T.net user dj_vibri, dinsdag 26 april 2011 11:41

Ben zelf ook al enige tijd op zoek naar een zuinige/stille server voor thuis gebruik, meer bepaald voor volgende taken:

- Soort NAS omgeving opzetten
- FTP/Web stuff, simpel
- Virtuele Labs opzetten voor testen Sharepoint doeleinden
- Development omgeving voor SharePoint en andere .NET doeleinden

Denk je dat het systeem dat jij voorstelt nog vlot zal werken met bovenstaande criteria? Liefst zou ik dus ook Hyper-V willen installeren ipv esxi....

Door T.net user HyperBart, dinsdag 26 april 2011 12:51

Tja Hyper-V :+
Er valt wat over te zeggen ;)

Neen, even serieus, persoonlijk vind ik dat het bij VMware toch net iets meer "af" is, ze hebben dan ook wat meer ervaring wat betreft v-stuff (understatement :+ ).

Die NAS-omgeving, hoe wil je die opzetten? Moet je denken aan raw device mappings of is dat geen issue?
De rest is eigenlijk pretty straightforward, standaard VM'tjes...

Ik heb het niet getest met Hyper-V maar ik zie geen problemen...

Door T.net user Petervanakelyen, dinsdag 26 april 2011 13:29

Hoe zou ESXi draaien op een Atom? Ik heb hier nog een mini-ITX Atom plankje liggen met 4GB RAM en een 80GB schijfje. Het zou leuk zijn om daar zowel pfSense (firewall/router) als Windows Server 2003 op te installeren (als File Server/NAS). pfSense trekt niet veel, Win2k3 wel. Ik neem aan dat het mogelijk is virtuele interfaces aan te maken in vSphere?

Misschien straks als ik terug thuis ben gewoon eens proberen :)

[Reactie gewijzigd op dinsdag 26 april 2011 13:31]


Door T.net user i-chat, dinsdag 26 april 2011 14:09

Petervanakelyen schreef op dinsdag 26 april 2011 @ 13:29:
Hoe zou ESXi draaien op een Atom? Ik heb hier nog een mini-ITX Atom plankje liggen met 4GB RAM en een 80GB schijfje. Het zou leuk zijn om daar zowel pfSense (firewall/router) als Windows Server 2003 op te installeren (als File Server/NAS). pfSense trekt niet veel, Win2k3 wel. Ik neem aan dat het mogelijk is virtuele interfaces aan te maken in vSphere?

Misschien straks als ik terug thuis ben gewoon eens proberen :)
dat ligt aan de revisie maar voor zover ik weet zijn er heel wat atom chipjes (zo niet allemaal) die geen intel VT ondersteunen en dus NIET gaan werken met esxi.

zelf ben ik meer geneigt om voor de nieuwere generatie amd chips te kiezen uit het bobcat?? gebeure. deze zijn al beschikbaar in mitx formfactors en aanzienlijk zuinige dan de gemiddelde i5.

Door T.net user HyperBart, dinsdag 26 april 2011 15:36

Basic voorwaarde blijft wel dat je CPU/Mobo VT-X ondersteunt voor ESX(i)
Woeps, VT-X is niet nodig, wel zo fijn om te hebben omdat je dan x64-OS'en kan virtualiseren

[Reactie gewijzigd op dinsdag 26 april 2011 16:49]


Door T.net user we_are_borg, dinsdag 26 april 2011 16:12

Dank je ik was al een redelijke tijd aan het rond kijken om over te stappen naar virtualisatie. Duidelijk geschreven en netjes uitgelegd.

Door T.net user analog_, dinsdag 26 april 2011 16:18

HyperBart schreef op dinsdag 26 april 2011 @ 15:36:
Basic voorwaarde blijft wel dat je CPU/Mobo VT-X ondersteunt voor ESX(i)
Losse definitie in zijn quote wat "vrituele interfaces" zijn, ik gok op onbeperkt aantal netwerk interfaces en niet pass-trough met vt-d of hardware virtualisatie met vt-x (het doet ook zonder namelijk).

Door T.net user HyperBart, dinsdag 26 april 2011 16:50

analog_ schreef op dinsdag 26 april 2011 @ 16:18:
[...]

Losse definitie in zijn quote wat "vrituele interfaces" zijn, ik gok op onbeperkt aantal netwerk interfaces en niet pass-trough met vt-d of hardware virtualisatie met vt-x (het doet ook zonder namelijk).
True, i stand corrected. Ik denk dat hij idd vNIC's bedoelt...

Door T.net user we_are_borg, dinsdag 26 april 2011 19:08

Wat ik trouwens nog niet begrijp uit ESXi is hoe het werkt met je HD ruimte neem ESXi die in ze geheel gelijk over of wijs je dat op project basis toe aan een VM.

Door T.net user Staatslot, dinsdag 26 april 2011 19:20

Je maakt ofwel datastores aan, waarop je je vms en hun storage plaatst of je maakt gebruik van raw device mappings, dwz je geeft een fysieke harddisk aan een vm.

Bedankt voor je blog, ben nog aan het rondkijken en sparen maar erg leuk te lezen!
Ben wel benieuwd wat voor vms je zelf zoal hebt draaien?

Door T.net user sloth, dinsdag 26 april 2011 19:35

Bedankt voor de howto Bart! En ook voor het stappenplan gisteren al op het forum te posten _/-\o_

Is er eigenlijk een reden waarom je voor dat GeIL geheugen ( :+ ) gegaan bent in vergelijking met bijvoorbeeld 2 Kingston ValueRAM reepjes van 4GB?

[Reactie gewijzigd op dinsdag 26 april 2011 19:35]


Door RvV, dinsdag 26 april 2011 20:05

Voor sommige mensen is het misschien ook nog wel interessant om eens te ervaren wat er allemaal mogelijk wanneer je gebruik maakt van meerdere ESX(i) servers icm de vcenter server. Je kunt 60 dagen in eval mode draaien met de volledige functionaliteit. Zet daarnaast nog een freenasje of openfiler neer met shared (bijv iscsi) storage en je bent verkocht. :)

Door T.net user Danfoss, dinsdag 26 april 2011 23:17

Is het niet veel simpeler om de custom oem.tgz gewoon te injecten in de iso voordat je hem installeerd? Dan heb je ook geen andere nic nodig.
Zo heb ik het iig vandeweek gedaan toen ik ging testen met ESX (3.5) op een oude laptop. Werkte perfect

Door japo, woensdag 27 april 2011 11:03

De grote vraag is natuurlijk hoeveel Watt deze bak verbruikt (load/idle) :)

Door T.net user quistler, woensdag 27 april 2011 12:14

japo schreef op woensdag 27 april 2011 @ 11:03:
De grote vraag is natuurlijk hoeveel Watt deze bak verbruikt (load/idle) :)
Thuis een "gelijk" amd systeem met 4hdd's en 4 nic's en trekt 70-80watt met esxi op "balanced" mode.

Door T.net user HyperBart, woensdag 27 april 2011 14:12

Staatslot schreef op dinsdag 26 april 2011 @ 19:20:
Je maakt ofwel datastores aan, waarop je je vms en hun storage plaatst of je maakt gebruik van raw device mappings, dwz je geeft een fysieke harddisk aan een vm.

Bedankt voor je blog, ben nog aan het rondkijken en sparen maar erg leuk te lezen!
Ben wel benieuwd wat voor vms je zelf zoal hebt draaien?
Thanks, graag gedaan, maar vooral kudos naar insane-one... Heb er wel wat plezier aan beleefd om het allemaal werkend te krijgen en nu uiteindelijk een leuk lab-bakje te hebben thuis.

Welke VM's ik er op heb draaien op dit moment:
Een Ubuntu-servertje (10.10), waar ik zonet VMware Tools heb op geïnstalleerd... Dient vooral als downloadbak en als Sickbeard-server O+ , man dat is zalig als je series wilt volgen...
2 W2K8R2's, eentje is DC, andere is vCenter (=handig voor storage vMotions)
En tot slot een XP-machine'tje dat ik gebruik voor remote makkelijk taken te kunnen doen, ik RDP er naar via mijn SSH tunnel die ik aanbied met mijn WRT54GL....

Superhandig om snel dingen te doen thuis...

Op de planning:
  • OpenVPN applicance er op importeren
  • VMware View: hier ga ik wel problemen mee hebben omdat mijn disk de benodigde IOPS niet aankan, zou op te lossen zijn met een cheap ass SSD'tje, is dan ook handig voor later als mediacenter te gebruiken...
  • WHS (gewoon eens om te zien of het echt wel zo geweldig is...)
sloth schreef op dinsdag 26 april 2011 @ 19:35:
Bedankt voor de howto Bart! En ook voor het stappenplan gisteren al op het forum te posten _/-\o_

Is er eigenlijk een reden waarom je voor dat GeIL geheugen ( :+ ) gegaan bent in vergelijking met bijvoorbeeld 2 Kingston ValueRAM reepjes van 4GB?
Op dat moment kwam 8GB het goedkoopste uit met dat GEiL geheugen, plus, het blijft geil geheugen... :+ Ook wel leuk om zoiets in je bak te hebben steken 8)7 :+ .
RvV schreef op dinsdag 26 april 2011 @ 20:05:
Voor sommige mensen is het misschien ook nog wel interessant om eens te ervaren wat er allemaal mogelijk wanneer je gebruik maakt van meerdere ESX(i) servers icm de vcenter server. Je kunt 60 dagen in eval mode draaien met de volledige functionaliteit. Zet daarnaast nog een freenasje of openfiler neer met shared (bijv iscsi) storage en je bent verkocht. :)
Klopt, maar zo zijn er al veel blogposten of informatie te vinden op het internet denk ik... Moest daar nog wat meer vraag achter zijn wil ik hier wel wat tijd in steken om hier op in te gaan...
Danfoss schreef op dinsdag 26 april 2011 @ 23:17:
Is het niet veel simpeler om de custom oem.tgz gewoon te injecten in de iso voordat je hem installeerd? Dan heb je ook geen andere nic nodig.
Zo heb ik het iig vandeweek gedaan toen ik ging testen met ESX (3.5) op een oude laptop. Werkte perfect
Had ik ook kunnen doen, je mag altijd vertellen hoe dat gaat (want dat lukte me niet, ik heb aangezien insane-one het werkend had met de oem.tgz achteraf te plaatsen er niet veel tijd verder in gestoken, maar als ESXi 5 uitkomt zal ik dat idd misschien moeten doen...
japo schreef op woensdag 27 april 2011 @ 11:03:
De grote vraag is natuurlijk hoeveel Watt deze bak verbruikt (load/idle) :)
En dat staat op de planning, want daar was ik ook wel eens curieus naar :o
Blijkbaar kan je wel nog aan power consumption tweaking doen. Daarvoor verwijs ik je graag naar: Zuinige ESXi Server

[Reactie gewijzigd op woensdag 27 april 2011 14:30]


Door T.net user iNSaNe-oNe, woensdag 27 april 2011 23:36

Bedankt voor je lap tekst en het sturen van kudos aan mij in deze blogpost. Ik heb je met veel plezier geholpen (en vond het ook leuk om het zelf weer even op te rakelen welke commando's / files benodigd waren, doe het ook niet dagelijks. ;))

Ik hoop dat je nog veel plezier beleeft aan deze ESXi-configuratie met MSI-mobo, ik doe dat in ieder geval wel. :)

Door T.net user ZonneStroom, zondag 07 augustus 2011 07:27

Ik ben aan het overwegen over te stappen naar een andere VMware server. Die moet dan vorral zuiniger zijn dan de server die ik nu gebruik.
Door gebruik te maken van ESXi kan je in ieder geval 1HHD minder gebruiken omdat de server kan opstarten van een memorykaart.
Ben dus heel benieuwd naar het energieverbruik van je server. Heb je die inmiddels gemeten?

Reactie formulier
(verplicht)
(verplicht, maar wordt niet getoond)
(optioneel)

Voer de code van onderstaand anti-spam plaatje in: