ctserver.org

Hallo,

nachdem bei mir mit der Installationsroutine des ctserver 3 es nicht möglich war ein Software-Raid1 einzurichten, hab ich mir gedacht ich beschreib hier mal, wie es nachträglich funktioniert.

Voraussetzung: Standardinstallation (manual bei mir mit geführter Partitionierung der gesamten Festplatte mit LVM) eines ctserver3 auf einer Festplatte (bei mir sda) ohne endian bereits installiert zu haben.

Wenn der PC dann das erste mal gebootet hat, kann man loslegen.

1.) Nachinstallation der benötigten Pakete. Da bei der Standardinstallation lvm2 wie auch lvm-commen bereits installiert sind, fehlt nur mehr mdadm.

Code: Alles auswählen

apt-get install mdadm

2.) Jetzt wird die Partitionstable der ersten Platte (sda), welche bei der Standardinstallation angelegt wurde auf die 2-te Platte (sdb) kopiert.

Code: Alles auswählen

sfdisk -d /dev/sda | sfdisk /dev/sdb

3.) Danach auf der 2-ten Platte die zwei Partitions für ein Software-Raid markieren. Partition1 wird /boot. Partition5 wird das Device für die LVM's.

Code: Alles auswählen

sfdisk --change-id /dev/sdb 1 fd
sfdisk --change-id /dev/sdb 5 fd

4.) Kontrolle ob bis hier alles funktioniert hat. Dabei sollte bei sdb1 und sdb5 unter der Spalte Id ein fd und unter der Spalte System ein "Linux raid autodetect" stehen.

Code: Alles auswählen

sfdisk -l /dev/sdb

5.) Die benötigten Module alden um weiter zu machen.

Code: Alles auswählen

modprobe md
modprobe raid1

6.) Hat dies ohne Fehler geklappt, kann man die Module in die /etc/modules eintragen.

Code: Alles auswählen

echo md >> /etc/modules
echo raid1 >> /etc/modules

7.) Jetzt darf man mal einen Neustart wagen, wenn nicht kann man auch noch warten,....

8.) Raidpartitions anlegen

Code: Alles auswählen

mdadm --create /dev/md1 --level=1 --raid-disks=2 missing /dev/sdb1
mdadm --create /dev/md5 --level=1 --raid-disks=2 missing /dev/sdb5

9.) Die Konfiguration in die /etc/mdadm/mdadm.conf schreiben

Code: Alles auswählen

echo DEVICE /dev/sda[15] /dev/sdb[15] > /etc/mdadm/mdadm.conf
mdadm -D --brief -s /dev/md[15] >> /etc/mdadm/mdadm.conf

10.) Partitions formatieren

Code: Alles auswählen

mkfs.ext3 /dev/md1
mkfs.ext3 /dev/md5

11.) Anzeigen der original angelegten logischen Volumes (root und swap_1), deren Größe und Volumegruppe. Die Größe von root und swap_1 brauchen wir im nächsten Schritt.

Code: Alles auswählen

lvscan
vgscan

12.) Physische Volumes, Volumegruppen und logische Volumes anlegen. Die original vom Installer angelegte Volumegruppe ist gleich dem Hostnamen. Bei mir "xen", deshalb heißt die neue Volumegruppe bei mir "server". Dies funkt mit "lvcreate -L "selbe Größe wie die vom Installer original angelegt" -n root server".

Code: Alles auswählen

pvcreate /dev/md5
vgcreate server /dev/md5
lvcreate -L 2,88G -n root server
lvcreate -L 240 -n swap_1 server

13.) Formatieren der logischen Volumes.

Code: Alles auswählen

mkfs.ext3 /dev/server/root
mkswap /dev/server/swap_1

14.) Mounten der neuen Partition und kopieren der Dateien.

Code: Alles auswählen

mkdir /mnt/neueroot/
mkdir /mnt/neueboot/
mount -t ext3 /dev/md1 /mnt/neueboot/
mount -t ext3 /dev/server/root /mnt/neueroot/
cp -uax / /mnt/neueroot/
cp -uax /boot/* /mnt/neueboot/

15.) Jetzt kann man auf der Raid-Partition die /etc/fstab anpassen. Fertig sollte es so ähnlich wie unten aussehen. Der Eintrag für /dev/mapper/xen-root wurde auf /dev/mapper/server-root, der Eintrag für /dev/mapper/xen-swap_1 wurde auf /dev/mapper/server-swap_1 und /dev/sda1 wurde auf /dev/md1 geändert.

Code: Alles auswählen

vim /mnt/neueroot/etc/fstab     
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    defaults        0       0
/dev/mapper/server-root /               ext3    defaults,errors=remount-ro 0       1
/dev/md1       /boot           ext3    defaults        0       2
/dev/mapper/server-swap_1 none            swap    sw              0       0
/dev/hdc        /media/cdrom0   udf,iso9660 user,noauto     0       0
/dev/fd0        /media/floppy0  auto    rw,user,noauto  0       0

16.) Auf der Raid Platte im /boot Verzeichnis eine neue initrd erzeugen. Den Namen des Images könnt ihr an euren Kernel anpassen.

Code: Alles auswählen

mkinitramfs -o /mnt/neueboot/initrd.img-2.6.18-xen-3.1-2-686-raid

17.) Grub auf der raid Platte installieren.

Code: Alles auswählen

grub
device (hd0) /dev/sdb
root (hd0,0)
setup (hd0)
quit

18.) ändern der menu.lst auf der neuen RAID-Platte. Das Ende des Files sollte dann so aussehen. Ich habe unter dem Title nur den Namen um ein "-Raid" verlängert, die initrd-Zeile durch den Namen der zuvor generierten initrd ausgetaucht und root= auf die neuen Gegebenheiten /dev/mapper/server-root angepaßt.

Code: Alles auswählen

## ## End Default Options ##

title           Xen 3.2-1-i386 / Debian GNU/Linux, kernel 2.6.18-xen-3.1-2-686-Raid
root            (hd0,0)
kernel          /xen-3.2-1-i386.gz vga=text-80x25
module          /vmlinuz-2.6.18-xen-3.1-2-686 root=/dev/mapper/server-root ro BOO console=tty0
module          /initrd.img-2.6.18-xen-3.1-2-686-raid
savedefault

19.) Reboot und im Bios bei den Boot-Parametern auf die zweite Platte umstellen.

Code: Alles auswählen

shutdown -r now

20.) Jetzt passen wir noch die ursprüngliche Platte an, löschen die alte LVM-Config und löschen die zuvor erstellten Verzeichnisse.

Code: Alles auswählen

lvremove /dev/xen/swap_1
lvremove /dev/xen/root
vgremove xen
pvremove /dev/sda5
rmdir /mnt/neueboot/
rmdir /mnt/neueroot/

21.) Jetzt wird die Partitionstable der zweiten Platte (sdb), welche jetzt das aktive System und das Raid hält auf die 1-te Platte (sda) kopiert.

Code: Alles auswählen

sfdisk -d /dev/sdb | sfdisk /dev/sda

21.) Die erste Platte zum Raid1 hinzufügen.

Code: Alles auswählen

mdadm /dev/md1 -a /dev/sda1
mdadm /dev/md5 -a /dev/sda5

22.) Mit untigem Befehl abwarten, bis beide Platten gesynct sind. Kann unter Umständen auch mal mehrere Stunden dauern. Kommt auf den Speed und die Größe an.

Code: Alles auswählen

watch cat /proc/mdstat

23.) Alles Fertig??? Wenn ja nur noch den Bootsektor im MBR der ersten Festplatte installieren und fertig.

Code: Alles auswählen

grub
device (hd0) /dev/sda
root (hd0,0)
setup (hd0)
quit

24.) Letzter Schritt einen reboot machen, und im Bios bei den Boot-Parametern wieder die erste Platte einstellen.

Code: Alles auswählen

shutdown -r now

25.) Wenn das System fertig ist mit dem reboot, habt ihr ein Raid1 über zwei Platten. Endian und was ihr sonst noch braucht wie gewohnt installieren, und für mich ein Bier mittrinken. )))

lg
Herby

Hallo Herby,

zunächst möchte ich Dir dafür danken, dass Du Dir die Mühe gemacht hast und so fein säuberlich diese RAID-Anleitung geschrieben hast. Bis zum Punkt 12.) bzw 13.) hat das auch super funktioniert. Spätestens ab 13.) komme ich jedoch nicht mehr weiter. Siehe nachfolgende Screenausgabe:

server:~# lvscan
ACTIVE '/dev/server/root' [7,81 GB] inherit
ACTIVE '/dev/server/swap_1' [5,90 GB] inherit
ACTIVE '/dev/server/endianlv_swap' [128,00 MB] inherit
ACTIVE '/dev/server/endianlv_root' [512,00 MB] inherit
ACTIVE '/dev/server/endianlv_boot' [32,00 MB] inherit
ACTIVE '/dev/server/endianlv_var' [512,00 MB] inherit
server:~# vgscan
Reading all physical volumes. This may take a while...
Found volume group "server" using metadata type lvm2
server:~# pvcreate /dev/md5
Physical volume "/dev/md5" successfully created
server:~# vgcreate server /dev/md5
/dev/server: already exists in filesystem
New volume group name "server" is invalid
server:~# lvcreate -L 7,81G -n root server
Logical volume "root" already exists in volume group "server"
server:~# lvcreate -L 5,90G -n swap_1 server
Logical volume "swap_1" already exists in volume group "server"
server:~# mkfs.ext3 /dev/server/root
mke2fs 1.40-WIP (14-Nov-2006)
/dev/server/root ist eingeh�ngt; werde dort kein Dateisystem erstellen!
server:~#

Wo liegt nur der Fehler? Ich komme einfach nicht drauf!

Über jegliche Hilfe würde ich mich sehr freuen!

Renntux

Hallo Renntux.

Dir kann geholfen werden

Und am Ende meines Posts könnte Dir ein passieren, aber das macht nix, denn das hatten wir alle sicher schon oft genug; wichtig ist ja immer, dass am Ende ein hängenbleibt...

Nun zum konkreten Problem:
Wie so oft liegt dein Fehler in einer klitzekleinen Unaufmerksamkeit bzw. möglicherweise auch in einem Verständnisproblem von Punkt 12. in kloanas Anleitung:

kloana hat geschrieben:12.) Physische Volumes, Volumegruppen und logische Volumes anlegen. Die original vom Installer angelegte Volumegruppe ist gleich dem Hostnamen. Bei mir "xen", deshalb heißt die neue Volumegruppe bei mir "server". Dies funkt mit "lvcreate -L "selbe Größe wie die vom Installer original angelegt" -n root server".

Wir halten fest:

• kloana unterscheidet zwischen alter und neuer Volume-Gruppe
• Die alte VG lautet bei ihm xen
• Die alte VG lautet bei ihm server

Jetzt kommen wir zu Dir, Renntux:

Renntux hat geschrieben:Bis zum Punkt 12.) bzw 13.) hat das auch super funktioniert.

Hier beginnst Du, etwas unsauber zu arbeiten, denn deine alte Volumengruppe "server" hat den Namen, den bei kloana die neue VG hat:

Renntux hat geschrieben:Spätestens ab 13.) komme ich jedoch nicht mehr weiter. Siehe nachfolgende Screenausgabe:

server:~# lvscan
ACTIVE '/dev/server/root' [7,81 GB] inherit
ACTIVE '/dev/server/swap_1' [5,90 GB] inherit
ACTIVE '/dev/server/endianlv_swap' [128,00 MB] inherit
ACTIVE '/dev/server/endianlv_root' [512,00 MB] inherit
ACTIVE '/dev/server/endianlv_boot' [32,00 MB] inherit
ACTIVE '/dev/server/endianlv_var' [512,00 MB] inherit

server:~# vgscan
Reading all physical volumes. This may take a while...
Found volume group "server" using metadata type lvm2
server:~# pvcreate /dev/md5
Physical volume "/dev/md5" successfully created

Bis hierhin sieht alles noch gut aus. Nur hättest Du hier aufmerken können, indem Du o.g. Punkt 12 vollständig verstanden hättest, nämlich dass bei ihm die neue VG "server" lautet. Dann hättest Du deine folgenden Schritte korrekt adaptieren können und den Namen deiner eigenen zweiten VG anders wählen können, wie "SYSTEM" oder "RAID" oder so.
Alles weitere ist zwingend und systemseitig völlig konsistent...

Renntux hat geschrieben:server:~# vgcreate server /dev/md5
/dev/server: already exists in filesystem
New volume group name "server" is invalid

Eigentlich sagt er Dir hier ja erstmalig, was er "denkt", nämlich dass der neue (schon vorhandene) VG-Name nicht zulässig ist, eben da er ja schon vorhanden ist.

Damit kannst Du alle weiteren Schritte vergessen, denn ohne valide neue VG wirst Du keinen einzigen sinnvollen Schritt machen können.

Renntux hat geschrieben:server:~# lvcreate -L 7,81G -n root server
Logical volume "root" already exists in volume group "server"
server:~# lvcreate -L 5,90G -n swap_1 server
Logical volume "swap_1" already exists in volume group "server"
server:~# mkfs.ext3 /dev/server/root
mke2fs 1.40-WIP (14-Nov-2006)
/dev/server/root ist eingeh�ngt; werde dort kein Dateisystem erstellen!
server:~#

Grundsätzlich ist Dir klar, dass Du mit obigen Befehlen eigentlich dein eigenes laufendes System plattmachen wolltest?
Du operierst ja in der VG, mit der Du gerade arbeitest, sägst also am Ast, auf dem Du sitzt...

Renntux hat geschrieben:Wo liegt nur der Fehler? Ich komme einfach nicht drauf!

Ich vermute, dass Du (noch) nicht den Unterschied der verschiedenen Volumengruppen im LVM verstanden hast. Aber das wirst Du ja sicher nun nachholen wollen und uns über deine Fortschritte berichten.

Mein Vorschlag für einen zweiten VG-Namen wäre z.B. "RAID" oder "SYSTEM" oder so...

Viel Erfolg

Hallo Klaus,

vielen herzlichen Dank für die schnelle und für mich sehr gut verständlich aufbereitete Lösung meines Problems. Ich habe jetzt auch prinzipiell verstanden, was da abläuft.

Bei der Installation bin ich über die beiden Begriffe "xen" und "server" gestolpert, hatte dann aber leider die wahre Bedeutung nicht erfasst. (LVM ist für mich Neuland, bis jetzt konnte ich mich immer erfolgreich davor drücken - und schon sitze ich in der Patsche!)

Der Rest der Prozedur wäre fast problemlos verlaufen:

1. Beim Löschen der zuvor erstellten Verzeichnisse (Punkt 20.) stolperte die ganz Sache nochmals, da bei mir "endian" bereits installiert war und auf "vgremove xen (bzw. bei mir server)" die Meldung kam, dass dies nicht möglich ist, da das Volume nicht leer sei. Ich hab dies dann noch geleert.

2. Ein weiteres Problem trat beim syncen der Platten auf, sodass ich das Prozere nach mehreren Wiederholungen und ca. 18 Stunden zwangsläufig beendet (abgebrochen) habe. Der folgende letzte Teil aus /var/log/message weist auf einen Medium Fehler hin:

.
.
.
Jan 3 10:35:19 server kernel: SCSI device sdb: 1953525168 512-byte hdwr sectors (1000205 MB)
Jan 3 10:35:19 server kernel: sdb: Write Protect is off
Jan 3 10:35:19 server kernel: SCSI device sdb: drive cache: write back
Jan 3 10:35:21 server kernel: ata2: EH complete
Jan 3 10:35:29 server last message repeated 4 times
Jan 3 10:35:31 server kernel: sd 1:0:0:0: SCSI error: return code = 0x08000002
Jan 3 10:35:31 server kernel: sdb: Current: sense key: Medium Error
Jan 3 10:35:31 server kernel: Additional sense: Unrecovered read error - auto reallocate failed
Jan 3 10:35:31 server kernel: end_request: I/O error, dev sdb, sector 1387724187
Jan 3 10:35:31 server kernel: ata2: EH complete
Jan 3 10:35:31 server kernel: SCSI device sdb: 1953525168 512-byte hdwr sectors (1000205 MB)
Jan 3 10:35:31 server kernel: sdb: Write Protect is off
Jan 3 10:35:31 server kernel: SCSI device sdb: drive cache: write back
Jan 3 10:35:31 server kernel: SCSI device sdb: 1953525168 512-byte hdwr sectors (1000205 MB)
Jan 3 10:35:31 server kernel: sdb: Write Protect is off
Jan 3 10:35:31 server kernel: SCSI device sdb: drive cache: write back
Jan 3 10:35:32 server kernel: md: md5: sync done.
Jan 3 10:35:32 server kernel: RAID1 conf printout:
Jan 3 10:35:32 server kernel: --- wd:1 rd:2
Jan 3 10:35:32 server kernel: disk 0, wo:1, o:1, dev:sda5
Jan 3 10:35:32 server kernel: disk 1, wo:0, o:1, dev:sdb5
Jan 3 10:35:32 server kernel: RAID1 conf printout:
Jan 3 10:35:32 server kernel: --- wd:1 rd:2
Jan 3 10:35:32 server kernel: disk 1, wo:0, o:1, dev:sdb5
Jan 3 10:35:32 server kernel: RAID1 conf printout:
Jan 3 10:35:32 server kernel: --- wd:1 rd:2
Jan 3 10:35:32 server kernel: disk 0, wo:1, o:1, dev:sda5
Jan 3 10:35:32 server kernel: disk 1, wo:0, o:1, dev:sdb5
Jan 3 10:35:32 server kernel: md: syncing RAID array md5
Jan 3 10:35:32 server kernel: md: minimum _guaranteed_ reconstruction speed: 1000 KB/sec/disc.
Jan 3 10:35:32 server kernel: md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for reconstruction.
Jan 3 10:35:32 server kernel: md: using 128k window, over a total of 976663488 blocks.
Jan 3 10:52:18 server -- MARK --
Jan 3 11:12:18 server -- MARK --
Jan 3 11:32:18 server -- MARK --
Jan 3 11:52:18 server -- MARK --


Bei den beiden Platten handelt es sich um zwei identische nagelneue 1TB-Platten. Nachdem in der Meldung ein "Unrecovered read error" auftaucht, bilde ich mir ein, dass nicht eine der Platten Schrott ist, sondern dass die Daten nicht in Ordnung sind. Soll ich die ganze Installationsprozedur nochmals durchexerzieren oder gibt es eine andere Möglichkeit das Problem zu lösen?

Was kannst Du mir raten?

Renntux

Hi Renntux.

Ich habe mal nach dieser Meldung (Fett von mir) gegoogelt:

Renntux hat geschrieben:Jan 3 10:35:31 server kernel: sdb: Current: sense key: Medium Error
Jan 3 10:35:31 server kernel: Additional sense: Unrecovered read error - auto reallocate failed

Ich denke, es ist eine verbreitete Meldung über Plattenprobleme.
Betroffen dürfte die sein, die sich als "SDB" sieht...

Renntux hat geschrieben:Was kannst Du mir raten?

Wenn deine Platten noch Garantie haben (sollten sie bei 1-TB-Modellen),
solltest Du sie schnellstmöglich umtauschen.

Viel Erfolg...

Hallo Klaus,

ich hab's befürchtet - ich werde die Platte umtauschen. Nochmals herzlichen Dank für Deine kompetente Hilfe.

Viele Grüße
Renntux

Hallo zusammen,

nachdem ich meinen Server neu aufsetzen musste, hab ich mich mal an die Anleitung hier gehalten um ein Software Raid einzurichten.

Bis zum Punkt 22 funktioniert alles wunderbar,

Code: Alles auswählen

watch cat /proc/mdstat

liefert nach 50%

Code: Alles auswählen

ata3.00: tag 0 cmd 0x60 Emask 0x9 stat 0x51 err 0x40 (media error)

............

Code: Alles auswählen

raid1:sdb: unrecoverable I/O read error for block 468289192

dann gehts wieder von vorne los und bei ca 50% wieder das gleiche Spiel.
Nur der block ändert sich.
Was kann das bedeuten?Kennt den Fehler jemand? ich lass das jetz mal bis morgen laufen, mal sehn wo ich dann lande

So, das Anlegen des Raid Verbunds hat nun geklappt.
Jetzt will allerdings Endian nicht starten.

unter

Code: Alles auswählen

xm list

steht nur die Dom-0
selbst wenn ich mit

Code: Alles auswählen

xm create

die Endian DomU starten will wird sie nicht aufgelistet.

Das gleiche Problem gabs hier schon mal, nur hilft mir das nicht wirklich weiter.


in der

Code: Alles auswählen

 etc/config habe ich nicht, falls du /etc/xen/endian meintest, dort steht

kernel="/boot/endian/vmlinuz-2.6.21.7-2.neobiker.efw22xen"
ramdisk="/boot/endian/initrd-2.6.21.7-2.neobiker.efw22xen.img"
memory='128'
name='endian'
root="/dev/hda3 ro"
vif = [ 'bridge=intern','bridge=extern' ]

Code: Alles auswählen

disk=[] ist bei mir leer.


lvscan liefert

Code: Alles auswählen

 /dev/server/root [7,81GB] inerhit   
                             /dev/server/swap_1 [2,59GB] inerhit

Die frage ist jetzt ob und welche Volumes ich der Endian config mitteilen muss.. Wär super wenn mir einer auf die Sprünge helfen könnte.
Danke

da ich mal schlauerweise auch google befragt hab bin ich jetzt am Ziel angelangt. Da hätte man auch schon eher drauf kommen können.

Dann teile der Nachwelt doch bitte auch die Lösung mit
Ich finde Threads, die mit "habs hinbekommen" enden, irgendwie unbefriedigend.

Sorry stimmt ja. aber is eher die gewaltsame Variante gewesen.
Nun, ich hab beide Platten nochmals formatiert, dann ganz normal die automatische Installation des Ct Servers aufgespielt. Geführte Partitionierung mit LVM.
Endian hab ich vorerst, wie auch hier beschrieben nicht installiert.

dann hab ichs mit diesem Howto:
[url]
http://www.howtoforge.de/howto/aufsetze ... bian-etch/[/url]

hingekriegt, danach Endian installiert und es läuft.

MfG