ctserver.org

Hallo zusammen,

und jetzt das versprochene Mirror-Howto.

Als Hinweis vorab:
Ihr braucht dazu eine Menge Plattenplatz (ca. 40 GB) und einen laufenden Web- oder ftp-Server.

Ziel
Einen eigenen Mirror bestimmter Debian-Versionen und -trees.

Benutzer anlegen
(Optional. Man kann das Script natürlcih auch als beliebiger User laufen lassen.)

Code: Alles auswählen

groupadd debian
useradd -g debian debian

Verzeichnis anlegen

Code: Alles auswählen

mkdir /srv/debian-mirror
mkdir /srv/debian-mirror/_log
mkdir /srv/debian-mirror/data
mkdir /srv/debian-mirror/script

Benötigte Pakete installieren

Code: Alles auswählen

apt-get install rsync debianutils

Sync-Script erstellen

Code: Alles auswählen

touch /srv/debian-mirror/script/sync_down.sh

Inhalt:

Code: Alles auswählen

#! /bin/sh
set -e

# This script originates from http://www.debian.org/mirror/anonftpsync
# modified by Martin Zobel-Helas <zobel@debian.org>, 2005-01-16
#    these modifications are published under the terms of the GNU GPL
# Modifications:
# + some more documentation about variables
# + added ARCH_EXCLUDE
# + mirror in a safe way, first /pool, then /dists and the rest

# Version: $Id: anonftpsync,v 1.19 2005/11/30 14:14:03 jfs Exp $


# Note: You MUST have rsync 2.0.16-1 or newer, which is available in slink
# and all newer Debian releases, or at http://rsync.samba.org/

# Set the variables below to fit your site. You can then use cron to have
# this script run daily to automatically update your copy of the archive.

# Don't forget:
# chmod 744 anonftpsync

# RSYNC_HOST is the site you have chosen from the mirrors file.
# (http://www.debian.org/mirror/list-full)
# (mandatory)

RSYNC_HOST=debian.inf.tu-dresden.de

# LOGDIR is the directory where the logs will be written to
# (mandatory)

LOGDIR=/srv/debian-mirror/_log

# LOCKPATH ist the directory where the lock-file will be
LOCKPATH=/srv/debian-mirror

# WANTED_TREES is a list of directories to sync
# see document_root of the desired server for complete list of trees
# the given directories originate from debian.inf.tu-dresden.de
# (mandatory)
#WANTED_TREES="backports.org debian-amd64 debian-archive debian-armeb debian-cd debian-kfreebsd debian-non-US debian-secure-testing debian-security debian-volatile debian"
if [ -z $1 ]; then
   WANTED_TREES="debian debian-volatile debian-non-US"
else
   # commandline-parameter to sync 1 or more trees
   WANTED_TREES=$1
   shift
   while ! [ -z $1 ]
   do
      WANTED_TREES=$WANTED_TREES" "$1
      shift
   done
fi

# UNWANTED_RELEASES is a list of releases NOT to sync
# actual possible values are:
# sid etch sarge woody potato slink hamm stable testing unstable
#UNWANTED_RELEASES="potato slink hamm woody oldstable"

for TREE in $WANTED_TREES; do

   # TO is the destination for the base of the Debian mirror directory
   # (the dir that holds dists/ and ls-lR).
   # (mandatory)

   TO=/srv/debian-mirror/data/$TREE

   # RSYNC_DIR is the directory given in the "Packages over rsync:" line of
   # the mirrors file for the site you have chosen to mirror.
   # (mandatory)

   RSYNC_DIR=$TREE

   # ARCH_EXCLUDE can be used to exclude a complete architecture from
   # mirrorring. Please use as space seperated list.
   # Possible values are:
   # alpha, amd64, arm, hppa, hurd-i386, i386, ia64, m68k, mipsel, mips, powerpc, s390, sh and sparc
   #
   # There is one special value: source
   # This is not an architecture but will exclude all source code in /pool
   #
   # eg.
   ARCH_EXCLUDE="alpha amd64 arm hppa hurd-i386 ia64 m68k mipsel mips powerpc s390 sh sparc source"
   #
   # With a blank ARCH_EXCLUDE you will mirror all available architectures
   # (optional)

   #ARCH_EXCLUDE=

   # EXCLUDE is a list of parameters listing patterns that rsync will exclude.
   # The following example would exclude mostly everything:
   #EXCLUDE="\
   #  --exclude binary-alpha/ --exclude binary-arm/ --exclude binary-i386/ \
   #  --exclude binary-m68k/ --exclude binary-powerpc/ --exclude binary-sparc/ \
   #  --exclude binary-ia64/ --exclude binary-mips*/ --exclude binary-hppa/ \
   #  --exclude binary-sh/ --exclude binary-s390/ \
   #  --exclude binary-hurd-i386/ \
   #  --exclude *_alpha.deb --exclude *_arm.deb --exclude *_i386.deb \
   #  --exclude *_m68k.deb --exclude *_powerpc.deb --exclude *_sparc.deb \
   #  --exclude *_ia64.deb --exclude *_hppa.deb --exclude *_sh.deb \
   #  --exclude *_mips.deb --exclude *_mipsel.deb --exclude *_s390.deb \
   #  --exclude *_hurd-i386.deb \
   #  --exclude disks-alpha/ --exclude disks-arm/ --exclude disks-i386/ \
   #  --exclude disks-ia64/ --exclude disks-m68k/ --exclude disks-mips*/  \
   #  --exclude disks-powerpc/  --exclude disks-s390/  --exclude disks-sparc/ \
   #  --exclude stable/ --exclude testing/ --exclude unstable/ \
   #  --exclude source/ \
   #  --exclude *.orig.tar.gz --exclude *.diff.gz --exclude *.dsc \
   #  --exclude /contrib/ --exclude /non-free/ \
   # "

   # With a blank EXCLUDE you will mirror the entire archive.
   # (optional)

   EXCLUDE=

   # MAILTO is the address to send logfiles to;
   # if it is not defined, no mail will be sent
   # (optional)

   MAILTO=

   # There should be no need to edit anything below this point, unless there
   # are problems.

   #-----------------------------------------------------------------------------#

   # Check for some environment variables
   if [ -z $TO ] || [ -z $RSYNC_HOST ] || [ -z $RSYNC_DIR ] || [ -z $LOGDIR ]; then
      echo "One of the following variables seems to be empty:"
      echo "TO, RSYNC_HOST, RSYNC_DIR or LOGDIR"
      exit 2
   fi

   if ! [ -d ${TO}/project/trace/ ]; then
      # we are running mirror script for the first time
      mkdir -p ${TO}/project/trace
   fi

   # Note: on some non-Debian systems, hostname doesn't accept -f option.
   # If that's the case on your system, make sure hostname prints the full
   # hostname, and remove the -f option. If there's no hostname command,
   # explicitly replace `hostname -f` with the hostname.
   HOSTNAME=`hostname -f`

   LOCK="${LOCKPATH}/Archive-Update-in-Progress-${HOSTNAME}_${TREE}.lock"

   # Exclude architectures defined in $ARCH_EXCLUDE
   for ARCH in $ARCH_EXCLUDE; do
      EXCLUDE=$EXCLUDE"\
         --exclude binary-$ARCH/ \
         --exclude disks-$ARCH/ \
         --exclude installer-$ARCH/ \
         --exclude Contents-$ARCH.gz \
         --exclude *_$ARCH.deb \
         --exclude *_$ARCH.udeb "
      if [ "$ARCH" == "source" ]; then
         SOURCE_EXCLUDE="\
         --exclude *.tar.gz \
         --exclude *.diff.gz \
         --exclude *.dsc "
      fi
   done

   # Exclude releases defined in $UNWANTED_RELEASES
#   for REL in $UNWANTED_RELEASES; do
#      EXCLUDE=$EXCLUDE"\
#         --exclude */dists/*${REL}*/ "
#   done

   # Logfile
   LOGFILE=$LOGDIR/mirror_$TREE.log

   # Get in the right directory and set the umask to be group writable
   #
   cd $HOME
   umask 002

   # Check to see if another sync is in progress
   if lockfile -! -l 43200 -r 0 "$LOCK"; then
     echo ${HOSTNAME} is unable to start rsync, lock file exists
     exit 1
   fi
   # Note: on some non-Debian systems, trap doesn't accept "exit" as signal
   # specification. If that's the case on your system, try using "0".
   trap "rm -f $LOCK > /dev/null 2>&1" exit

   set +e

   # First sync /pool
   rsync --recursive --links --hard-links --times --verbose --delete \
        $EXCLUDE $SOURCE_EXCLUDE \
        $RSYNC_HOST::$RSYNC_DIR/pool/ $TO/pool/ >> $LOGFILE 2>&1
   result=$?

   if [ 0 = $result ]; then
      # Now sync the remaining stuff
#      rsync --recursive --links --hard-links --times --verbose --delete-after \
      rsync --recursive --links --hard-links --times --verbose --delete \
           --exclude "Archive-Update-in-Progress-${HOSTNAME}" \
           --exclude "project/trace/${HOSTNAME}" \
           --exclude "/pool/" \
           $EXCLUDE \
           $RSYNC_HOST::$RSYNC_DIR $TO >> $LOGFILE 2>&1

      date -u > "${TO}/project/trace/${HOSTNAME}"
   else
      echo "ERROR: Help, something weird happened" | tee -a $LOGFILE
      echo "mirroring /pool exited with exitcode" $result | tee -a $LOGFILE
   fi


   if ! [ -z $MAILTO ]; then
      mail -s "debian archive synced ${TREE}" $MAILTO < $LOGFILE
   fi

   savelog $LOGFILE
   if [ -f $LOCK ]; then
      rm -f $LOCK
   fi
done


Hinweise dazu:
-Die Zeile "RSYNC_HOST" kann angepasst werden, wenn man mit dem Server nicht zufrieden ist. Es muss allerdings ein Mirror sein, der rsync unterstützt.

-Die Zeile "WANTED_TREES" sollte angepasst werden, um die gewünschten Teile herunterzuladen (die drei, die jeztz drin sind sollten für die meisten ausreichend sein).

-Die Zeilen, die mit den "UNWANTED_RELEASES" zu tun haben, habe ich vorerst deaktiviert, da ich mir nicht 100%ig sicher bin, dass es so funktioniert.

-Die Zeile "ARCH_EXCLUDE" sollte angepasst werden, um alle Dateien für das jeweilige System herunterzuladen. Wer, wie ich nur i386 braucht kann alles so lassen. Wer amd64 braucht, oder die sourcen haben will entfernt einfach den Eintrag...
Wichtig: die Sourcen nehmen, alleine für i386, mehrere GB extra ein!

-Wer eine mail-Benachritugung will sollte die Zeile "MAILTO" mit eine Adresse füllen.

-Wer mehr Platz hat und auf Nummer sicher gehen will sollte den Kommentar der folgenden Zeilen umdrehen, dadurch wird erst nach Durchlauf des Updates gelöscht, was über ist:

Code: Alles auswählen

#      rsync --recursive --links --hard-links --times --verbose --delete-after \
      rsync --recursive --links --hard-links --times --verbose --delete \


Verzeichnis- und Dateirechte ändern

Code: Alles auswählen

chown debian.debian /srv/debian-mirror -r
chmod 755 /srv/debian-mirror/script/sync_down.sh

"Trockenlauf"

Code: Alles auswählen

su debian -c "/srv/debian-mirror/script/sync_down.sh" &

Das wird wohl eine ganze Zeit dauern... Es sind ca. 40 GB
Den Ablauf kann man im log-File des Trees beobachten unter "/srv/debian-mirror/_log/mirror_<tree>.log"

cronjob einrichten
in die Datei "/etc/crontab" folgenden Eintrag einfügen:

Code: Alles auswählen

38 5    * * *   debian  /srv/debian-mirror/script/sync_down.sh

Dadurch würde das Update immer um 5:38 Uhr gestartet...

Den Eintrag solltet Ihr erst machen, wenn der erste Durchlauf fertig ist, denn sonst könnte ein zweiter Prozess gestartet werden.
Zwar verhindern die Lock-Files, das zwei rsync-Prozesse gleichzeitig auf einen Tree zugreifen, aber er muss ja nicht 2 oder mehr Trees auf einmal versuchen...

sources-list
einfach folgende Einträge hinzufügen, oder die online-Sourcen austauschen:

Code: Alles auswählen

deb http://debian.zuhause.xx/debian/ sarge main non-free contrib
deb http://debian.zuhause.xx/debian-non-US/ sarge/non-US main
deb http://debian.zuhause.xx/debian-volatile/ sarge/volatile main

für einen ftp-Server natürlcih analog "ftp://..."
und Ihr braucht natürlich einen passenden DNS-Eintrag für "debian.zuhause.xx"

http- oder ftp-Server
Jetzt fehlt nur noch ein http- oder ftp-Server über den Ihr auf euren neuen Mirror zugreifen könnt.

Einfach als Document_root(http), oder Start-Verzeichnis(ftp) das Verzeichnis "/srv/debian-mirror/data" angeben und Fertig...

Viel Erfolg!

Gruß
Jens

Hi,

ich habe noch einen kleinen Nachtrag...
Was evtl. schon jemandem aufgefallen ist: Es gibt dort ein paar Zeilen, in denen es um Parameter geht...

Dadurch ist es möglich, wenn man mehrere Trees hat per "sync_down.sh debian" nur den debian-tree zu syncen... es werden mehrere Parameter akzeptiert...

Gruß
Jens

PS: das habe ich eingebaut, weil bei mir es mehrmals vorkam, dass der Sync des debian-Zweigs abbrach und ich nicht alles neu holen wollte...

Also mit 40 Gigabyte ist da mal garnix zu machen!

Ich habs mal gestartet und hatte noch 130 GB frei und nachdem ich heute nach nen paar Stunden nochmal geschaut hab waren 100% des Servers voll mit den Paketen!

Also wahrscheinlich hätte er noch mehr geladen, keine Ahnung wie ihr hier auf 40 Gigabyte kommt ! KEINE AHNUNG!

Schade, somit is Project Mirror erstmal tod!

Ein eigener Debian Mirror ist auch imho blödsinn.

Ein Proxy macht ggf Sinn weil der nur das speichert was man installiert ( und dann eben bei mehrfacher installation nicht nachladen muß )

Ich bin gerade dabei ne Debian Netinstall CD mit den Paketen aufzublähen die ich für nen Server brauche. ggf gibts dafür nochmal nen HowTo.

Aber für nen Komplettmirror sehe ich im Privatbereich keinen Sinn. Gerade wegen der Überschaulichkeit an Paketen die installiert werden

Hi zusammen.

Ich muss dieses Thema noch mal aufgreifen:

shadowrun hat geschrieben:Ein eigener Debian Mirror ist auch imho blödsinn.
[...]
Aber für nen Komplettmirror sehe ich im Privatbereich keinen Sinn.
Gerade wegen der Überschaulichkeit an Paketen die installiert werden

Für einen Komplettmirror sehe ich auch bei mir keine Anwendung, aber
der Ansatz, den Peter Siering implizit im "ctsrvcfg" fährt, nämlich die
lokalen Pakete als "online"-Paketquelle für weitere Systeme benutzbar
zu machen, die habe ich bei mir zuhause weiter ausgebaut und in der
DMZ eben jene Pakete für alle (DMZ und LAN) DomUs bereitgestellt.

Da allerdings natürlich die dort liegenden Pakete immer wieder ausaltern,
würde ich gerne z.B. im Quartalstakt (wenn's automatisch geht, natürlich
auch häufiger) die Pakete aktualisieren lassen.
Desweiteren wäre es nett, wenn wir wüssten, wie man grundsätzlich eine
Liste an Paketen in einem selektiven Mirror bereitstellt und das ggf. auch
für die jeweils aktuellen Distributionen (Stable/Oldstable)...

Was meint ihr?

In diesem Thread hatten wir das Thema auch schon mal etwas angerissen,
ich habe mit "apt-move" auch schon etwas experimentiert, aber die Weis-
heit ist das auch nicht...

Was müsste man da tun?

@Moderatoren:
Sollten wir die Diskussion nicht in einen eigenen Thread auslagern?

Soweit erstmal...

Ich habe ne Möglichkeit gefunden die runtergeladenen pakete auf der CD zu integrieren und dann bei der nächsten Installation reicht die CD aus

Müßte ich aber nochmal wühlen.

War aber ingesamt ziemlich easy.. Cache von apt kopieren ... dpkg nen Index erstellen lassen

Da ich gerade selbst an diesem Problem sitze, habe ich auch mal ein wenig geforscht. Dabei bin ich auf eine interessante URL gestossen:
http://www.tgunkel.de/docs/debian_cds2ftp

Das erwähnte apt-ftparchive ist auch tatsächlich auf dem ctsrv v3.01 installiert. Vielleicht hat Herr Siering das Tool ja auch nur dazu verwendet die Release-Files zu erzeugen?

Ich habe einfach die Verzeichnisse aus einem Debian CD1 ISO Image kopiert, bekomme aber stets die Fehlermeldung:

Code: Alles auswählen

The specified Debian archive mirror is either not available, or does
not have a valid Release file on it. Please try a different mirror.

Also ich hatte per apt-get alles installiert

Im Cache findest du alle Pakete.

Die rüberkopieren in nen neuen Ordner cdrom .

Dann mit

dpkg-scanpackages update /dev/null > cdrom/Packages

das Relaese File erzeugen
( was bei dir ja fehlt )

Dann den Inhalt mit auf ne Cdrom brennen wobei da noch ne Datei war um die CD zu kennzeichenn ...

leider bekomme ich es nicht hin, schade

Also eine Release Datei existiert ja, die habe ich von der CD mitkopiert. Es existiert dort keine Release.gpg aber das dürfte ja kein Problem sein, dann kommt halt die Meldung: "not authenticated", oder so.

Ich habe auch mal versucht das original /var/lib/pkgs/ von PS anzusprechen, aber auch dabei bekomme ich "...not available, or does
not have a valid Release file...". Demnach scheine ich ein anderes Problem zu haben.

Bei der Installation werde ich nach einem Debian-Mirror gefragt, dabei gehe ich dann über die manuelle Eingabe und trage localhost:82 als Server und /pkgs/ als Verzeichnis ein, aber das funktioniert dann halt nicht.

Versuch mal /var/lib ./

Dieses ./ ist das manchemal

Leider, klappt es immer noch nicht, mist

Inzwischen weiss ich natürlich, dass ich während der Installation nicht "localhost:82" eintragen darf - logisch, der dhttpd läuft ja in der dom0

Aber es klappt trotzdem nicht, keine Ahnung warum. Wenn ich die Installation unterbreche und auf eine Console/Busybox wechsle, dann kann ich mit wget den dhttpd erreichen, aber als Mirror will er sich nicht ansprechen lassen.

Die Angaben "http://192.168.1.1/" und "pkgs" sollten doch eigentlich ausreichend sein, was mache ich bloss falsch - grrrrrr.

Aber jetzt mach ich erstmal Wochenende, tschau.

Die notwendigen Angaben lauten:
192.168.1.1:82 als debian-mirror server und
/pkgs als Verzeichnis

Aber achtet auf den fehlenden "/" hinter der Verzeichnisangabe, der dhttpd kann URLs wie http:/192.168.1.1:82/pkgs//dists.... nicht auflösen

Die Release.gpg ist übrignes doch notwendig, diese Signatur wird gleich am Anfang der Installation geprüft.

Sollten Probleme auftauchen, dann kann man während der Installation auf eine BusyBox und dort im /var/log/syslog nach der Ursache forschen.

Bei mir bleibt folgendes Problem, das Verzeichnis pool habe ich von der debian-lenny CD kopiert, doch fehlen dort udeb-Pakete, die der d-i benötigt. Alle Pakete mit bigmem-di_ver_lenny1_i386.udeb werden während der Installation nicht gefunden und der d-i bricht ab.
Hat jemand vielleicht einen Tipp für mich?

Bin wieder aus dem Urlaub zurück und habe mich mal wieder an den Server getraut - man sollte sich doch mehr aufschreiben

Die notwendigen Dateien habe ich mir nun runtergeladen und unterhalb von /var/lib/pkgs in die Struktur kopiert.

Der Installationsvorgang läuft schon recht weit, bis kurz vor Ende von

Code: Alles auswählen

*Installing the base system*
Installing the kernel - retrieving and installing initramfs-tools...

Dann bricht die Installation ab mit

Code: Alles auswählen

*Unable to install initramfs-tools*
An error was returned while trying to install the initramfs-tools package onto the target system.

und im /var/log/syslog der BusyBox finde ich die Fehlermeldungen

Code: Alles auswählen

May 13 22:03:31 in-target: Err http://192.168.1.1 lenny/main libvolume-id0 0.125-7
May 13 22:03:31 in-target:   Bad header line
May 13 22:03:31 in-target: Err http://192.168.1.1 lenny/main udev 0.125-7
May 13 22:03:31 in-target:   Bad header line
May 13 22:03:31 in-target: Get:1 http://192.168.1.1 lenny/main libklibc 1.5.12-2 [44.2kB]
May 13 22:03:31 in-target: Get:2 http://192.168.1.1 lenny/main klibc-utils 1.5.12-2 [149kB]
May 13 22:03:31 in-target: Get:3 http://192.168.1.1 lenny/main initramfs-tools 0.92o [75.3kB]
May 13 22:03:31 in-target: Failed to fetch http://192.168.1.1:82/pkgs/pool/main/u/udev/libvolume-id0_0.125-7_i386.deb  Bad header line
May 13 22:03:31 in-target: Failed to fetch http://192.168.1.1:82/pkgs/pool/main/u/udev/udev_0.125-7_i386.deb  Bad header line
May 13 22:03:31 in-target: Fetched 269kB in 0s (3227kB/s)

Die betreffenden Dateien habe ich aus drei verschiedenen Quellen erneut geladen und installiert, hat aber auch nicht geholfen.
Gebe ich bei der Installation als Mirror den ftp.de.debian.org an, dann läuft die Installation durch.
Deshalb gehe ich davon aus, der Fehler liegt beim *dhttpd* (in /etc/apt/apt.conf.d/10dhttpd steht Acquire::http::Pipeline-Depth "0"; ).

Hat jemand einen Tipp?

Der Fehler liegt tatsächlich beim *dhttpd*. Wenn die Installation abbricht kann man in der BusyBox die Datei /etc/apt/apt.conf.d/10dhttpd anlegen, dann läuft die Installation durch.
Einfacher ist es, wenn man noch vor Beginn der Installation diese Datei auf dem logischen Laufwerk anlegt.