| View previous topic :: View next topic |
| Author |
Message |
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
 Posted: Sun Mar 06, 2005 6:35 pm Post subject: Aktion Gentoo-Mirrors für Strato [nicht mehr aktuell!] |
 |
|
 Seit neuestem (Stand Sept. 05) ist Traffic zwischen zwei Servern im Strato-RZ nicht mehr kostenlos und wird wie kostenpflichtiger externer Traffic berechnet. Wer dennoch einen Gentoo-Mirror innerhalb des RZ sucht bzw. bereitstellen möchte bitte ggf. den ganzen Thread lesen. Angaben zu kostenlosem Traffic in den folgenden Posts sind vermutlich veraltet.
Da Strato bisher keinen eigenen Gentoo-Mirror bereitstellt möchte ich basierend auf diesen Thread eine Liste zusammenstellen für die inoffiziellen Gentoo-Mirrors bei Strato. Das spart Traffic nach außerhalb des RZs (und somit evt. Kosten) und sollte auch schneller sein. Wer dazu beitragen möchte ist gern willkommen.
Die aktuelle Fassung der Liste ist hier zu finden
http://h9592.serverkompetenz.net/gentoo/strato-gentoo-mirrors.txt
http://gentoo.mysnip.de:8080/gentoo/strato-gentoo-mirrors.txt (Thanks to ts77)
Format in der Liste
- Eine Kommentarzeile beginnt mit #
- Eine Zeile für die URL zu einer (gespiegelten) Liste beginnt mit list: gefolgt von einem Leerzeichen und der URL zu der Liste
- Eine Zeile für einen Distfiles-Mirror beginnt mit mirror: gefolgt von einem Leerzeichen und der URL zu dem Server.
- Eine Zeile für einen Rsync-Mirror beginnt mit rsync: gefolgt von einem Leerzeichen und der URL zu dem Server
Wer einen Server bei Strato im Rechenzentrum laufen hat und auf diese Liste will bitte bei mir per Nachricht melden. Wer Anregungen oder Ideen hat bitte posten.
Die Liste kann innerhalb des RZ gern weiter gespiegelt werden um Redundanzen zu schaffen, sollte aber dann auch von extern verfügbar sein. Sollte dies regelmäßig erfolgen dann bitte mir Bescheid geben damit ich die URL unter der diese Kopie der Liste abrufbar ist auch mit auf die Liste setzen kann.
Servereinrichtung
Verzeichnis-Listings (Bei Apache Option Indexes) sollten bei der bloßen Bereitstellung der eigenen Distfiles (kein vollständiger Mirror) ausgeschaltet sein um zu verhindert das sich für Außenstehende evt. erkennen läßt welche Pakete installiert sind. Auch sollte eine Beschränkung auf die IPs oder Hostnames aus dem Strato-RZ konfiguriert werden um Zugriffe (und somit Traffic) von extern zu vermeiden.
wget
Nutzer welche die Server aus der Liste nutzen sollten die Verbindungsversuche von wget auf 1 setzen um unnötige Verbindungsversuche eines evt. nicht verfügbaren Servers zu verhindern.
Beispiel:
| Code: | FETCHCOMMAND="/usr/bin/wget -t 1 --passive-ftp \${URI} -P \${DISTDIR}"
RESUMECOMMAND="/usr/bin/wget -c -t 1 --passive-ftp \${URI} -P \${DISTDIR}" |
Wer sich kreativ beteidigen möchte... ich suche hier auch noch ein Script welches es ermöglicht diese Liste auszulesen und die Server in die make.conf vor den anderen "normalen" Mirrors einzutragen. Ein Ansatz wäre folgender:
| Code: | | echo `wget http://h9592.serverkompetenz.net/gentoo/strato-gentoo-mirrors.txt -q -O - | grep ^mirror: | cut -d " " -f 2` |
Last edited by slick on Wed Dec 17, 2008 8:54 am; edited 9 times in total |
|
| Back to top |
|
 |
McPringle
Apprentice
Joined: 19 Feb 2003
Posts: 164
Location: Aarau (Switzerland)
|
| Posted: Wed Mar 09, 2005 8:09 am Post subject: |
|
|
Hallo!
Da ich im Moment etwas Speicherplatz eruebrigen kann, wuerde ich anbieten, STRATO-intern die distfiles sowie einen rsync Mirror zur Verfuegung zu stellen.
cu
McPringle
_________________
Linux-User Nummer 53312 |
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Wed Mar 09, 2005 8:26 am Post subject: |
|
|
Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann. Bisher ist kaum Traffic zu verzeichnen. Aber vielleicht liegt das auch am (noch geringen) Bekanntheitsgrad.
An anderer Stelle habe ich schon über die Sinnhaftigkeit des Projektes diskutiert. Ich denke es ist eher eine Philosophie-Frage. Schaden kanns jedenfalls nicht. Zumindest habe ich schon dazugelernt bei der Konfiguration des Servers  |
|
| Back to top |
|
|
McPringle
Apprentice
Joined: 19 Feb 2003
Posts: 164
Location: Aarau (Switzerland)
|
| Posted: Wed Mar 09, 2005 9:12 am Post subject: |
|
|
| slick wrote: | | Super. Wenn Du den Server am laufen hast schick mir einfach die Adresse damit ich den Server mit in die Liste eintragen kann. |
| Code: | GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"
SYNC="rsync://h58356.serverkompetenz.net/portage" |
Soweit erstmal. Hast Du einige Distfiles liegen? Die wuerde ich gerne meinem Mirror hinzufuegen - muss ich weniger von extern laden, dann zaehlt das nicht zum Traffic. Ich moechte gerne einen vollstaendigen Mirror anbieten und vorher so viel wie moeglich STRATO-intern transportieren.
cu
McPringle
_________________
Linux-User Nummer 53312 |
|
| Back to top |
|
|
moe
Veteran
Joined: 28 Mar 2003
Posts: 1289
Location: Potsdam / Germany
|
| Posted: Wed Mar 09, 2005 9:25 am Post subject: |
|
|
Hmm, da musst ja ne Menge Speicherplatz übrig haben 
Mein Rootie steht leider nich bei Strato, aber trotzdem ne Frage: Warum nicht per NFS, dann kann jeder der deinen Distfilesmirror benutzt den automatisch füllen, und du läufst nich Gefahr irgendwas im Mirror anzubieten (also erstmal von extern laden) was nie gebraucht wird. Und ausserdem wird so auch der externe Traffic zum Befüllen des Mirrors auf die Nutzer verteilt, wenn jmd. von extern in dein NFS-export lädt, hat er ja den extern-Traffic du nur intern..
Gruss Maurice |
|
| Back to top |
|
|
ts77
Apprentice
Joined: 23 Mar 2003
Posts: 200
Location: Berlin, Germany
|
| Posted: Wed Mar 09, 2005 9:30 am Post subject: |
|
|
Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk . |
|
| Back to top |
|
|
McPringle
Apprentice
Joined: 19 Feb 2003
Posts: 164
Location: Aarau (Switzerland)
|
| Posted: Wed Mar 09, 2005 9:38 am Post subject: |
|
|
| ts77 wrote: | Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk . |
Mir gehts nur darum, einmal Distfiles von STRATO-Server zu bekommen, damit die dann regelmaessig durchgefuehrten Spiegelungen mit einem externen Mirror nicht so viel Traffic verbrauchen.
cu
McPringle
_________________
Linux-User Nummer 53312 |
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Wed Mar 09, 2005 9:55 am Post subject: |
|
|
| ts77 wrote: | Hmm, Sicherheit?
Also ich würde nur ungern selbst nfs-mounts anbieten oder nutzen.
Ist ja schließlich nicht das heimische kleine Netzwerk . |
Full ACK
Eine incoming-ftp wäre noch eine Alternative, welche auch allerdings schnell mißbraucht werden kann. Es sei denn man legt dann eine cronjob darüber der checkt ob das hochgeladene File auch auf den offiziellen Mirrors liegt. Da würde wiederum dafür sorgen das auch nur aktuelle Distfiles im Verzeichnis sind. Aber da ist denke ich ein abgespeckter Mirror (-X -kde etc.) immernoch sinnvoller.
Und wenn wir schon beim Thema Sicherheit sind. Auch ein privater rsync-mirror löst bei mir gewisse Bedenken aus. Aber wenn man den nur für "größere" syncs benutzt und danach nochmal gegen einen offiziellen Mirror sync dürfte das safe sein. |
|
| Back to top |
|
|
moe
Veteran
Joined: 28 Mar 2003
Posts: 1289
Location: Potsdam / Germany
|
| Posted: Wed Mar 09, 2005 10:01 am Post subject: |
|
|
Man kann es ja auf die IP-Bereiche von Strato einschränken, oder sogar nur auf die IPs von den Leuten die das mitbenutzen wollen.. Aber ein guter Einwand, an die Sicherheit hab ich mal wieder nicht gedacht 
Gibts denn bekannte Sicherheitsprobleme bei NFS?
Gruss Maurice |
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Sat Mar 12, 2005 9:47 am Post subject: |
|
|
Habe heute an Strato eine Mail verfasst, mal schauen was zurückkommt.
| Quote: | Hallo Strato-Team,
da ihr bisher keinen Gentoo-Mirror in eurem RZ anbietet habe ich mich mit Leuten aus der Gentoo-Community an dem (privaten) Projekt "Gentoo-Mirror für Strato" beteidigt. Details hierzu findet ihr unter folgender URL.
https://forums.gentoo.org/viewtopic-p-2160587.html
Es wäre nett wenn ihr bei Anfragen zum Thema Gentoo-Mirror auf diese Seite verweisen könntet bzw. diese mit in eure FAQ aufnehmt. Ich denke es ist auch in eurem Sinn das Projekt bekannt zu machen.
Um Antwort wird gebeten.
MfG .... |
Edit 14.03.05
Heute kam eine Antwort von Strato. Ich möchte die Mail jetzt hier nicht komplett zitieren (Postgeheimnis), Strato bedankte sich für unsere Bemühungen und teilte mit, daß diese Information dem technischen Support mitgeteilt wurden sowie dem Dokumentationsteam und das es evt. einen Eintrag in die FAQ von Strato gibt. |
|
| Back to top |
|
|
Grille
n00b
Joined: 17 Oct 2004
Posts: 17
|
| Posted: Fri Apr 01, 2005 12:37 am Post subject: |
|
|
Hi,
lebt das Projekt noch immer?
Würde mich auch beteiligen, wüsste ich bloß wie... ich hab keine ahnung wie ich meinen server als mirror einrichten soll, und wie viel freien platz benötige ich dafür?
Hoffe mal auf Lebenszeichen *gg*
Also bis dahin, Grille
--------------------------------------------
Zu finden bin in auch im freenode.net
imChannel #gentoo-anfaenger
--------------------------------------------
Also einfach mal dort vorbeischauen, da ist meistens mehr los als im Forum ....
Gruß Christian |
|
| Back to top |
|
|
dakjo
Veteran
Joined: 31 Jan 2004
Posts: 1544
|
| Posted: Fri Apr 01, 2005 6:06 am Post subject: |
|
|
Apropro Mirror.
Der Rsync-Mirror rsync8.de.gentoo.org ist auch bei Strato.
IP: 81.169.182.53
HOSTNAME: h53098.serverkompetenz.net
Also um immer von im zu syncen
SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"
[edit]
BTW. ihr duerft auch gerne mehr als einmal an Tag syncen.
[/edit]
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de |
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Fri Apr 01, 2005 7:17 am Post subject: |
|
|
Super Sache das! Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?
Weiß eigentlich jemand über folgendes Bescheid: Strato hat ja zwei Rechnenzentren. Eins in Berlin und eins in Karlsruhe. Wie sieht es mit Traffic zwischen diesen beiden Rechenzentren aus, kostet der und wenn nein hat jemand die IP-Bereiche aus dem Karlsruher RZ? siehe dazu http://www.strato.de/server/rechenzentrum_c.html (Vorsicht kommerzieller Link ) |
|
| Back to top |
|
|
ts77
Apprentice
Joined: 23 Mar 2003
Posts: 200
Location: Berlin, Germany
|
| Posted: Fri Apr 01, 2005 7:26 am Post subject: |
|
|
Super, hab ich den doch glatt einfach mal bei mir auch eingetragen (ich synce trotzdem vorbildlich nur einmal täglich ... nur in Ausnahmefällen nicht ).
Das wäre ja noch eine Idee für den DNS-Server für die Einträge ... der könnte doch den der anfragenden IP am nächsten liegenden Mirror (so nach C-Block oder anderen Kriterien) zurück geben. Ok, so gehts aber auch.
@Grille, hängt ja im Prinzip davon ab, was genau Du zur Verfügung stellst. Wir haben hier meist nur die bereits selbst heruntergeladenen Distfiles angeboten. Das heisst Du brauchst nicht mehr Platz als vorher . Außer natürlich Du willst einen kompletten Distfile-Mirror anbieten.
Im Prinzip brauchst Du nur einen einfachen Webserver aufsetzen, mit ein paar kleinen Regeln, wie z.B. der Einschränkung auf den IP-Bereich.
gruß,
thomas |
|
| Back to top |
|
|
dakjo
Veteran
Joined: 31 Jan 2004
Posts: 1544
|
| Posted: Fri Apr 01, 2005 7:32 am Post subject: |
|
|
| slick wrote: | Super Sache das! Ich werden den dann mal mit in o.g. Liste aufnehmen. Wird der von Dir betrieben?
|
Ja, ist meiner.
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de |
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Fri Apr 01, 2005 7:34 am Post subject: |
|
|
@ Grille
Ups, hatte Dein Posting fast übersehen
Ein voller Mirror kostet Dich ca. 40 GB, wobei man bei einem Strato-internen von viel weniger ausgehen sollte, da es keinen Sinn macht hier z.B. KDE- oder sonstige X-Pakete zu spiegeln. Details hierzu kann bestimmt McPringle hinzufügen.
Ein eigener inoffizieller Rsync-Mirror macht meines Erachtens aus Sicherheitsgründen hier keinen Sinn.
Im einfachsten Fall reicht jedoch das Bereitstellen der /usr/portage/distfiles vollkommen aus und/oder Du spiegelst die o.g. Liste um da Redundanzen zu schaffen.
Das Projekt lebt übrigens, auch wenn es selten Lebenszeichen zeigt |
|
| Back to top |
|
|
Ragin
l33t
Joined: 14 Apr 2003
Posts: 776
|
| Posted: Fri Apr 01, 2005 11:39 am Post subject: |
|
|
Mal ne ganz blöde Frage:
Ihr greift über externe IPs/Domains auf die Server zu?
Dann seid ihr euch auch bewusst, dass die Pakete durch die Router gehen und der Traffic gezählt wird. Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte.
Demnach würde das ganze recht wenig Sinn machen (außer, dass evtl. die Geschwindigkeit immer recht gut ist (insofern Strato nicht grad generell lahmt), was aber durch mirrorselect auszugeleichen ist.
Oder hab ich da was übersehen?
_________________
"Innerhalb der Computergemeinschaft lebt man nach der Grundregel, die Gegenwart sei ein Programmfehler, der in der nächsten Ausgabe behoben sein wird."
Clifford Stoll, amerik. Astrophysiker u. Computer- Pionier |
|
| Back to top |
|
|
ts77
Apprentice
Joined: 23 Mar 2003
Posts: 200
Location: Berlin, Germany
|
| Posted: Fri Apr 01, 2005 11:41 am Post subject: |
|
|
ähm, warum sollten sie über den Router gehen?
Jeder normale Switch kann über die IP direkt routen und muß nicht alles über den externen Router schicken.
Interne IPs gibts bei Strato IMO nicht. |
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Fri Apr 01, 2005 2:01 pm Post subject: |
|
|
| Quote: | | Zusätzlich wandern die guten Stück ggf. (je nach Routing) auch mal durch die Weltgeschichte. |
Falsch. Soweit ich das weiß hat zwar Strato offizielle IPs, jedoch wir der Traffic erst am "Ausgang" des RZs gemessen. D.h. wenn ich von Strato-Server A zu Strato-Server B (über die DNS-Auflösung des Strato-DNS-Servers C) eine Verbindung aufbaue wird kein Traffic nach extern gemessen. d.h. es handelt sich um internen Traffic welcher gemäß FAQ von Strato kostenlos ist. |
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Fri Apr 01, 2005 2:22 pm Post subject: |
|
|
Hier mal kurz ein Vorstellung wie ich mein distfiles-Verzeichnis (auch für andere) aktuell halte und dennoch nicht mit älteren Paketen die Platte zumülle.
In der Nacht läuft ein cron-job der folgendes macht
| Code: | | emerge sync ; emerge -fuD world ; ACCEPT_KEYWORDS="~x86" emerge -fuD world |
Dadurch liegen immer alle meine Pakete für mein x86 sowie für andere ~x86 Systeme als "Mirror" bereit. Allerdings hat das zur Folge das damit mein distfiles-Verzeichnis zugemüllt würde. Eine der Lösungen aus diesem Thread kommt auch nicht in Frage, da ja sonst auch alle x86 Pakete gelöscht würden wenn ich die ~x86 Pakete in den distfiles habe (Aussonderung über die Versionsnummern) oder alle ~x86 Pakete gelöscht würden da ich diese nicht installiert habe (Aussonderung über nicht installierte Pakete)
Also habe ich mir ein Script geschrieben welches meine distfiles mit den distfiles eines offiziellen Mirrors vergleicht. Und ist z.B. eine Paket nicht mehr auf dem Mirror vorhanden, wird es auch aus meinen Distfiles geworfen. Hierfür wird der ftp-client aus ncftp genötigt. Dieses Script läuft als cron-job, aber nicht täglich.
| Code: | #!/bin/bash
mirror=ftp://ftp6.uni-muenster.de/pub/linux/distributions/gentoo/distfiles/
distdir=/usr/portage/distfiles
ftplist=/tmp/list_${RANDOM}${RANDOM}${RANDOM}
ncftpls -1 $mirror > $ftplist && \
for file in ${distdir}/* ; do
cat $ftplist | grep "`basename ${file}`" &> /dev/null || rm ${file}
done
rm $ftplist |
Problem sind momentan hierbei noch Pakete die nicht auf den Mirrors liegen, weil sie direkt von der Ursprungsseite gezogen werden (z.B. mysql). Was sich aber durch einfach rausfiltern noch realisieren liese, das ist aber noch nicht implementiert. |
|
| Back to top |
|
|
jannis
Guru
Joined: 05 Dec 2004
Posts: 340
Location: Germany / Bavaria / Aschaffenburg
|
| Posted: Wed May 25, 2005 10:27 pm Post subject: |
|
|
Hallo, ich meld' mich ma hier. ^^
Ich habe seit heute, 20:00 Uhr nen rooty bei strato und habe' eure Server mal bei mir in die make.conf:
| Code: | GENTOO_MIRRORS="http://h58356.serverkompetenz.net/"
SYNC="rsync://h53098.serverkompetenz.net/gentoo-portage"
|
Danke für den Service *gg* |
|
| Back to top |
|
|
wmark
n00b
Joined: 28 Sep 2005
Posts: 17
|
| Posted: Wed Sep 28, 2005 8:45 pm Post subject: |
|
|
Zitat aus dem Kundenservicebereich, TrafficControl, Datentransfer:
| Quote: | | Der interne Traffic zu Servern der STRATO Infrastruktur wird separat erfasst und hiervon abgezogen. Hierzu gehören im Wesentlichen der Traffic zu den FTP-Servern für Backups und Updates, zu Nameservern und den Installationssystemen. Der Traffic zu anderen Kundenservern innerhalb des Rechenzentrums zählt nicht zum kostenfreien internen Traffic. |
|
|
| Back to top |
|
|
slick
Bodhisattva
Joined: 20 Apr 2003
Posts: 3495
|
| Posted: Wed Sep 28, 2005 8:55 pm Post subject: |
|
|
Uii... das muß ganz frisch sein. Die hatten ja in den letzten Monaten die Trafficmessung auch irgendwie umgebaut.
Habe die Änderung auch an der Stelle gefunden, wo früher stand das der Traffic zwischen zwei Servern kostenlos ist.
Nicht sehr erfreulich... aber solange der Traffic in einem für mich tragbaren Rahmen bleibt werde ich auch erstmal weiterhin meinen teilweisen Mirror laufen lassen. |
|
| Back to top |
|
|
|
Deutsches Forum (German) 
