Gibt es ein P2P-Netzwerkdateisystem (fürs LAN)?

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Also ich meine damit etwas wie ein Mischung zwischen NFS und Bittorent, d.h. jeder Cleint stellt etwas Speicherplatz zur Verfügung und damit wird ein LAN-weites Dateisystem geschaffen in dem die Daten quasi über alle Clients verteilt werden, evt. mit gewisser Redundanz. (Vergleichbar in gewisser Weise mit einem RAID5)

Gibt es sowas?

(Hintergrund: Ich habe mehrere Rechner im LAN und würde gern deren freien Gesamt-Speicherplatz effektiv ausnutzen.)

EDIT: -[OT]

*edit - Think4UrS11* verschoben ins Diskussionsforum; keine Supportfrage

schachti · Posted: Mon Jun 06, 2005 1:16 pm Post subject:

Wenn ich mich recht erinnere, arbeitet AFS mit großen Caches auf den Clients, vielleicht geht das so ungefähr in Deine Richtung?
_________________
Never argue with an idiot. He brings you down to his level, then beats you with experience.

How-To: Daten verschlüsselt auf DVD speichern.

Archaon · n00b Joined: 08 Apr 2005 Posts: 9 Location: Offenburg

Vielleicht suchts du sowas wie Direct Connect?

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Also hinter das Prinzip von Direct Connect bin ich noch nicht ganz gestiegen, aber es schaut so aus als wäre es eine "normale" Tauschbörse...

Ums nochmal zu präzisieren:

Also ich suche was mit dem ich folgendes machen könnte. Reine Wunschvorstellung, aber evt. kennt ja jemand was in der Richtung. Ich beschreibe das mal als Client-Server-Lösung, so kann mans besser beschreiben

- jeder teilnehmende Client kann einstellen wieviel Speicher er freigibt
- die Server faßt diesen Speicher zu einer großer "Ressource" zusammen (optimal: mountbar)
- kopiert man Daten auf diese Ressource werden diese in Häppchen auf den Clients abgelegt
- durch entfernen eines Clients lassen sich die Daten immernoch lesen... d.h. die Häppchen werden je auf mehrere Clients verteilt...

(Eine, rein theoretische(!) Idee die ich dazu hatte war auch noch auf jedem Client einen NFS-Server zu starten und dann darin ein Containerfile abzulegen, dieses auf dem Server mounten und alle Containerfiles irgendwie als irgendein RAID verknüpfen.)

Soweit zumindest die Theorie ;-)

Nochmal zum Hintergrund: Ich habe ca. 5 Maschinen mit je 40GB freien Platz, d.h. 200GB gesamt... durch 50% Abzug für Redundanzen wären das immernoch 100GB... so könnte ich mir einen Fileserver sparen... wenn denn die Rechner irgendwie in einem Speichercluster zusammenarbeiten würden.

Hilefoks · Posted: Mon Jun 06, 2005 2:26 pm Post subject:

Moin,

schöne Idee! Ich habe mal was von einem GnutellaFS gelesen. Könnte sein das das in die Richtung geht. Leider habe ich keine Idee wo ich das gelesen habe - aber Google wird schon helfen. ;-)

Mfg Hilefoks

reptile · Guru Joined: 19 Nov 2002 Posts: 363

eine lösung habe ich nicht, aber direct connect ist definitiv nicht das, was du suchst. ist, wie du sagtest, eine 'normale' tauschbörse.

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

the-pugnacity · Posted: Mon Jun 06, 2005 4:13 pm Post subject:

wenn du jetzt noch beschreibst wie du das mit NFS gemacht hast währe ich glücklich....son kleines howto wäre fein
_________________
Gentoo 2.6.12-gentoo // Pentium4 2800 || Aopen XC Cube || TwinMOS 1024 MB PC 3200 || 250GB Hitachi 7k250 || Aopen Aeolus FX5900XT || MX500

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Jetzt im Wiki, siehe: http://de.gentoo-wiki.com/HOWTO_RAID_over_NFS

Ok, kleines RAID-over-NFS-HowTo...
(in english)

:!:

Nur für Leute die wissen was sie tun und nicht für den produktiven Einsatz.

Zuerst am "Client" einen NFS-Server aufsetzen (Das auf jedem "Client" machen)

the-pugnacity · Posted: Mon Jun 06, 2005 5:43 pm Post subject:

danke dafür. ich überleg mir nur grad wie ein passendes init script aussieht, weil im normalfall wird ja erst raid ausgeführt und dann mount aber das geht ja nicht da für raidtab ja erst nfs gemounted werden muss.....
_________________
Gentoo 2.6.12-gentoo // Pentium4 2800 || Aopen XC Cube || TwinMOS 1024 MB PC 3200 || 250GB Hitachi 7k250 || Aopen Aeolus FX5900XT || MX500

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Ich überlege wie ich diese Erkenntnis am besten nutzen kann. Wahrscheinlich nicht so sehr, weil sich die Größe des freien Speichers auf allen Rechner unterscheidet, daher käme nur ein Raid0 in Frage was mir zu unsicher ist und auch keine Redundanzen bietet.

Just4Info hier mal das Ergebnis von tiotest, alle 3 Containerdateien über NFS, RAID5 wie oben beschreiben, 100MBit LAN

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

think4urs11 · Posted: Mon Jun 06, 2005 6:41 pm Post subject:

Hi,

so spontan fallen mir da vier Stück ein die in die Richtung gehen:

Coda :arrow:

http://coda.cs.cmu.edu/
OpenAFS :arrow:

http://www.openafs.org/
InterMezzo :arrow:

http://www.inter-mezzo.org/

Microsoft DFS :arrow:

http://www.microsoft.com/ntserver/nts/downloads/winfeatures/NTSDistrFile/AdminGuide.asp :roll:

Wobei man sagen muß dein Raid-5 über NFS hat auch einen gewissen perversen Charme :twisted:

HTH
T.
_________________
Nothing is secure / Security is always a trade-off with usability / Do not assume anything / Trust no-one, nothing / Paranoia is your friend / Think for yourself

dakjo · Veteran Joined: 31 Jan 2004 Posts: 1544

@slick Ich wollt nur mal sagen. GEiL Ey! Typ! Das Krass das so mit nfs raid.
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Also habs grad mal nochmal in Ruhe ausprobiert... also RAID-over-NFS ist nicht für den realistischen Betrieb geeignet. Fällt ein Client während des Betriebs weg ist schreiben und lesen unmöglich (lesen nur was noch so im Cache ist). Der zugreifende Prozess "friert" dann ein. Fehlt ein Client schon beim Start des RAIDs läßt sich dieses gar nicht erst starten... also einen experimentellen Einsatz für das kleine Home-Lan sehe ich da nur gegeben wenn die Clients 100% verfügbar sind was unter normalen Unständen zwar theoretisch möglich ist, aber wichtige Daten würde ich darauf nicht verwetten.

76062563 · l33t Joined: 16 Aug 2004 Posts: 637 Location: 127.0.0.1

Egal, allein die Idee find ich super!
_________________
gentoo - compile your own world

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Hmm... ich mal mir grad so andere witzige Szenarien aus... also RAID-over-Samba oder RAID-over-SHFS sollten damit auch möglich sein

think4urs11 · Posted: Mon Jun 06, 2005 9:38 pm Post subject:

na da fehlt aber dann noch Raid over USB-Stick und Raid over 'various flash media'
schließlich hat so ein Cardreader von Haus aus mindestens 4 Slots die auch parallel bestückt werden können
_________________
Nothing is secure / Security is always a trade-off with usability / Do not assume anything / Trust no-one, nothing / Paranoia is your friend / Think for yourself

spielc · Guru Joined: 20 Apr 2004 Posts: 452

the-pugnacity · Posted: Tue Jun 07, 2005 3:09 am Post subject:

irgend wo hab ich mal in den weiten des netz es nen disketten raid gefunden.... 20 disks arbeiten zusammen

_________________
Gentoo 2.6.12-gentoo // Pentium4 2800 || Aopen XC Cube || TwinMOS 1024 MB PC 3200 || 250GB Hitachi 7k250 || Aopen Aeolus FX5900XT || MX500

M@rio · n00b Joined: 01 Dec 2004 Posts: 27 Location: Graz

Irgendwie steckt in dem Konzept ein Denkfehler.

Schließlich müssen alle Daten auf allen Workstations vorhanden sein. Bei Raid-5 z.b. könnte man 1 Client abschalten, aber schon beim 2. abgeschaltenen Client wären die Daten nicht mehr komplett.
Das ist bei P2P ja auch so. Wenn nur 1 Block fehlt, ist die restliche Datei wertlos. Während man bei P2P Anwendungen aber einfach mal ein paar Stunden/Tage/Wochen wartet bis der fehlende Block möglicherweise doch noch von irgendwem ge-shared wird, will wohl keiner ein paar Stunden auf seine Daten im LAN warten.

Also bliebe im Endeffekt nur die Möglichkeit die Daten einfach per rsync auf alle Clients zu verteilen. Was zwar sehr redundant wäre, aber auch heftige Platzverschwendung.

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Ich denke es kommt darauf an wie man es betrachtet. Das RAID-over-LAN nicht praxistauglich ist schrieb ich ja bereits, das war nur ein "Nebenprodukt" der Überlegungen... aber einen P2P Lösung könnte ich mir durchaus vorstellen. Wenn man die Daten wie einem einem RAID verteilen würde und das jeweils zusätzlich noch redundant, könnte schon mehr als 1 Client wegfallen. Das sollte das Cluster dann merken und diese Daten raid-ähnlich neu berechnen und auf die bleibenden Maschinen verteilen. Geht der Client wieder ans Netz werden die Daten wieder neu auf ihn verteilt. Es geht ja auch nicht darum die Gesamtanzahl der freien Bytes direkt zu nutzen, bei einem wie oben beschriebenen Verfahren wären wohl so ca. 1/3 - 1/2 effektiv nutzbar, was aber bei einer gewissen Anzahl Clients schon Sinn machen kann. Außerdem geht es nicht darum eine High-Speed-Ressource zu haben. Ich stelle mir das eher als Ablage für Sachen die man nicht so häufig benötigt... z.B. Distfiles, Images von irgendwelchen CDs o.ä.

limes · Tux's lil' helper Joined: 18 Sep 2004 Posts: 129

Linux gehört eindeutig verboten

slick · Bodhisattva Joined: 20 Apr 2003 Posts: 3495

Soo... ich habe mir nochmal Gedanken gemacht wie so ein P2P-Filesystem aussehen müßte. Ich versuchs mal zu beschreiben, evt. ist ja jemand mit ausreichend Programmierkenntnissen von der Idee begeistert:

Es gibt eine Software, im folgenden als Client bezeichnet, die folgendes macht:

- Dateien werden auf Client geschrieben
- Client zerlegt diese Daten in Blöcke bestimmter Größe
- jeder Block erhält noch Metainformationen (von welcher Datei, welche Block-Nr, eindeutige ID)
- Client macht für jeden Block den er hat:
-- Broadcast ins Netz welcher Client denn noch den Block mit Id: X hat
-- Clients ohne den Block X melden sich und melden auch ihren "Status" (z.B. Y% belegt, Empfang ok...)
-- Client entscheidet nun welcher andere Client am besten geeignet ist (Bandbreite oder Speicherstatus) und
sendet Block an zweiten Client
-- melden sich mehr als 1 Client die den Block schon haben entscheidet der broadcastende Client welcher der Clients den Block löschen kann, weil er braucht nur 2x da zu sein

Wenn das alle Clients machen, sollten die Blöcke redundant im Netz liegen und bei Wegfall eines Clients würde sich das Netz selbst neu syncronisieren. Die effektive Nutzbarkeit wäre bei 50% der Gesamtgröße der Ressourcen in Netz minus evt. zusätzliche Redundanzen...