Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
[Offtopic] 4kb Sektoren
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

 
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) Diskussionsforum
View previous topic :: View next topic  
Author Message
papahuhn
l33t
l33t


Joined: 06 Sep 2004
Posts: 626

PostPosted: Wed Mar 03, 2010 4:59 pm    Post subject: [Offtopic] 4kb Sektoren Reply with quote

Hallo,
kann mir jemand das Problem bei 4kb-Sektor-Festplatten erläutern?: http://www.heise.de/newsticker/meldung/Festplatten-mit-4-KByte-Sektorgroesse-887759.html

Ich verstehe das leider nicht. Für das Mapping der emulierten 512b-Sektoren auf physische 4kb-Sektoren ist doch nicht die Partitionstabelle verantwortlich, sondern die Festplatte selbst. Und die muss das halt so regeln, dass ein emulierter Sektor in nur einem physischen ist.
Was hat das ganze also mit Partitionen zu tun?

Gruß
_________________
Death by snoo-snoo!
Back to top
View user's profile Send private message
kernelOfTruth
Watchman
Watchman


Joined: 20 Dec 2005
Posts: 6111
Location: Vienna, Austria; Germany; hello world :)

PostPosted: Wed Mar 03, 2010 9:20 pm    Post subject: Reply with quote

anscheinend setzt sich Windows über die physikalische Sektoren-Ausrichtung der Festplatte hinweg (wie so einiges bei Microsoft ;) )

dieses Problem gibt es aber auch unter Linux und wird zur Zeit recht fleißig auch in der btrfs mailing list diskutiert

Quote:
muss die Platte diese zunächst lesen, den betroffenen Teil der Daten ersetzen und kann sie erst dann wieder schreiben. Das erfordert eine zusätzliche Umdrehung der Scheiben und dürfte daher massiv bremsen.


hört sich für mich nach COW (copy on write) an und ist bei Btrfs Standard ...
_________________
https://github.com/kernelOfTruth/ZFS-for-SystemRescueCD/tree/ZFS-for-SysRescCD-4.9.0
https://github.com/kernelOfTruth/pulseaudio-equalizer-ladspa

Hardcore Gentoo Linux user since 2004 :D
Back to top
View user's profile Send private message
papahuhn
l33t
l33t


Joined: 06 Sep 2004
Posts: 626

PostPosted: Wed Mar 03, 2010 9:28 pm    Post subject: Reply with quote

Hi,
ich hab inzwischen andere Artikel zu dem Thema gelesen, die auf SSDs bezogen waren; das Problem ist aber übertragbar.
Es gibt - nun auch für mich nachvollziehbar - Schwierigkeiten, wenn das Dateisystem clustert, so wie NTFS und FAT32 das machen.
Wenn ein Cluster gegen die physischen Sektorgrenzen verschoben ist, verursacht ein Clusterzugriff jeweils einen Logischer-Sektor Zugriff, aber jeweils zwei Physischer-Sektor Zugriffe.
Btrfs clustert also auch, ja? Mich würde noch interessieren, wie das mit ext3, xfs und co aussieht.
_________________
Death by snoo-snoo!
Back to top
View user's profile Send private message
papahuhn
l33t
l33t


Joined: 06 Sep 2004
Posts: 626

PostPosted: Thu Mar 04, 2010 9:11 am    Post subject: Reply with quote

http://www.osnews.com/story/22872/Linux_Not_Fully_Prepared_for_4096-Byte_Sector_Hard_Drives

Einen derart hohen Einfluß hätt ich jetzt nicht erwartet ...
_________________
Death by snoo-snoo!
Back to top
View user's profile Send private message
Hilefoks
l33t
l33t


Joined: 29 Jan 2003
Posts: 849
Location: Emden / Deutschland

PostPosted: Fri Mar 05, 2010 6:53 pm    Post subject: Reply with quote

Moin,

bei ext [2|3|4], bei NTFS und vielen weiteren Dateisystemen sind Blockgrößen von 1024, 2048 oder 4096 Byte üblich. Meist kann der Anwender beim Erstellen des Dateisystems Einfluss auf diesen Parameter nehmen (mkfs.ext[2|3|4] hat z.B. den Schalter -b).

Eigentlich würden logischer Block und physikalischer Sektor ineinander passen. Aus bestimmten "historischen" Gründen ist dies aber nicht der Fall, zwischen Partitionstabelle und dem Startsektor der entsprechenden logischen Partition ist ein Loch von 63 Sektoren.

Und genau da ist das Problem. 63 * 512 Byte = 32256 Byte. 32256 Byte ist aber kein vielfaches von 4 KByte.
Das führt dazu das ein logischer Block über zwei physikalische Sektoren verteilt sein kann (und entsprechend häufig auch ist), diesen aber nicht ausfüllt. Wenn nun ein solcher logischer Block geschrieben werden soll, müssen zwei physikalische Blöcke zunächst gelesen werden (um die ebenfalls enthaltenen Daten zu erhalten) und können erst dann geschrieben werden. Und dieser zusätzliche Lesezugriff geht kräftig auf die Performance.

MfG,
Hilefoks
_________________
- Der Computer rechnet vor allem damit, dass der Mensch denkt. -
Back to top
View user's profile Send private message
think4urs11
Bodhisattva
Bodhisattva


Joined: 25 Jun 2003
Posts: 6659
Location: above the cloud

PostPosted: Tue Mar 09, 2010 4:03 pm    Post subject: Reply with quote

ein paar weitere Infos dazu: http://ata.wiki.kernel.org/index.php/ATA_4_KiB_sector_issues
_________________
Nothing is secure / Security is always a trade-off with usability / Do not assume anything / Trust no-one, nothing / Paranoia is your friend / Think for yourself
Back to top
View user's profile Send private message
bookwood
Tux's lil' helper
Tux's lil' helper


Joined: 06 Oct 2005
Posts: 128
Location: Dortmund

PostPosted: Thu Mar 11, 2010 10:38 am    Post subject: Reply with quote

Ich bin in diese Falle getappt und habe mir eine 1,5TB Grosse SATA WD Platte gekauft und meine gesamten Daten umgezogen. Jetzt scheint das Block alignment nicht mehr zu stimmen - was man beim normalen Betrieb kaum merkt. Große Probleme treten jedoch bei VMWare auf. Ich habe unter anderem einen Virtuellen M$ Windoof XP Rechner, der braucht jetzt zum Hochfahren 45 Minuten. Mit dem System kann man fast nicht mehr arbeiten - auch virtuelle Linux Systeme frieren teilweise für 10 - 20 Sekunden ein, weil die Virtuelle Platte nicht mehr hinterher kommt. Ich nutze unter anderem auf der neuen Platte LVM und dachte es ligt evtl. daran - Fehlanzeige. Sobald ich die alte 1TB dranhänge und die Virtuellen Maschinen von dieser in mein System mounte rennt alles wieder wie früher. Ich nutze übrigens XFS.

Folgendermassen habe ich es getestet:
Code:
emerge iozone
time iozone -a  -i 0 -i 1 >out.txt

Iozone ist ein Disk Benchmark der auf Dateisystem Ebene Arbeitet (die Daten in out.txt kann man mit gnuplot visualisieren). Bei einem meiner Kunden, er fährt eine Gentoo Maschine mit Software Raid1 LVM und XFS, braucht der Test 5 Minuten, bei meiner alten Platte 7.5 Minuten. Auf meiner neuen Platte 35 - 40 Minuten. Ein Freund von mir hatte ähnliche Symptome und dort brauchte der Test 75 Minuten. Ein
Code:
dd if=/dev/zero of=/test.dd bs=64 count=1000000
1000000+0 Datensätze ein
1000000+0 Datensätze aus
64000000 Bytes (64 MB) kopiert, 1,68868 s, 37,9 MB/s
ist hingegen genauso schnell wie eine SATA Platte sein sollte. Das Problem tritt dann zu Tage wenn viele kleine Stellen geschrieben und dann wieder gelesen werden. Werden grosse Mengen in einem Rutsch geschrieben verhält sich die Platte normal.

Ich hoffe dieser Test hilft anderen nicht in die gleiche Falle zu tappen.
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3495

PostPosted: Sun Mar 14, 2010 10:44 pm    Post subject: Reply with quote

Ich fände es sehr hilfreich wenn mal einer von euch jetzt zusammenfassen könnte was das konkret für die Praxis bedeutet.

Also falls jemand sich so eine Platte gekauft hat, was muss er jetzt tun, beachten, etc?
Back to top
View user's profile Send private message
bookwood
Tux's lil' helper
Tux's lil' helper


Joined: 06 Oct 2005
Posts: 128
Location: Dortmund

PostPosted: Thu Mar 25, 2010 5:55 pm    Post subject: Reply with quote

Die Lösung besteht aus einer geänderten Geometrie, die die Partitions Anfänge immer durch 4k Teilbar schreibt:
Code:
fdisk -H 224 -S 56 /dev/sdX
Das kann allerdings bei einem Dualboot System mit Window$ zu Problemen führen (WD stellt für XP ein Tool bereit). Meine ist übrigens eine WDC WD15EARS-00Z5B1 1.5 TB Platte. Fdisk meckert zwar das die Werte nicht mit den empfohlenen vom Kernel übereinstimmt, da die WD Platte dem Kernel Schei... erzählt (Die Hardware dröselt die 4K Sektoren wieder in 8 512 Byte Sektoren um - aus kompatibilitäts Gründen :? warum auch immer ).

Alle Infos habe ich unter http://www.brain4free.org/wiki/doku.php/blog:wd_advanced_format_hd_mit_linux gefunden. Iozone liefert wieder normale Werte:
Code:
# time iozone -a  -i 0 -i 1 >out.txt

real    5m56.898s
user    0m0.520s
sys     1m4.040s

Es soll in Kürze ein neues fdisk rauskommen, welches die Probleme beseitigt. Ich habe linux-tools-ng versucht zu kompilieren - es geht aber nur mit einem Kernel >2.6.31, zumindest brach er bei mir immer mit einem komischen Fehler beim kompilieren ab.

Sorry, das ich erst jetzt die Lösung poste, aber ich musste mir erstmal 1.5TB Platten organisieren um mein System von der WD Platte zu sichern :-(
Back to top
View user's profile Send private message
py-ro
Veteran
Veteran


Joined: 24 Sep 2002
Posts: 1734
Location: Velbert

PostPosted: Fri Mar 26, 2010 10:43 am    Post subject: Reply with quote

Das mit der Geometrie ist kein guter Tipp, ich weiss das er oft verklinkt ist, in der Diskussion auf der Mailingliste wird auch irgendwo erklärt warum es eine schlechte Idee ist.

Bei einem neuen fdisk reicht ein bestimmter Parameter um an MB grenzen auszurichten, welcher in ganz neuen Versionen auch der Standard ist.

Leider habe ich gerade keine Zeit die Quellen heraus zu suchen.

Py
Back to top
View user's profile Send private message
bookwood
Tux's lil' helper
Tux's lil' helper


Joined: 06 Oct 2005
Posts: 128
Location: Dortmund

PostPosted: Mon Mar 29, 2010 9:23 am    Post subject: Reply with quote

Ich kann nach einem Wochenende Testen mit der veränderten Geometrie keine Probleme feststellen. Das System läuft schnell und stabil. Eine kleine Anmerkung jedoch noch am Rande. Ich nutze nur 4 Primäre Partitionen, wobei ich auf sda3 mein Root Filesystem habe, und auf sda4 den gesammten Rest mit LVM nutze. Die anderen beiden für /boot und swap. Alle weiteren von mir benötigten Partitionen sind als LVM's definiert und somit 4Kib mässig korrekt ausgerichtet.

Für die VMWare Nutzer noch ein kleiner Tipp: Ich habe mit XFS und 4K Blöcken für die Partition auf der die Gast Systeme laufen, die beste Erfahrung gemacht. Definiert man dort eine Virtuelle Platte und partitioniert sie, ist diese natürlich auch wieder falsch aligned. Es gelten hier die gleichen Regeln wie für das Hauptsystem. Für ein Linux Gastsystem geht man wie oben beschrieben vor, für ein Window$ XP Gastsystem ist hier ein Szenario bei Western Digital beschrieben (habe ich allerdings noch nicht getestet): http://support.wdc.com/product/download.asp?groupid=805&lang=en
Back to top
View user's profile Send private message
mattes
Apprentice
Apprentice


Joined: 23 Jul 2008
Posts: 263
Location: München, Bavaria, Germany

PostPosted: Wed Mar 31, 2010 1:42 pm    Post subject: Reply with quote

http://lwn.net/Articles/377895/
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) Diskussionsforum All times are GMT
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum