Archiv

Archiv für die Kategorie ‘Linux’

Verschlüsseltes Online-Backup mit curlftpfs und encfs

6. Mai 2009

An Online-Speicher mit FTP-Zugang bekommt man relativ leicht: Entweder als Gratis-Webspace (aktuell findet man leicht Angebote mit 1-3 GB Platz) oder gegen Bezahlung in nahezu beliebiger Größe.

Für automatisierte Backups wäre es schön, auf diesen Speicher als Teil des Dateisystems zuzugreifen. Aufgrund der unverschlüsselten Übertragung und externen Speicherung ist ebenfalls eine transparente Verschlüsselung wünschenswert. Dies bietet die Kombination der FUSE-Dateisysteme curlftps und encfs.

Um FTP-Speicher mit dem Benutzer mit der UID 1000 als Besitzer mit curlftpfs über /etc/fstab einzubinden, benötigt man dort einen Eintrag in folgender Form:

# /etc/fstab [...]
# FTP filesystems
curlftpfs#ftp.domain.com	/mnt/ftp/backup1	fuse 	auto,user,uid=1000,gid=1000,allow_other,user=<user>:<password>							0	0	# unverschlüsselt
curlftpfs#ftp.domain.com	/mnt/ftp/backup2	fuse 	auto,user,uid=1000,gid=1000,allow_other,user=<user>:<password>,ssl_try,no_verify_peer,no_verify_hostname	0	0	# SSL verwenden falls möglich
curlftpfs#ftp.domain.com	/mnt/ftp/backup3	fuse 	auto,user,uid=1000,gid=1000,allow_other,user=<user>:<password>,ssl,no_verify_peer,no_verify_hostname		0	0	# SSL erzwingen

Auch, wenn wir gleich noch ein encfs-verschlüsseltes Dateisystem darüberlegen, empfiehlt es sich, SSL für die Verbindung zum FTP-Server zu verwenden, da Benutzername und Passwort sonst unverschlüsselt übertragen werden.

Der folgende Befehl hängt das encfs im Ordner /backup/encfs auf dem FTP-Server unter /mnt/ftp-encfs/backup1 ein:

#encfs	<rootDir>			<mountPoint>
encfs	/mnt/ftp/backup1/backup/encfs	/mnt/ftp-encfs/backup1

Beim ersten Aufruf wird das encfs erzeugt und es werden eine Reihe von Parametern abgefragt, wie z.B. Verschlüsselungsalgorithmus, gewünschte Verschlüsselungsstärke und natürlich auch das Passwort. Eine genaue Erklärung der encfs-Optionen gibt es bei Wikipedia sowie hier.

Linux , , , , ,

ZFS auf Partitionen/Slices oder der ganzen Disk?

5. Mai 2009

Beim Anlegen von ZFS-Speicherpools stellt sich die Frage, ob man ZPOOL die gesamte(n) Disk(s) verwalten lässt (durch Angabe von z.B. c0t0d1 unter Solaris oder /dev/sdb unter Linux) oder den Pool aus einzelnen Partitionen aufbaut (ggf. mit ZFS als einziger Partition auf der Platte).
In letzterem Fall stellt sich außerdem die Frage, welchen Typ von Partitionstabelle man verwenden soll (MBR/DOS-Partitionstabelle, GUID Partition Table (GPT)/EFI Disklabel oder Solaris VTOC).

Insbesondere die zweite Frage ist dann von Bedeutung, wenn man den ZFS-Pool unter verschiedenen Betriebssystemen (z.B. Solaris, Linux und Mac OS X) verwenden möchte.

Diesen beiden Fragen möchte ich im Folgenden versuchen, auf den Grund zu gehen.

  • Generell wird empfohlen, die Disks jeweils komplett für ZFS zu verwenden (d.h. man übergibt ZFS entweder das „RAW-Device” oder weist dem ZFS eine Partition zu, die sich über die gesamte Festplatte erstreckt).
  • Lässt man zpool das gesamte Gerät verwalten, legt ZFS dort ein GPT-Disklabel an (siehe auch meinen Kommentar)
    (Allerdings entspricht dieses wohl nicht ganz dem, was z.B. Linux erwartet; siehe hier bzw. hier)
  • Bei großen Festplatten scheiden DOS-Partitionstabellen und Solaris VTOCs aus:
    • DOS-Partitionstabellen erlauben Partitionen von max. 2 TB Größe
    • Solaris VTOCs unterstützen Festplatten von max. 1 TB Größe

Zu dem Thema habe ich im Folgenden noch etwas „Belegmaterial” zusammengestellt:

Mehr…

Linux, Mac OS X, Solaris , , , , , , ,

USB-Laufwerke „ganz” sicher entfernen unter GNU/Linux / spin-down von USB-Festplatten

23. April 2009

USB-Laufwerk „ganz” sicher entfernen

Von Windows kennt man die Funktion „Hardware sicher entfernen”. Diese sorgt dafür, dass vor dem „Abziehen” eines USB-Speichers alle Daten darauf geschrieben wurden und stoppt anschließend den Motor der Festplatte.

Unter GNU/Linux sollte man vor dem „Abklemmen” eines USB-Datenträgers Dateisysteme darauf auf jeden Fall mit umount oder über die grafische Oberfläche „aushängen”. Dieses stoppt aber nicht den Motor der Festplatte.

Abhilfe schafft das Skript „suspend-usb-device” (benötigt sdparm): Yan Li’s Words: Safely remove an USB hard drive in Linux.

Dieses

  • sendet die Kommandos SYNC und STOP an das Laufwerk (mittels sdparm)
  • löst den USB-Storage-Treiber vom entsprechenden USB-Device (unbind)
  • schaltet das USB-Gerät in den Power-Level CONFIG_USB_SUSPEND.

Die Dateisysteme auf dem Datenträger werden vom Skript aber nicht ausgehängt, das muss man vorher weiterhin selbst tun. Insofern entspricht die Funktion nicht ganz dem „Hardware sicher entfernen” in Windows.

Motor einer USB-Festplatte anhalten („spin-down”)

Für IDE-Platten gibt es folgenden Befehl, um diese anzuhalten (standby):

hdparm -y /dev/sdb

Bei meiner USB-Festplatte scheitert dieser jedoch mit einem „HDIO_DRIVE_CMD(standby) failed: Input/output error”.

Für SCSI-Platten lautet der Befehl zum Anhalten (meine USB-Festplatte hält daraufhin kurz an, läuft aber sofort wieder hoch):

sg_start --stop /dev/sdb

Außerdem gibt es jedoch noch

sdparm --command=stop /dev/sdb

Mit letzterem Befehl lässt sich meine externe Festplatte (SATA-Festplatte Seagate ST315003) in einem USB-Gehäuse von Fantec (mit JMicron-Chip) anhalten.

Allgemeines, Computer, Linux , , , , , , , , , , ,

kostenlose Linux E-Books

13. April 2009

Eine Datei (z.B. Thumbs.db) unter GNU/Linux/UNIX in allen Unterverzeichnissen löschen

8. April 2009

Der folgende Befehl durchkämmt unter Linux/UNIX das Verzeichnis /home/user rekursiv und löscht alle vorkommenden Dateien mit dem Namen Thumbs.db:

find /home/user -name Thumbs.db -exec rm -f {} \;

Achtung! Vorher wird der Benutzer nicht zu einer Bestätigung aufgefordert (wegen des -f im rm-Befehl)!

Allgemeines, Computer, Linux, Solaris , ,

ZFS-Unterstützung für Ubuntu GNU/Linux

27. März 2009

Da ich mich nach wie vor nur schlecht für ein bestimmtes Betriebssystem entscheiden kann, habe ich beschlossen, mich wenigstens auf ein Dateisystem festzulegen ;-).

Meine Wahl ist nun also auf ZFS gefallen, da ich dieses neben (Open)Solaris sowohl unter Linux (mit ZFS-FUSE) als auch unter Mac OS X lesen kann (vielleicht wird mein nächster “PC” ja ein Mac)

ZFS-FUSE in Ubuntu 8.10

Der Eintrag zu ZFS im Ubuntu-Wiki beschreibt die Installation von ZFS-Fuse unter Ubuntu Linux. Diese beschränkt sich hauptsächlich auf das Eintragen der Paketquellen in /etc/apt/sources.list sowie ein apt-get update sowie apt-get install zfs-fuse. Bestehende ZFS-Dateisysteme werden daraufhin automatisch gemountet.

Anlegen des ZFS unter OpenSolaris

Leider habe ich für die Erstellung des ZFS-Pools nur zwei Platten frei. Eine dritte Platte wird erst frei, wenn ich meine Daten von dieser auf den ZFS-Pool verschoben habe.

Von einer OpenSolaris 2008.11 Live-CD erstelle ich den RAID-Z-Pool, der eigentlich aus mindestens drei Disks bestehen müsste, aus zwei Platten und einem genauso großen Sparse-File auf der Festplatte:


jack@opensolaris:~$ pfexec mkfile -nv 1000202305536 /tmp/tera
tera 1000202305536 bytes

jack@opensolaris:~$ pfexec zpool create -f timo raidz c6d0 c6d1 /tmp/tera

jack@opensolaris:~$ pfexec zfs create /timo/daten
jack@opensolaris:~$ pfexec zfs create /timo/musik

jack@opensolaris:~$ zpool status
 pool: timo
 state: ONLINE
 scrub: none requested
config:

	NAME                  STATE     READ WRITE CKSUM
	timo                  ONLINE       0     0     0
	  raidz1              ONLINE       0     0     0
	    c6d0              ONLINE       0     0     0
	    c6d1              ONLINE       0     0     0
	    /tmp/tera         ONLINE       0     0     0

errors: No known data errors

Nach dem Anlegen des Dateisystems nehme ich diese Datei /tmp/tera wieder aus dem Pool heraus (entweder per zpool offline bzw. in diesem Fall per Neustart).

Umkopieren der Daten unter GNU/Linux

Von einer Ubuntu-Installations-Live-CD aus kann ich nun (nach oben beschriebener Installation von ZFS-FUSE) die Dateien vom XFS-Dateisystem auf das neue ZFS umziehen. Der ZFS-Pool hat solange allerdings den Status „DEGRADED”. Später kann ich dann das fehlende /tmp/tera durch die bisherige Datenfestplatte ersetzen:

ubuntu@ubuntu:~$ sudo zpool status
  pool: timo
 state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
	the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://www.sun.com/msg/ZFS-8000-2Q
 scrub: none requested
config:

	NAME                     STATE     READ WRITE CKSUM
	timo                     DEGRADED     0     0     0
	  raidz1                 DEGRADED     0     0     0
	    sdb1                 ONLINE       0     0     0
	    sdc1                 ONLINE       0     0     0
	    7106139258821418871  UNAVAIL      0     0     0  was /tmp/tera

errors: No known data errors
ubuntu@ubuntu:~$ 


Links

Computer, Linux, Mac OS X, Solaris , , , , , ,

Auf der Suche nach dem richtigen Datei- und Betriebssystem…

6. März 2009

Bisher residieren meine Daten auf Festplatten mit dem XFS-Dateisystem (SGI XFS | XFS.org Wiki). Dies hat sich bei mir mit etlichen hundert Gigabyte Daten (Fotos, Musik, …) im Einsatz unter Linux sehr gut bewährt.

Notfalls klappt auch ein Zugriff von (beliebigen) anderen Systemen aus (getestet mit Windows und Mac OS X 10.5 „Leopard”), indem ich eine virtuelle Linux-Maschine mit Vollzugriff auf diese Platten einrichte und deren Inhalt per Samba über das Netzwerk anbiete. Leistungsmäßig kann das natürlich nur eine Behelfslösung sein (z.B. eben bei meinen seltenen Ausflügen in die Windows-Welt oder aber, um irgendwann auf ein anderes Dateisystem umzustellen).

So langsam denke ich über eine Modernisierung meiner Rechnerausstattung nach. Dazu gehört auch die Frage nach dem passenden Betriebs- und Dateisystem. Vielleicht lohnt sich — obwohl ich mit meinem Ubuntu Linux sehr zufrieden bin — ein Blick über den Tellerrand.

Da ich (außer einer DVB-S-Karte) kaum irgendwelche spezielle Hardware habe und Windows, wenn überhaupt, hauptsächlich in der VirtualBox benutze, hängt die Frage nach dem Betriebssystem für mich sehr eng mit den unterstützten Dateisystemen zusammen:

  • Solaris/OpenSolaris hat natürlich von Haus aus volle Unterstützung für ZFS. Für XFS bleibt nur die o.g. „Behelfslösung”.
  • FreeBSD kann ab Release 7 das XFS lesen und hat experimentelle Unterstützung für ZFS.
  • Mac OS X 10.5 „Leopard” kann ZFS lesen, Schreibunterstützung ist für Mac OS X 10.6 „Snow Leopard” geplant bzw. kann von MacOSForge „nachgerüstet” werden.

Außerdem gibt es eine Handvoll Programme, die unter dem jeweiligen Betriebssystem laufen sollten:

  • OpenOffice.org (Linux, Solaris, Mac OS X)
  • TrueCrypt (Linux, Mac OS X)
  • VirtualBox (Linux, Solaris, Mac OS X)
  • MATLAB (Linux, Mac OS X; Solaris nur auf UltraSPARC)
  • NetBeans (Linux, Mac OS X, Solaris, Java)
  • LaTeX
  • Adobe Reader (Linux, Mac OS X; Solaris nur auf SPARC)
  • Adobe Flash Plugin (Linux, Mac, Solaris)

Bei einigen anderen Programmen, die ich regelmäßig benutze, mache ich mir kaum Sorgen, da diese auf etlichen Plattformen verfügbar sind (The GIMP, Pidgin, Mozilla Firefox, …).

Sieht wohl bisher so aus, als ob der Mac das Rennen macht (und dann Linux-Multi-Boot oder Linux in der VirtualBox?). Na ja, mal sehen…

Links

Linux, Mac OS X , , , , , , , , , ,

Virenscanner für Linux, BSD und Solaris

13. Januar 2009

Auch, wenn man unter Linux, BSD und Solaris vor Viren einigermaßen sicher ist, ist es doch ganz nett, auch auf diesen Systemen einen Virenscanner zur Verfügung zu haben, z.B. um Dateien zu prüfen, die später auf einem anderen System eingesetzt werden sollen.

Mehr…

Computer, Linux, Medien, Security, Software , , , , , , ,

Bilder im JPEG-Format nach Größe und EXIF-Informationen sortieren und umbenennen

28. August 2008

Nach der wegen meiner eigenen Doofheit fälliggewordenen Datenrettungsaktion habe ich nun eine Unmenge unsortierter Fotos im JPEG-Format auf der Platte.

Wenn schon meine Doofheit Schuld an dieser Lage ist, muss ich halt etwas mehr Gehirnschmalz investieren, um dieser einigermaßen Herr zu werden.

Eins ist von vornherein klar: Ohne eine automatische Sortierung komme ich nicht weiter.
Zum Glück hat Linux ja schon alles „an Bord”, was ich dafür brauche.

Hauptsächlich geht es mir ja um meine selbst aufgenommenen Fotos. Daher habe ich mich entschieden, die Bilder zuerst einmal nach der Angabe des Kameramodells in den EXIF-Tags in verschiedene Verzeichnisse zu sortieren und die Dateien jeweils anhand des ebenfalls per EXIF in der Datei enthaltenen Aufnahmedatums umzubenennen.

Wenn keine EXIF-Informationen in der Datei vorhanden ist, wird sie entsprechend ihrer Bildgröße in einen Ordner einsortiert.

Dies erledigt das folgende kleine Bash-Skript (quick&dirty, aber ich stelle es hier dennoch rein, für den Fall, dass es noch jemand anderem behilflich sein kann):
Mehr…

Computer, Linux, Software , , , , ,

Zugriff auf Linux-Dateisysteme (XFS, ext2fs, ext3fs, ReiserFS, JFS …) unter Mac OS X

25. August 2008

Tux

Wenn ich nun schon Mac OS X, Linux und Windows auf einem System habe, würde ich jetzt natürlich auch ganz gern von von Mac OS auf meine bestehenden Daten zugreifen.

Meine Daten sind über zwei SATA-Festplatten mit XFS-Dateisystem verteilt, eine für Musik und eine für sonstige Daten.

Unter Windows habe ich für diesen Zweck gute Erfahrungen mit coLinux und VirtualBox gemacht. Letzteres gibt es auch für Mac OS, aber unterstützt dort leider nicht den Zugriff auf phys. Festplatten (vielleicht kommt dies ja in einer späteren Version — unter Linux und Windows wird es ja unterstützt).

Meine (zugegebenermaßen nicht sonderlich elegante) Lösung für Mac OS setzt also auf das etwas weniger performante QEMU, bzw. dessen Mac-Variante Q.app. Darin habe ich die Servervariante von Ubuntu Linux 8.04 LTS „Hardy Heron” installiert.

QEMU bekommt nun Zugriff auf z.B. /dev/disk2 als zusätzliches Festplattenlaufwerk (mit der QEMU-Option -hdb /dev/disk2 erscheint diese Platte im Linux-Gast als /dev/sdb). Dieses kann nun im Linux-Gast gemountet und per Samba freigegeben werden.

Q.app gestattet die komfortable Einrichtung von Portweiterleitungen über die grafische Oberfläche. Wenn QEMU nicht als root ausgeführt wird, kann es sich allerdings nicht an Port 139 binden. Stattdessen könnte jedoch z.B. Port 1390 auf dem Wirtssystem an Port 139 auf dem Gastsystem weitergegeben werden. Leider unterstützt das von FreeBSD geerbte mount_smbfs(8) unter Mac OS X im Gegensatz zum entsprechenden Tool mount.cifs(8) aus der Samba-Suite unter Linux nicht die Angabe einer Portnummer, sondern verwendet immer Port 139.

Daher erzeuge ich (was jetzt nicht so elegant ist) einen SSH-Tunnel in die virtuelle Maschine, der den Samba-Server auf dem Wirtssystem zur Verfügung stellt (vorausgesetzt, dort werden nicht schon SMB-Freigaben bereitgestellt):

sudo ssh -c blowfish -p 2200 linuxbenutzer@localhost -L 139:localhost:139

Nun lassen sich die Samba-Shares in Mac OS X von der Kommandozeile aus einhängen (mit Angabe der Server-Adresse im Finder hatte ich leider keinen Erfolg):

mkdir /Volumes/Daten /Volumes/Musik
mount -o noowners -t smbfs "//WORKGROUP;smbbenutzer:smbpasswd@localhost/daten" /Volumes/Daten
mount -o noowners -t smbfs "//WORKGROUP;smbbenutzer:smbpasswd@localhost/musik" /Volumes/Musik

Diese Lösung ist also, wie schon beschrieben, aus mehreren Gründen noch sehr unelegant:

  • QEMU ist nicht soo sonderlich schnell
  • die Verschlüsselung aller Dateien mit SSH kostet unnötig Performance — dies ließe sich leicht umgehen, indem QEMU priviligiert ausgeführt wird und sich somit an Port 139 binden darf oder durch Verwendung von Netcat, um den Verkehr z.B. von Port 1390 auf Port 139 umzuleiten.
  • auf dem lokalen Rechner darf bei dieser Lösung nicht selbst schon ein SMB-Server laufen

Als Quick&Dirty-Hack reicht sie mir aber erstmal. Ich komme an meine Dateien von von XFS-Dateisystemen heran und die Performance reicht für Fotos, Musik und Dokumente locker aus.

Hinweis

Da ich oben schreibe, dass QEMU für diese Lösung nicht sonderlich performant ist, möchte ich an dieser Stelle aber noch erwähnen, dass QEMU als CPU-Emulator gegenüber Virtualisierern wie VirtualBox, VMware oder Parallels durchaus Vorteile hat, wie z.B. dass er im unpriviligierten Anwender-Modus läuft und auch andere Architekturen als die des Wirtssystems emulieren kann.

Nachtrag

Inzwischen habe ich eine QEMU-Version für Mac OS X, die sich als priviligierter Benutzer von der Kommandozeile ausführen lässt: Mehr dazu in diesem Artikel.

Computer, Linux, Mac OS X , ,