mu-index – Online in der Cloud

PROGRAMM:

NAME/FUNKTION

mu_index - in Maildirs gespeicherte E-Mail-Nachrichten indizieren

ZUSAMMENFASSUNG

mu Index [Optionen]

BESCHREIBUNG

mu Index lernen muss die mu Befehl zum Scannen des Inhalts von Maildir-Verzeichnissen und zum Speichern
die Ergebnisse in einer Xapian-Datenbank. Die Daten können dann über abgefragt werden mu-finden(1)

Index versteht Maildirs im Sinne von Daniel Bernstein für qmail(7). Außerdem ist es
versteht rekursive Maildirs (Maildirs innerhalb von Maildirs), Maildir++. Es kann auch handeln
mit VFAT-basierten Maildirs, die '!' als Trennzeichen anstelle von ':' wie von . verwendet
Tinymail/Bescheiden und einige andere E-Mail-Programme.

E-Mail-Nachrichten, die nicht in einem Maildir-Blatt-Verzeichnis gespeichert sind (Arsch
und neu) werden ignoriert, ebenso die Cache-Verzeichnisse für wenig und Gnus.

Symlinks werden nicht gefolgt.

Wenn es eine Datei namens . gibt .noindex in einem Verzeichnis, den Inhalt dieses Verzeichnisses und alle
seiner Unterverzeichnisse werden ignoriert. Dies kann nützlich sein, um bestimmte Verzeichnisse auszuschließen
aus dem Indexierungsprozess, zum Beispiel Verzeichnisse mit Spam-Nachrichten.

Wenn es eine Datei namens . gibt .kein Update in einem Verzeichnis, den Inhalt dieses Verzeichnisses und alle
seiner Unterverzeichnisse werden ignoriert, es sei denn, wir führen einen vollständigen Neuaufbau durch (mit --umbauen). Dies
kann nützlich sein, um Dinge zu beschleunigen, die Sie einige Maildirs haben, die sich nie ändern. Beachten Sie, dass Sie
nach diesen Nachrichten suchen kann, betrifft dies nur die Aktualisierung der Datenbank.

Der erste Lauf von mu Index kann einige Minuten dauern, wenn Sie viel Post haben (zehn
Tausende von Nachrichten). Glücklicherweise muss ein solcher vollständiger Scan nur einmal durchgeführt werden; nach
dass es ausreicht, die Änderungen zu indizieren, was viel schneller geht. Siehe den 'Hinweis zu
Leistung“ unten für weitere Informationen.

Die optionale 'Phase zwei' des Indexierungsprozesses ist das Entfernen von Nachrichten aus dem
Datenbank, für die es im Maildir keine entsprechende Datei mehr gibt. Wenn Sie nicht
Willst du das, kannst du verwenden -n, --nocleanup.

Wann mu Index fängt eines der Signale ein SIGINT, SEUFZEND or ZIELLAUFZEIT (z. B. wenn Sie drücken
Strg-C während des Indizierungsprozesses) versucht es ordnungsgemäß herunterzufahren; es versucht zu retten und
Daten übertragen, Datenbank schließen usw. Wenn sie ein anderes Signal empfängt (z. B. wenn
noch einmal Strg-C drücken), mu Index wird sofort beendet.

OPTIONAL

Beachten Sie, dass einige der allgemeinen Optionen in der Beschreibung beschrieben sind mu(1) man-page und nicht hier, da
sie gelten für mehrere mu-Befehle.

-m, --maildir=
beginnt mit der Suche bei . Standardmäßig, mu verwendet was auch immer MAILDIR Umwelt
Variable ist gesetzt auf; wenn es nicht eingestellt ist, versucht es ~/Maildir. Siehe Hinweis zum Mischen
sub-maildirs unten.

--meine Adresse=

gibt an, dass eine E-Mail-Adresse 'my-address' ist (--meine Adresse kann verwendet werden
mehrmals). Dies wird verwendet von mu finden -- jede E-Mail-Adresse, die im
Adressfelder einer Nachricht, die auch in einer seiner adressen
Felder gilt als persönliche E-Mail-Addresse. Damit können Sie zum Beispiel
Aussortieren (mu finden --persönlich) Adressen, die lediglich in der Mailingliste gesehen wurden
Nachrichten.

--nocleanup
deaktiviert die Datenbankbereinigung, die mu tut standardmäßig nach der Indizierung.

--umbauen
Löschen Sie vor der Indizierung alle Nachrichten aus der Datenbank. --umbauen garantiert, dass
Nachdem die Indizierung abgeschlossen ist, befinden sich keine 'alten' Nachrichten in der Datenbank
mehr, was nicht stimmt mit - neu indizieren wenn nur ein Teil der Nachrichten indiziert wird
(unter Verwendung von --maildir). Aus diesem Grund ist es notwendig zu laufen mu Index --umbauen wann
es gibt ein Upgrade im Datenbankformat. mu Index wird eine Warnung ausgeben
Dies.

--automatische Aktualisierung
automatisch verwenden -y, --leer wann mu stellt fest, dass die Datenbankversion nicht aktuell ist.
miteinander ausgehen. Diese Option ist für die Verwendung in Cron-Skripten und dergleichen vorgesehen, daher wird sie nicht benötigt
jede Benutzerinteraktion, auch wenn mu eine neue Datenbankversion einführt.

--xbatchsize=<Charge Größe>
Legen Sie die maximale Anzahl von Nachrichten fest, die in einer einzelnen Xapian-Transaktion verarbeitet werden sollen. In
Üben Sie, diese Option ist nur nützlich, wenn Sie das finden mu hat keinen Speicher mehr
während der Indizierung; in diesem Fall können Sie die Chargengröße auf (zum Beispiel) 1000 setzen,
was den Speicherverbrauch reduziert, aber auch die Indizierung erheblich reduziert
Leistung.

--max-msg-size=<max msg Größe>
Legen Sie die maximale Größe (in Bytes) für Nachrichten fest. Das Standardmaximum (derzeit bei
50 MB) sollten in den meisten Fällen ausreichen, aber wenn Sie auf Warnungen von mu Über uns
Wenn Sie Nachrichten ignorieren, weil sie zu groß sind, möchten Sie dies möglicherweise erhöhen. Notiz
dass der Grund für die maximale Größe darin besteht, dass große Nachrichten großen Speicher benötigen
Zuweisungen, die zu Problemen führen können.

Anmerkungen: Es wird nicht empfohlen, Maildirs und Sub-Maildirs innerhalb der Hierarchie zu mischen
in derselben Datenbank; zum Beispiel ist es besser, nicht beide zu indizieren mit
--maildir=~/MyMaildir und --maildir=~/MyMaildir/foo, da dies zu unerwarteten
Ergebnisse bei der Suche mit dem Suchparameter 'maildir:' (siehe unten).

A beachten on Leistung (I)
Als nicht-wissenschaftlicher Benchmark ist ein einfacher Test auf dem Rechner des Autors (ein Thinkpad X61s
Laptop mit Linux 2.6.35 und einem ext3-Dateisystem) ohne vorhandene Datenbank und a
maildir mit 27273 Nachrichten:

$ sudo sh -c 'sync && echo 3 > /proc/sys/vm/drop_caches'
$ time mu index --leise
66,65s Benutzer 6,05s System 27% CPU 4:24,20 gesamt
(ca. 103 Nachrichten pro Sekunde)

Ein zweiter Durchlauf, der der typischere Anwendungsfall ist, wenn bereits eine Datenbank vorhanden ist, geht
viel schneller:

$ sudo sh -c 'sync && echo 3 > /proc/sys/vm/drop_caches'
$ time mu index --leise
0,48s Benutzer 0,76s System 10% CPU 11,796 gesamt
(mehr als 56818 Nachrichten pro Sekunde)

Beachten Sie, dass jeder Test zuerst die Caches leert; ein häufigerer Anwendungsfall könnte die Ausführung sein mu
Index wenn neue Post eingetroffen ist; der Cache kann in diesem Fall ziemlich 'warm' bleiben:

$ time mu index --leise
0,33s Benutzer 0,40s System 80% CPU 0,905 gesamt
das sind mehr als 30000 Nachrichten pro Sekunde.

A beachten on Leistung (Ii)
Per Juni 2012 haben wir den gleichen nicht-wissenschaftlichen Benchmark durchgeführt, diesmal mit einem Intel)
i5-2500 CPU @ 3.30GHz, ein ext4-Dateisystem und ein Maildir mit 22589 Nachrichten.

$ sudo sh -c 'sync && echo 3 > /proc/sys/vm/drop_caches'
$ time mu index --leise
27,79s Benutzer 2,17s System 48% CPU 1:01,47 gesamt
(ca. 813 Nachrichten pro Sekunde)

Ein zweiter Durchlauf, der der typischere Anwendungsfall ist, wenn bereits eine Datenbank vorhanden ist, geht
viel schneller:

$ sudo sh -c 'sync && echo 3 > /proc/sys/vm/drop_caches'
$ time mu index --leise
0,13s Benutzer 0,30s System 19% CPU 2,162 gesamt
(mehr als 173000 Nachrichten pro Sekunde)

Im Allgemeinen mu wurde mit jeder Veröffentlichung schneller, auch mit relativ teuren
neue Funktionen wie die Textnormalisierung (für die Groß-/Kleinschreibung/Akzent-unabhängige Übereinstimmung).
Die Profile werden jetzt von Operationen in der Xapian-Datenbank dominiert.

Verwenden Sie mu-index online mit den onworks.net-Diensten