dschroeder
12-07-13, 11:32
Hallo liebe Forumsteilnehmer,
wir speichern seit einigen Jahren PDFs, Scans usw. in Blob-Tabellen auf der iSeries. Dabei haben wir die Metadaten der Dokumente (z.B. Suchbegriffe) von den eigentlichen Dokumenten getrennt. Das heißt, wir haben Datenbankdateien, in denen sich die Schlüssel und Suchbegriffe usw. befinden und wir haben separate Tabellen, in denen sich nur ein Blob und ein ID-Feld befindet. Die Dokumente (also die Blobs) werden von PC-Seite und von iSeries-Seite erzeugt. Gelesen werden sie hauptsächlich von PC-Seite. Inzwischen ist der durch die Blobs belegte Speicher höher als der Speicher der gesamten restlichen Datenbanktabellen. Unsere Hochrechnungen zeigen, dass der Speicherbedarf für Blobs in Zukunft noch stark ansteigen wird (z.B. weil PDFs immer häufiger farbig und damit größer werden).
Es ist nun die Idee aufgekommen, die Blobs außerhalb der iSeries zu speichern. Die Metadaten sollen natürlich weiterhin in der Datenbank verbleiben.
Deshalb hier mal ein paar Fragen:
Gibt es spezielle Hardware (muss nicht IBM sein), die für die Speicherung von Blobs besser geeignet ist, als eine iSeries Datenbank? Es geht hier nicht darum, revisionssicher "unlöschbar" zu speichern. Aber das Handling unserer Blob-Tabellen ist schon schwierig geworden. Da die Blob-Datenbanktabellen schnell überlaufen (bei ca. 1,7 TB pro Tabelle ist Schluss) und da solche großen Tabellen generell unhandlich sind (beim Kopieren, Sichern, usw.) haben wir die Blobs schon auf viele kleine Tabellen (Größe einer Tabelle ca. 250 GB) aufgeteilt.
Einige Kollegen aus der PC-Abteilung sind der Meinung, dass es Hardware gäbe, die besser mit dieser Art von Daten umgehen könnte als die iSeries Datenbank.
Vielleicht hat der eine oder andere ja bereits Erfahrungen mit diesem Problem.
Wir würden uns natürlich wünschen, dass der Zugriff auf so ein Speichersystem möglichst transparent mit SQL erfolgen könnte (sowohl vom PC über JDBC als auch über embedded SQL aus RPG), so dass wir unsere Software nicht anpassen müssten.
Ist so eine spezielle Hardware billiger als die iSeries-Speicherung? Die Storewize-Systeme der iSeries gehen zugegebermaßen ganz schön ins Geld. Aber die PC-Diskarrays bei uns sind auch nicht ganz billig.
Vielleicht kann ja jemand etwas zu dem Thema sagen.
Im Voraus vielen Dank.
Dieter
wir speichern seit einigen Jahren PDFs, Scans usw. in Blob-Tabellen auf der iSeries. Dabei haben wir die Metadaten der Dokumente (z.B. Suchbegriffe) von den eigentlichen Dokumenten getrennt. Das heißt, wir haben Datenbankdateien, in denen sich die Schlüssel und Suchbegriffe usw. befinden und wir haben separate Tabellen, in denen sich nur ein Blob und ein ID-Feld befindet. Die Dokumente (also die Blobs) werden von PC-Seite und von iSeries-Seite erzeugt. Gelesen werden sie hauptsächlich von PC-Seite. Inzwischen ist der durch die Blobs belegte Speicher höher als der Speicher der gesamten restlichen Datenbanktabellen. Unsere Hochrechnungen zeigen, dass der Speicherbedarf für Blobs in Zukunft noch stark ansteigen wird (z.B. weil PDFs immer häufiger farbig und damit größer werden).
Es ist nun die Idee aufgekommen, die Blobs außerhalb der iSeries zu speichern. Die Metadaten sollen natürlich weiterhin in der Datenbank verbleiben.
Deshalb hier mal ein paar Fragen:
Gibt es spezielle Hardware (muss nicht IBM sein), die für die Speicherung von Blobs besser geeignet ist, als eine iSeries Datenbank? Es geht hier nicht darum, revisionssicher "unlöschbar" zu speichern. Aber das Handling unserer Blob-Tabellen ist schon schwierig geworden. Da die Blob-Datenbanktabellen schnell überlaufen (bei ca. 1,7 TB pro Tabelle ist Schluss) und da solche großen Tabellen generell unhandlich sind (beim Kopieren, Sichern, usw.) haben wir die Blobs schon auf viele kleine Tabellen (Größe einer Tabelle ca. 250 GB) aufgeteilt.
Einige Kollegen aus der PC-Abteilung sind der Meinung, dass es Hardware gäbe, die besser mit dieser Art von Daten umgehen könnte als die iSeries Datenbank.
Vielleicht hat der eine oder andere ja bereits Erfahrungen mit diesem Problem.
Wir würden uns natürlich wünschen, dass der Zugriff auf so ein Speichersystem möglichst transparent mit SQL erfolgen könnte (sowohl vom PC über JDBC als auch über embedded SQL aus RPG), so dass wir unsere Software nicht anpassen müssten.
Ist so eine spezielle Hardware billiger als die iSeries-Speicherung? Die Storewize-Systeme der iSeries gehen zugegebermaßen ganz schön ins Geld. Aber die PC-Diskarrays bei uns sind auch nicht ganz billig.
Vielleicht kann ja jemand etwas zu dem Thema sagen.
Im Voraus vielen Dank.
Dieter