SQL: Performance LIKE

[martrip]

Hallo liebe News Solution Community!

Erstmal danke an das tolle Forum, dass uns schon oft weitergeholfen hat :)

Jetzt ist es mal soweit, dass die Suchfunktion nicht die gewünschten Ergebnisse gebracht hat :D

Folgendes Problem (DB2):
Ein File mit mehreren tausend Rows beinhaltet eine Column mit 32000 Zeichen (A).

Die Anforderung ist eine Volltext-Suche in dieser Spalte.

Aufgrund der Datensätze ist LIKE sehr langsam.

Bsp.:
select TKNNR, TKNDATB, TKNTIME, TKNUSER, TKNTXT
from test.file1
where LOWER(TKNTXT) like LOWER('%Wartung%')
order by TKNTXT;

Eine Optimierung durch Indizierung (zb. 'Wartung%') ist aus unserer Sicht aber schwer möglich, denn der Such-Wert kann überall in dem Text vorkommen.

Gibt es hier evtl. eine Möglichkeit die Performance zu steigern?
Anm.: Dieses kostenpflichtige Produkt haben wir gefunden, allerdings streben wir eher eine kostenlose alternative an.
DB2 Text Search, Part 1: Full text search (http://www.ibm.com/developerworks/data/tutorials/dm-0810shettar/index.html)

Vielen Dank für die Hilfe,

Lg martrip

[andreaspr@aon.at]

Wenn ihr 6.1 oder höher habt kannst du einen INDEX mit WHERE-Bedingung verwenden

create index lib.index on tab (sp1)
where sp2 like '%was auch immer%'
lg Andreas

[martrip]

Perfekt. Genau das haben wir gesucht.
Zwar haben wir den Index ohne Bedingung erstellt, da wir das sonst immer dynamisch machen müssten in der Anwendung aber jetzt ist das LIKE sehr flott!

Vielen Dank!

lg Marco

[Pikachu]

Zwar haben wir den Index ohne Bedingung erstellt, [...] aber jetzt ist das LIKE sehr flott!
Wieso ist das LIKE jetzt sehr flott? :confused:

[B.Hauser]

Wieso ist das LIKE jetzt sehr flott? :confused:

Das würde mich jetzt auch interessieren?
Wird denn der Index überhaupt verwendet?

Birgitta

[martrip]

Steht nicht im Index File der Verweis auf die physische Datei? Ich bin jetzt eigentlich davon ausgegangen, dass, sobald man so ein Index File anlegt, dieses hergenommen wird, wenn man ein Select macht über deren Basis Datei.

Ich denke, ihr merkt aber, dass ich auf diesem Gebiet nicht besonders Sattelfest bin, um jegliche Erklärungen bin ich also dankbar :)

[martrip]

Was aber schon stimmt, ist der deutliche Gewinn an Performance. Ein Select mit Like hat vorher fast 30 Sekunden gedauert und jetzt dauert es 3.

[andreaspr@aon.at]

Der neue Index beinhaltet nur jene Sätze wo der entsprechende Wert in der Spalte vorhanden ist.
Alle anderen Sätze fallen weg.

Dadurch hat der Index nur eine geringere Anzahl von Sätzen.

Durch die WHERE-Bedingung "SP like '%...%'" im SELECT wird automatisch der neue Index benützt und der Teil "SP like '%...%'" fällt einfach weg.

Kurz gesagt, ersparrt sich die DB alle Sätze mit dem Schlüsselwort LIKE zu durchsuchen da im Index schon alle Sätze beinhaltet.

lg Andreas

[Pikachu]

Der Index wurde anscheinend aber ohne die Bedingung erstellt.

[martrip]

Danke für die Erklärung Andreas.

Ich poste mal genau, was ich bis jetzt gemacht habe.

Zuerst habe ich den Index wie folgt erstellt

create index stamdattst.idx_termknp on stamdattst.termknp(TKNTXT)
where TKNTXT like '%wartung%'

So sieht dann das Select Statement aus

select TKNNR, TKNDATB, TKNTIME, TKNUSER, TKNTXT
from stamdattst.TERMKNP
where TKNTXT like '%wartung%'
order by TKNTXT;

Alles zusammen dauert das ca. 10 Sekunden.

Die Suche wird dann über eine Anwendung gesteuert und kann beliebig oft mit unterschiedlichen Such-Text aufgerufen werden.

Das Create des Index bringt allerdings dann einen Fehler, weil IDX File schon vorhanden ist.

Dann war der nächste Ansatz, einfach einen Index über die ganze Datei laufen zu lassen ohne Bedingung. Damit man dies nur einmal machen muss.

Was, aufgrund deiner Erklärung, wenig Sinn macht :rolleyes:

Gibt es eine Möglichkeit, das dieses IDX File immer überschrieben wird?

Lg Marco