tsunami
Nov 12, 2019
view2004
view27
0
Goto Top

Suche Suchprogramm

GermanQuestionWindows ToolsMicrosoft
Hallo,
ich brauche einen Tipp für ein profesionelles Suchprogramm.
Es geht um rund 3 TB Dokiumente auf ner externen USB 3 Storage.
Es sollen Inhalte und Namen gesucht werden können und möglichst auch Emails (Thunderbird/Outlook).
Welche hatte ich bislang probiert:
  • Indexyourfiles - überfordert stürzt ab, Inhaltssuche dauert ewig (10 Minuten null Ergebnisse trotz 3 Wochen indexieren; Index kommt nie zum Ende)
  • Archivarius - überfordert stürzt ab (Gigantischer Index von 70 GB; nach 3 Tagen plötzlich defekt)
  • Hubbelbee - stürzt ohne Fehlermeldung ab, lt. SUpport zuviele Daten, die Oberfläche ist topp. Angebot eines NAS mit ENterprise Edition war dann doch etwas zu viel. 1200 €, keine Einstellmöglichkeiten (Indexort)
  • Google Desktop - keine Ergebnisse

Muss keine Freeware sein. Möglichst Deutsch.

mfG
tsunami
comment-contentCommentShareShare
Share on Facebook Share on Twitter Share on Reddit Share on Linkedin

Content-Key: 514162

Url: https://administrator.de/contentid/514162

Printed on: May 9, 2024 at 07:05 o'clock

27 Comments
Latest comment
Goto Top
Mitglied: 141815
141815 Nov 12, 2019 updated at 08:48:27 (UTC)
Goto Top
DocFetcher
Member: ChriBo
ChriBo Nov 12, 2019 at 08:49:22 (UTC)
Goto Top
Hi
probier mal Agent Ransack

CH
Member: Kraemer
Kraemer Nov 12, 2019 at 08:51:43 (UTC)
Goto Top
Moin,

dazu noch eine Frage:
Zitat von @tsunami:
  • Archivarius - überfordert stürzt ab (Gigantischer Index von 70 GB; nach 3 Tagen plötzlich defekt)
das sind gerade einmal 2% der Daten. Enorm wenig in meinen Augen, wenn man bedenkt, was das Tool alles indiziert.
Wie sind also in diesem Punkt deine Anforderungen?

Gruß
Member: tsunami
tsunami Nov 12, 2019 at 11:03:25 (UTC)
Goto Top
Agent Ransack ist doch schon mal ein guter Ansatz!
docFetcher ist sehr gewöhnungsbedürftig.
Teste beides gerade
Vielen Dank estmal!
Member: tsunami
tsunami Nov 12, 2019 at 11:22:22 (UTC)
Goto Top
@Kraemer: 70 GB als Datenbank finde ich sehr viel.
Normalerweise sind da doch nur Texte drin.
Dürfte also max 1 GB sein.
1 MB sind doch 1024 x 1024 Zeichen also zB einmal die Bibel
Was bedeutet Anforderungen?
Ich möchte zB Eingeben können, Suche "Donau".
Dateityp: Dokumente -> Durchsucht alle Dokumente nach Donau oder optional mit dem Wort Donau im Inhalt.
=> Donaxyz.odt
Donau_peep.doc
PengDonau.pdf
...
und optional:
blah blah blah Donau blah blah blah => Hugo.doc
blah blah blah Donau blah blah blah => Muas.odt
blah blah blah Donau blah blah blah => Himmel.pdf
...
Mitglied: 141815
141815 Nov 12, 2019 updated at 13:09:54 (UTC)
Goto Top
Dürfte also max 1 GB sein.
1 MB sind doch 1024 x 1024 Zeichen also zB einmal die Bibel
Milchmädchen Rechnung, schon mal was von Unicode/UTF8 usw. gehört? Und Datenbanken haben immer entsp. Overhead. Durch Zusammenfassung u. Komprimierung gibt es aber sicherlich effizientere Algorithmen.
Member: canlot
canlot Nov 12, 2019 at 12:08:17 (UTC)
Goto Top
@calender sollte auch meiner bescheidener Meinung nach kleiner sein, wenn da mal ein gescheiter Algorithmus implementiert worden ist, z.B. B-Tree.
Member: Kraemer
Kraemer Nov 12, 2019 at 13:19:40 (UTC)
Goto Top
Zitat von @tsunami:
Was bedeutet Anforderungen?
na genau in dem Kontext. Wie groß darf die Datenbank werden?
Die Frage hast de ja nun beantwortet

Dürfte also max 1 GB sein.
Member: Dirmhirn
Dirmhirn Nov 12, 2019 at 14:34:29 (UTC)
Goto Top
Hi,

kann es an der USB-Anbindung liegen?

Irgendeine Chance das auf eine Interne/(kleinen) Server zu kopieren?

sg Dirm
Member: tsunami
tsunami Nov 12, 2019 at 14:57:46 (UTC)
Goto Top
@Kraemer Max 1 GB meinte isch so nicht. Nur 70 GB finde ich zu groß. Wie gesagt, es sind doch nur texte.
Als Beispiel die Bibel. Da brauche ich doch in der Datenbank keine Schriftart, Farbe, Hintergrund usw., sondern reinen Text. Wenn ich dann nach Moses suche, müsste er mir das Dokument Bibel.pdf rauswerfen, optimalerweise mit den Stellen, wo Moses steht markiert. Ob in dem Original Dokument dann tot, fett oder unterstrichen ist, ist doch für den Index egal, oder?
@Dirmhirn der Server ist ja Quasi da. Ein USB Raid. Ich habe da relativ viel Kohle für gezahlt und wollte nun eigendlich nicht nochmal nen 1000ender investieren. (3 TB!)

@all Ich hatte früher mal so eine Software, ich meine von einem Schweizer. Da konnte man sogar einzelne Foren einbinden...
mfG
tsunami
Member: tsunami
tsunami Nov 13, 2019 at 07:22:17 (UTC)
Goto Top
Guten Morgen zusammen.
Docfetcher ist nun schon mal raus. Absturz mit "Zu wenig Arbeitsspeicher" bei I7 und 16 GB...
Member: tsunami
tsunami Nov 13, 2019 at 07:53:55 (UTC)
Goto Top
Und Agent Ransak überzeugt nicht. Sucht nach einem Wort und ist nach 15 Minuten bei 15% der Dateien durchsucht.
Der Index lief nun 24 h.
Mitglied: 141815
141815 Nov 13, 2019 updated at 08:27:41 (UTC)
Goto Top
Zitat von @tsunami:

Guten Morgen zusammen.
Docfetcher ist nun schon mal raus. Absturz mit "Zu wenig Arbeitsspeicher" bei I7 und 16 GB...

Hm dann hast du das entweder nur als 32bit Prozess gestartet oder einen Fehler gemacht. Hir läuft DocFetcher seit Jahren mit einem Datenbestand über 50TB wie Schmidts Katze auf einem System mit 8GB RAM klaglos.
Member: tsunami
tsunami Nov 13, 2019 at 08:29:51 (UTC)
Goto Top
Hm, was kann man da falsch machen? Index anlegen und laufen lassen...
Nach 15 h dann der Fehler
Member: tsunami
tsunami Nov 13, 2019 at 08:30:46 (UTC)
Goto Top
Ok, die Portable Version...
heart1
Member: cardisch
cardisch Nov 13, 2019 at 14:33:26 (UTC)
Goto Top
Ich benutze als Google Desktop Ersatz Copernic Desktop Search.
Kann man ordentlich testen, den Indexort ändern und kann auch in Mails "stöbern".. wie es sich aber bei 3TB Daten verhält kann ich dir auch nicht sagen
Member: tsunami
tsunami Nov 13, 2019 at 15:23:22 (UTC)
Goto Top
Ups, copernic hatte ich auch schon. Absturz, keine Ergebnisse.
Mitglied: 141815
141815 Nov 13, 2019 updated at 15:36:19 (UTC)
Goto Top
Zitat von @tsunami:
Absturz, keine Ergebnisse.
Wow bei dir scheint alles abzustürzen was Bit's und Bytes hat face-big-smile. Vielleicht hilft Anleinen face-wink.
Member: Kraemer
Kraemer Nov 13, 2019 at 15:34:47 (UTC)
Goto Top
Zitat von @141815:
Wow bei dir scheint alles abzustürzen was Bit's und Bytes hat face-big-smile. Vielleicht hilft anleinen face-wink.
dachte ich auch gerade. Vielleicht mal Dateisystem / Platte reparieren...
Member: tsunami
tsunami Nov 13, 2019 at 16:15:48 (UTC)
Goto Top
@141815
Wie kann ich das expliziet als 64bit starten?
Er installiert sich in Programme (x86)
In der Doku steht er untertützt beides. Aber wie sage ich ihm nimm expliziet die 64er?
Gerade wieder: Zu wenig Arbeitsspeicher...
Member: tsunami
tsunami Nov 13, 2019 at 16:18:33 (UTC)
Goto Top
Die Platte ist 3 Monate alt.
Ich denke, dass es einfach die Menge ist, die die normalen Programme überfordern.
Deshalb fragte ich nach professionellem Programm.
Hab nun woanders getestet. NAS mit 1 TB an Daten. Trotzdem Zu wenig Arbeitsspeicher...
Mitglied: 141815
141815 Nov 13, 2019 updated at 16:21:27 (UTC)
Goto Top
64Bit Java JRE nutzen. Oder gleich als Snap https://snapcraft.io/docfetcher
Member: tsunami
tsunami Nov 13, 2019 at 17:06:01 (UTC)
Goto Top
Das Java ist 64 bit.
Der Link st für Linux.
Member: tsunami
tsunami Nov 13, 2019 at 17:18:59 (UTC)
Goto Top
Ok, habe es gefunden, im Ordner misc gibt es 64 bit Versionen und Speicherlimits also 2096 stadt 256 MB.
Und wieder warten...
Member: tsunami
tsunami Nov 15, 2019 at 10:09:11 (UTC)
Goto Top
Wieder ein Satz mit x.
Habe nun via batch den Speicher auf 8 GB (!!!) hochgesetzt. Nach 10h Absturz...
mfG
tsunami
Mitglied: 141815
141815 Nov 15, 2019 updated at 10:52:52 (UTC)
Goto Top
Dann haben deine Daten, Rechner allgemein oder Dateisystem irgendein Problem, die 50TB die ich hier habe waren innerhalb von 3 Stunden indiziert (8 Core CPU, Datenträger:SSD-RAID 10 angebunden via 10GBit/s iSCSI), nüscht Absturz.
Member: Kraemer
Kraemer Nov 15, 2019 at 14:37:23 (UTC)
Goto Top
Zitat von @141815:

Dann haben deine Daten, Rechner allgemein oder Dateisystem irgendein Problem,
oder eine Rekursion im Dateisystem
GermanQuestionWindows ToolsMicrosoft
Hotly discussed
LinuxeroWireguard with systemd and nftablesLinuxero - 9 Comments