Revolutioniert die “Semantische Suche” das Netz? Trends und Herausforderungen in der Forschung.

Enterprise Search und LinguistikDer Begriff „semantische Suche“ wird sehr unterschiedlich und teilweise inflationär genutzt. Eigentlich fällt schon jedes Verfahren darunter, das die Benutzeranfrage (Query) in irgendeiner Weise interpretiert und versucht, eine optimale Antwort (keine reine Volltextsuche) darauf zu geben. Verfahren wie die „semantisch-assoziative Suche“ der IntraFind Software AG liefern verwandte Begriffe auf Basis der indexierten Dokumente, die zur Verfeinerung oder Erweiterung einer Suche dienen können. Die Suche nach dem Begriff „Clinton“ liefert z.B. die möglichen Spezialisierungen „Hillary Clinton“, „Bill Clinton“ oder „Chelsea Clinton“, ohne dass diese Personen in einer Ontologie hinterlegt wären, rein auf Basis der vorhandenen Textdokumente. Jedoch wird auch der Begriff „Weißes Haus“ als mögliche Erweiterung der Suche geliefert. Das Verfahren ist vergleichbar zu Clustering-Techniken. Eigentlich wird eine Tag Cloud zur aktuellen Suche geliefert. Vorteil: Eine manuelle Pflege ontologischer Ressourcen ist nicht notwendig, da das Verfahren rein auf statistischer Basis, jedoch unter Berücksichtigung linguistischen Wissens (Wortkategorien, Noun Phrase-Erkennung) arbeitet. Einen ähnlichen Effekt kann man durch Einbeziehung eines manuellen Thesaurus erzielen. Auf dieser Basis kann sogar sprachübergreifend (crosslingual) gesucht werden.

In letzter Zeit prägen Google und Siri den Begriff “semantische Suche”. Benutzeranfragen werden interpretiert und anstelle einer Trefferliste werden wirkliche Antworten generiert, zumindest bei Faktenfragen wie der Frage nach einem chinesischen Restaurant in der Nähe oder nach dem Geburtsdatum der Bundeskanzlerin. Bei nicht eindeutig interpretierbaren Faktenfragen wird ein Artikel der Wikipedia zum Hauptsuchbegriff zurückgeliefert. Faktenfragen lassen sich schon mit relativ einfachen Verfahren (Wer, Wo, Wann, Wie groß, Wie viel, …) erkennen und interpretieren. Sie werden in den meisten Fällen durch Einträge aus Datenbanken (oder Triple Stores wie der dbpedia) beantwortet. Ohne diese strukturierte Information aus Datenbanken würde die „semantische Suche“ á la Google und Siri nicht funktionieren. Besonders beeindruckend sind natürlich solche Ergebnisse, wenn gleichzeitig der aktuelle Ort des Fragestellers mit einbezogen wird oder die „semantische Suche“ mit einer Spracherkennung verbunden ist. D.h. die hinter der semantischen Suche von Google und Siri steckende Technologie ist kein Hexenwerk. Echtes Textverständnis auf Basis von intelligenten Verfahren kommt nicht zum Einsatz.

Da jedoch in der Praxis oft die strukturierten Daten fehlen, versuchen wir bei IntraFind bzgl. „semantischer Suche“ etwas weiterzugehen. Wir erkennen Entitäten wir Personen, Organisationen und Orte in Texten. Schon vor 4 Jahren haben wir eine semantische Suchmaschine gebaut, die Faktenfragen rein auf der Basis von Text beantworten kann. Wie oben geschildert, werden Faktenfragen auf Basis einfacher Muster erkannt. So wird die Frage nach den Gründern von Microsoft („Wer hat Microsoft gegründet?“) übersetzt in eine Query nach Personen in der Nähe des Begriffs “Microsoft” und Synonymen des Wortes „gründen“. Damit lässt sich die Frage auch ohne eine Datenbank mit Faktenwissen und ohne aufwändig manuell gepflegte Ontologien beantworten.

Aus meiner Sicht sind derartige Ansätze notwendig, um beim Thema „semantische Suche“ weiterzukommen, denn für die meisten interessanten Fragen gibt es keine manuell gepflegte Datenbanken, sondern nur textuelle Information. Für einen wirklichen Erfolg der semantischen Suche brauchen wir Verfahren, die Faktenwissen aus Texten extrahieren. Dies ist die Herausforderung für die nächsten Jahre.

Automatisiertes Dokumentenmanagement in deutschen Unternehmen: wohin geht die Reise?

Umfrage Print- und DatenmanagementIm Fokus einer aktuellen IDC-Studie¹ stand das Print- und Dokumentenmanagement von Unternehmen in Deutschland unter folgender Fragestellung: Welche Trends und Vorgehensweisen sind erkennbar und wie sehen die Planungen und Investitionen für die kommenden Jahre aus? Befragt wurden IT- und Business-Entscheider aus 220 Unternehmen mit mindestens 200 Mitarbeitern.

Fachabteilungen benötigen Unterstützung beim Umgang mit Dokumenten und Informationen

Bei 47% der befragten Entscheider aus den Fachabteilungen stand der Wunsch nach dem Schutz geschäftskritischer Informationen an oberster Stelle, dicht gefolgt von der Optimierung und besseren Unterstützung ihrer dokumentenintensiven Geschäftsprozesse (45%). Diese wichtigsten Anforderungen gilt es seitens der IT zu lösen. Für die IT-Verantwortlichen stand neben der IT-Sicherheit (69%) vor allem die Senkung der IT-Kosten (47%) im Fokus. Im Vergleich zur IDC-Vorgängerstudie aus dem Jahr 2012 zeigte sich, dass die Verbesserung dokumentenintensiver Prozesse deutlich stärker in das Bewusstsein der Verantwortlichen gerückt ist – dies gilt sowohl für die IT- als auch für die Fachabteilungen.

Weiterlesen

Big Data im Marketing – Chancen und Möglichkeiten

Big Data im MarketingZahlreiche Untersuchungen zeigen auf, dass Unternehmen, die ihre Zielbestimmungen auf Basis von Fakten, Daten und direkt darauf aufbauenden Analyse-Werkzeugen begründen, sich besser im Markt behaupten können, als Unternehmen, die eher situativ arbeiten oder sich auf früher bewährte Grundsätze verlassen. Relevant für diese Trendumkehr ist auch das Buzzword “Big Data”, das gegenwärtig die Diskussion im Medien- und Marketing-Bereich zu bestimmen scheint. Da immer mehr Daten über die Kunden und Ansprechpartner anfallen und somit immer mehr komplexe Auswertungsalgorithmen möglich werden, stellen sich diejenigen Unternehmen zukunftsfähig auf, die hier Big Data nutzen, um zu neuen und besseren Strategien zu kommen.

Notwendigkeit für neue oder verbesserte technischer Hilfsmittel bei Big Data

Wer die Motivation und das Verhalten seiner Kunden und Interessenten quantifiziert und punktgenau bestimmen kann, der kann besser auf deren Bedürfnisse eingehen und sichert sich so mittels Big Data langfristig den Geschäftserfolg. Doch ohne neue technische Hilfsmittel oder verbesserte Auswertungsalgorithmen ist dies nicht leistbar, insbesondere wenn man das unternehmerische Handeln in Echtzeit durch die Ergebnisse von Big Data verbessern möchte. Die umfangreichen Datenbestände, die aus den Online-Kauf- und Bestellvorgängen resultieren, müssen intelligent ausgewertet werden, damit aus den unverbundenen Daten Sichtweisen auf das tatsächliche Verhalten der Kontaktpersonen abgeleitet werden können.

Weiterlesen

Auf welche technologischen Grundlagen baut Google seine “Semantische Suche” auf?

Semantische Suche“Semantische Suche” ist ein schönes Buzzword — es bietet (so wie “Big Data”) die nötige Unschärfe um als Projektionsfläche für Geek-Träume einer fernen SciFi Zukunft zu dienen. Nun, was versteht Google unter semantischer Suche und worauf basieren dessen Lösungen?

Grundbaustein für Googles semantischer Suche ist der sogenannte Knowledge Graph (KG), ein Wissensnetz von öffentlich zugänglichen semantisch annotierten Daten (im Sinne des semantic web). In diesem Graph werden Entitäten (Personen, Orte, Organisationen, etc.) und deren Beziehungen zueinander hinterlegt. Von Google genannte Quellen für Inhalte sind: der “CIA World Factbook”, Freebase und Wikipedia. Die Befüllung des KG erfolgt somit hauptsächlich manuell (2013 hatte der KG eine Mächtigkeit von knapp 600Mio Entitäten und Fakten).

Weiterlesen

Was bringt die Semantische Suche bei Enterprise Search Projekten?

Semantische Suche

Die Semantik handelt von der Bedeutung, die Semantische Suche ist also eine Suchfunktion die auch die Bedeutung in Texten und anderen Dokumenten berücksichtigen kann. Der Anspruch an eine Semantische Suche ist eine zukunftsorientiere Aufgabe der Enterprise Search, insbesondere weil die Anzahl und der Umfang an Dokumenten zunimmt und daher sehr viel genauer als bisher auf die Anpassung der Bedeutung der Suchanfragen zu den gefundenen Dokumenten geachtet werden muss.

Mehrfachbedeutungen werden bei der Semantischen Suche angemessen berücksichtigt

Semantische Suche bedeutet also, dass der Algorithmus der Suche so intelligent gemacht wird, dass er über die Abfrage formaler Wortübereinstimmungen hinauskommen kann. Hierbei ist es wichtig, dass die unterschiedliche Bedeutung von Suchbegriffen angemessen erkannt werden kann. So kann “Bank” als Begriff aus dem Finanzwesen oder als Begriff aus dem Bereich der Architektur eine durchaus unterschiedliche Verwendung haben. Gute Suchalgorithmen der Enterprise Search erkennen im Kontext von Suchanfragen und von Dokumenten, welche Bedeutung jeweils gemeint ist und können dank der Semantischen Suche mit einem besseren Output antworten.

Weiterlesen

Q_Perior und IntraFind – automatisierte Dokumentenverarbeitung bereits etabliert? Eine Kurzumfrage.

Umfrage Enterprise SearchIn einer Kurzumfrage wenden sich Q_Perior und IntraFind an Unternehmensentscheider, um herausfinden, inwieweit Geschäftsprozesse und im Speziellen die Dokumentenverarbeitung bereits automatisiert sind. Abläufe wie das Eingehen von Briefen oder Fax-Unterlagen, welche unterschiedlichste Abteilungen betreffen, werden häufig noch manuell bearbeitet und zugeordnet. Dieser Vorgang ist zeitaufwendig und neigt zur Fehleranfälligkeit. Darüber hinaus verfügen viele Unternehmen über unpersonalisierte E-Mail-Adressen (info@, support@), die wichtige Informationen beinhalten, aber auch Spamattacken unterliegen.

Die gemeinsame Umfrage soll Aufschluss geben, inwieweit Unternehmen heute bereits Geschäftsprozesse automatisiert haben, wo sich Lücken ergeben und welche Erwartungshaltung Entscheider im Hinblick auf moderne Lösungen haben.

Vielen Dank für Ihr Interesse und Ihre Teilnahme.

Hier geht’s zur Umfrage!

 

Semantische Suche – Vorteile einer Semantischen Suche bei der Enterprise Search

Semantische Suche bei der Enterprise SearchSemantik ist die Wissenschaft von der Bedeutung. Semantische Suche bedeutet deshalb, dass der Suchalgorithmus so intelligent ist, dass er nicht nur auf formale Wortübereinstimmungen die Suche aufbaut, sondern auch die unterschiedliche Bedeutung von Wörtern berücksichtigen kann. Die semantische Suche ist wichtig für eine zukunftsgerecht ausgerichtete Enterprise Search oder Unternehmenssuche, weil Mitarbeiter und Manager mit der semantischen Suche zu besseren Ergebnissen kommen können.

Vom Beispiel zum Prinzip der semantischen Suche

Welche Bedeutung eine semantische Suche für den Sucherfolg hat, kann man an dem einfachen Wort “Golf” besonders gut verdeutlichen. Golf ist nicht nur eine Sportart, sondern auch eine Meeresausbuchtung und sogar eine Marke bei PKWs. Ist der Suchalgorithmus einer Enterprise Search nicht in der Lage, diese unterschiedlichen Bedeutungen gleichgeschriebener Begriffe zu erfassen, dann führt eine Suche mit Begriffen oder Keywords ohne semantische Suche zu vielen Ergebnissen, die nur wenig Relevanz bzgl. der Benutzerwünsche aufweisen. Gute Suchalgorithmen können die Bedeutung eines Suchbegriffs für den Nutzer aus dem Kontext seiner Anfrage und aus dem sonstigen Benutzerverhalten und aus weiteren Relevanz-Berechnungen erschließen. Auch die Enterprise Search muss sich dieser Herausforderung durch die semantische Suche stellen.

Weiterlesen

Die Enterprise Search im Bankenumfeld

Enterprise Search bei BankenDie Banken stehen an einer wichtigen Schnittstelle des Wirtschaftssystems. Hier ist es besonders wichtig, dass auf allen Entscheidungsebenen auch mit Hilfe einer guten Enterprise Search aktuelle und zutreffende Informationen zur Verfügung gestellt werden können. Denn so können anstehende Entscheidungen umfassender, schneller und transparenter für alle Beteiligten getroffen werden.

Anforderungsprofile für die Enterprise Search auch im Bankenumfeld

Die Mitarbeiter und Manager kennen effiziente Suchprozesse aus dem Internet. Gibt man bei einer mit effizienten Algorithmen arbeitenden Suchmaschine wichtige Begriffe ein, dann findet diese Suchmaschine recht schnell passende Ergebnisse und sortiert diese auch hinsichtlich ihrer Wichtigkeit. Für die Suchprozesse im bankeninternen Intranet werden konsequenterweise ähnliche oder noch weitergehende Möglichkeiten erwartet.

Weiterlesen

ElasticSearch – Vorteile bei der Enterprise Search

ElasticSearch: Notwendiger und wichtiger Ergänzungsschritt bei der Enterprise Search

ElasticSearch bei der Enterprise SearchImmer häufiger müssen bei großen Unternehmen und national und übernational aufgestellten Organisationen relevante Datenbestände bei unterschiedlichen Datenbanken und unterschiedlichen Datenbank-Anbietern durchsucht werden, um zu effektiven Ergebnissen zu kommen. Dies war bisher häufig mit einem hohen Zeitaufwand verbunden, weil die zuständigen Sachbearbeiter nacheinander unterschiedliche Systemverbindungen aufbauen mussten und auf jeweils unterschiedlichen Benutzeroberflächen auf sehr differenzierte Art Eingaben zu machen hatten. Der Zeitaufwand für eine effektive Enterprise Search war dadurch schwer zu kalkulieren. Es mussten sehr komplexe Datenanbindungsprozesse bei der Enterprise Search gestaltet werden und der Schulungsaufwand für die Mitarbeiter war sehr hoch, weil die effektive Nutzung der unterschiedlichen Systeme sonst kaum zu tragfähigen Ergebnissen geführt werden konnten.

ElasticSearch: Die Enterprise Search zukunftsfähig machen

Die ElasticSearch löst diese Bremsen bei der Funktionalität der Arbeit; die Enterprise Search wird auf eine neue Anspruchsebene transferiert, weil eine verteilte Suche ermöglicht wird, die alle relevanten Suchprozesse der Enterprise Search parallel und mit einer Benutzeroberfläche abwickeln kann. Mit der ElasticSearch wird somit eine Hochverfügbarkeit der Enterprise Search erreicht, die zugleich für große Flexibilität und Skalierbarkeit der unternehmensinternen Suche sorgen kann. Big Data, des konsequente Finden von neuen Zusammenhängen in sehr großen Datenbeständen, wird damit erstmal umfassend für viele Handlungsträger in Unternehmen und Organisationen möglich gemacht. Big Data ist eine große Herausforderung für die zukunftsfähig weiterentwickelte und erfolgreich agierende Enterprise Search. In den sehr komplexen Datenbeständen großer Organisationen schlummern noch viele unentdeckte Zusammenhänge, die zur Verbesserung der Unternehmensleistungen erkannt und genutzt werden könnten. ElasticSearch ist ein wichtiger Schritt auf dem Weg, Big Data für zukunftsfähig aufgestellte Unternehmen möglich werden zu lassen. Weiterlesen

Welche technischen Herausforderungen gibt es bei Big Data Projekten?

Big Data im Enterprise Search UmfeldEnterprise Search bedeutet unternehmensweite Suche in komplexen Datenbeständen. Unternehmen haben erkannt, dass ihre Datenbestände tendenziell sehr schnell wachsen und insgesamt nicht mehr mit einfachen Algorithmen zu beherrschen sind. Deshalb ist gegenwärtig Big Data das Trendthema. Big Data erfordert neue technische Zugangsverfahren auf große Datenbestände; diese sollen für alle Mitarbeiter und Vorgesetzen umfassend für eine gute unternehmensinterne Suche aufbereitet werden können.

Big Data als Rahmenbedingung und Herausforderung für die Enterprise Search

Vorsichtige Schätzungen gehen davon aus, dass sich die Datenmengen auch in den Unternehmen alle zwei Jahre verdoppeln. Dies liegt daran, dass inzwischen jede Art von Informationsbearbeitung über elektronische Netzwerke geleitet wird, die große Mengen an Verbindungs- und Inhaltsdaten dauerhaft abspeichern. So werden alle Telefonverbindungen mit den relevanten Verbindungsdaten erfasst. Auch grundlegende Quellen der Internet-Recherche werden entweder als Link oder als direkte Ressourcenübernahme in Mails oder in anderen Dokumenten berücksichtigt.

Weiterlesen