API-Gateway für Postgres für CRUD und Vektorsuche

Künstliche Intelligenz und maschinelle Lernmodelle verändern die Art und Weise, wie wir mit Informationen umgehen. Diese Modelle können auf große Datensätze zugreifen und große Datenmengen effektiv verarbeiten und nutzen, was branchenübergreifend neue Möglichkeiten schafft.

Da wir aus erster Hand erfahren haben, wie viele Türen sich durch KI- und ML-Funktionen öffnen, beschloss das Nearup-Entwicklungsteam, mit einer eigenen Lösung einen Beitrag zu leisten. Während unsere Idee noch in Arbeit ist, wollten wir Ihnen einen kurzen Einblick in Nodb geben: ein API-Gateway, das moderne KI-Techniken nutzt, um Informationen mithilfe natürlicher Sprache zu extrahieren und die Komplexität von CRUD-Operationen, Paginierung und Sortierung zu beseitigen.

Die Idee zu Nodb entstand aus dem Wunsch, unseren Kollegen eine Lösung für die Vektorsuche zu bieten, mit der sie weniger Zeit mit dem Durchsuchen von Dokumenten verbringen müssen, um zu verstehen, wie eine bestimmte Funktion funktioniert. Aus Sicht des Endbenutzers vektorisiert Nodb seine Fragen und gleicht sie mit dem nächstgelegenen Nachbarn ab, um sofortiges, detailliertes und relevantes Feedback zu geben.

Das Nearup-Team hat im Januar 2024 mit der Entwicklung begonnen. Unsere nächsten Schritte umfassen die Integration mit einigen der größten Messaging- und Kollaborationstools, darunter WhatsApp, Telegram und Slack. Darüber hinaus planen wir, die Möglichkeiten der Dokumentenabfrage durch natives KI-Parsing und Anreicherungsaufforderungen zu verbessern.

Wir entwickeln einen einheitlichen Zugang zu mehreren verschiedenen Datenbanken wie MongoDB, Postgres, Redis, MySQL und anderen. Nodb erstellt Einbettungsmodelle von allem, was es in seiner Datenbank speichert, und diese Informationen können später über natürliche Sprachverarbeitung (NLP) abgerufen werden.

Unsere API vereinfacht den Datenbankzugriff und die Installationsprozesse. Durch die Verwendung eines einheitlichen API-Gateways ist es nicht erforderlich, für jede Datenbank einen eigenen Code zu schreiben oder sie lokal im Projekt zu installieren. Stattdessen kann auf sie nahtlos über HTTP zugegriffen werden.

Beachten Sie, dass die von uns erstellte API nur JSON-Daten verarbeitet. Das bedeutet, dass wir OCR-Techniken nutzen können, um Dokumente wie PDFs in JSON umzuwandeln und sie in unserer Datenbank zu speichern, genau wie jeden anderen Datenbankeintrag.

Was ist also unser Endziel? Einfach ausgedrückt: Wir wollen es den Nutzern ermöglichen, „mit der Datenbank zu sprechen“. Mithilfe der Vektorsuche können wir semantische Suchvorgänge durchführen und Retrieval Augmented Generation (RAG) nutzen, wobei der Chatverlauf als kontextbezogene Information einbezogen wird, um sinnvolle Interaktionen mit unseren Daten zu ermöglichen.

Stellen Sie sich zum Beispiel einen Projektmanager vor, der Arbeit auf der Grundlage der Fähigkeiten seines Teams zuweisen möchte. Der PM könnte fragen: „Weiß Anna, wie man in React arbeitet?“ Auf der Grundlage der verarbeiteten und in der Datenbank gespeicherten Informationen könnte er eine Rückmeldung erhalten wie: „Nein, sie hat keine React-Kenntnisse in ihrem Lebenslauf.“

Aber es ist viel komplexer als das. Das Nearup-Team hat die API entwickelt, um verschiedene Anwendungsfälle für die KI-Entwicklung zu erleichtern, vor allem:

• ‍Intelligente Dokumentation

Nodb wurde entwickelt, um verschiedene Arten von Dokumenten zu verarbeiten, darunter Ausweise, Quittungen, PDF-Dateien, Bilder und vieles mehr, die Benutzer zur Verarbeitung durch OCR-Technologie (Optical Character Recognition) einreichen.

Dies wird insbesondere für Personalverantwortliche nützlich sein, die sich auf Nodb verlassen können, um „Vor- und Nachname, Fähigkeiten und die letzten beiden Arbeitgeber“ eines Bewerbers abzufragen. Letztendlich sehen wir, dass unser Produkt die Zeit reduziert, die für die Überprüfung von Bewerberprofilen und das Durchsuchen großer Mengen von Informationen benötigt wird, bevor die Bewerber gefunden werden, die den Kriterien am besten entsprechen.

Wir sind auch zuversichtlich, dass Nodb im E-Commerce erfolgreich eingesetzt werden kann, wo herkömmliche Suchmethoden nur schwer den Kontext und die Historie erfassen können, die die Präferenzen der Nutzer beeinflussen. Die Vektorsuchfunktionen unserer Lösung werden die Suchanfragen der Benutzer mit ihren spezifischen Informationen abgleichen, wie z. B. Vorlieben, Interessen, Hobbys und alle anderen Informationen, die in eine detaillierte Datendarstellung eingebaut werden können. Dies ermöglicht personalisierte Empfehlungen auf der Grundlage der Ähnlichkeit mit dem Profil des Nutzers.

• ‍Scraping von Webseiten und Auffinden von Inhalten

Unsere Implementierung der Vektorsuche wird dazu beitragen, die Suche nach Inhalten zu verbessern. Im Gegensatz zu herkömmlichen, auf Schlüsselwörter beschränkten Suchmethoden stellt die Vektorsuche Produktmerkmale als Vektoren in einem mehrdimensionalen Raum dar. Wenn Benutzer nach bestimmten Attributen suchen, werden die Benutzeranfragen mit den Vektoren verglichen, die alle Produkte im Datensatz repräsentieren. Auf der Grundlage der Ähnlichkeit identifiziert dieser Vergleich schnell das Produkt und gleicht es eng mit den Präferenzen des Benutzers ab.

Nodb ermöglicht es Ihnen, ein intuitiveres und personalisiertes Benutzererlebnis zu bieten, das die Effizienz und Zufriedenheit bei der Suche nach relevanten Optionen erhöht. So können Nutzer beispielsweise die URL einer Seite, über die sie mehr erfahren möchten, an Nodb senden, eine beliebige Frage zu dieser Seite stellen und Informationen wie den Titel-Tag, die Meta-Beschreibung oder eine vollständige Liste der auf der Seite vorgestellten Produkte (zusammen mit den wichtigsten Informationen wie Produktname, Preis und Spezifikationen) abrufen.

• Verarbeitung natürlicher Sprache (NLP)

Bei der Entwicklung von Nodb haben wir auch daran gedacht, dass die Vektorsuche dazu beitragen kann, die Interaktion mit Technologien wie Chatbots, virtuellen Assistenten und Sprachübersetzern zu vertiefen und sie konversationeller und intuitiver zu gestalten.

Wenn also ein Benutzer eine Vorlage für ein Memo benötigt, wird Nodb (mit Hilfe der Vektorsuche) das Memo selbst erstellen, wobei es sich an den Vorgaben des Benutzers orientiert. Und wie? Durch die Verwendung von NLP und Vektoren der nächsten Nachbarn aus ähnlichen Dokumenten in KI-LLMs hilft die Vektorsuche der KI, Anfragen zu verstehen und mit relevanten Informationen zu beantworten. Dieser Ansatz verbessert die Genauigkeit und Effizienz von NLP-Anwendungen und ermöglicht ein tieferes Verständnis von Benutzerabsicht und Kontext.

Zum Zeitpunkt der Erstellung dieses Berichts befand sich Nodb noch in der Anfangsphase der Entwicklung. Was wir aus unseren Projektspezifikationen entnehmen können, ist die Liste der Funktionen, die wir in Phasen einführen wollen:

• Mehrere Umgebungen innerhalb jeder Anwendung
• Aufteilung der Ressourcen (Entitäten) auf Anwendungssammlungen
• CRUD-Operationen für einzelne oder mehrere Entitäten (GET, POST, PUT, PATCH, DELETE)
• Vektorsuchoption unter Verwendung verschiedener Einbettungsmodelle (OpenAI, Voyage AI)
• RAG-Funktion unter Verwendung verschiedener LLMs (OpenAI, Claude)
• Verarbeitung und Speicherung von Dokumenten (.pdf, .csv, .docx, etc.)
• Benutzerdefinierte API-Optionen über Umgebungsvariablen
• Ein-Klick-Bereitstellung zu Render