Upsert Embeddings
埋め込みを生成した後、ベクトル類似性検索をサポートするデータベースに保存する必要があります。この例では、後で取得するために様々なベクトルデータベースに埋め込みを保存する方法を示します。
PgVector
PgVector
クラスは、pgvector拡張機能を使用してPostgreSQLにインデックスを作成し、埋め込みを挿入するメソッドを提供します。
import { openai } from "@ai-sdk/openai";
import { PgVector } from "@mastra/pg";
import { MDocument } from "@mastra/rag";
import { embedMany } from "ai";
const doc = MDocument.fromText("Your text content...");
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding("text-embedding-3-small"),
});
const pgVector = new PgVector({ connectionString: process.env.POSTGRES_CONNECTION_STRING! });
await pgVector.createIndex({
indexName: "test_index",
dimension: 1536,
});
await pgVector.upsert({
indexName: "test_index",
vectors: embeddings,
metadata: chunks?.map((chunk: any) => ({ text: chunk.text })),
});
Pinecone
PineconeVector
クラスは、マネージドベクターデータベースサービスであるPineconeにインデックスを作成し、埋め込みを挿入するメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { PineconeVector } from '@mastra/pinecone';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
});
const pinecone = new PineconeVector({
apiKey: process.env.PINECONE_API_KEY!,
});
await pinecone.createIndex({
indexName: 'testindex',
dimension: 1536,
});
await pinecone.upsert({
indexName: 'testindex',
vectors: embeddings,
metadata: chunks?.map(chunk => ({ text: chunk.text })),
});
Qdrant
QdrantVector
クラスは、高性能ベクターデータベースであるQdrantにコレクションを作成し、埋め込みを挿入するメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { QdrantVector } from '@mastra/qdrant';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
maxRetries: 3,
});
const qdrant = new QdrantVector({
url: process.env.QDRANT_URL,
apiKey: process.env.QDRANT_API_KEY,
});
await qdrant.createIndex({
indexName: 'test_collection',
dimension: 1536,
});
await qdrant.upsert({
indexName: 'test_collection',
vectors: embeddings,
metadata: chunks?.map(chunk => ({ text: chunk.text })),
});
Chroma
ChromaVector
クラスは、オープンソースの埋め込みデータベースであるChromaにコレクションを作成し、埋め込みを挿入するためのメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { ChromaVector } from '@mastra/chroma';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
});
const chroma = new ChromaVector({
path: "path/to/chroma/db",
});
await chroma.createIndex({
indexName: 'test_collection',
dimension: 1536,
});
await chroma.upsert({
indexName: 'test_collection',
vectors: embeddings,
metadata: chunks.map(chunk => ({ text: chunk.text })),
documents: chunks.map(chunk => chunk.text),
});
Astra DB
AstraVector
クラスは、クラウドネイティブなベクターデータベースであるDataStax Astra DBにコレクションを作成し、埋め込みを挿入するためのメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { AstraVector } from '@mastra/astra';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
model: openai.embedding('text-embedding-3-small'),
values: chunks.map(chunk => chunk.text),
});
const astra = new AstraVector({
token: process.env.ASTRA_DB_TOKEN,
endpoint: process.env.ASTRA_DB_ENDPOINT,
keyspace: process.env.ASTRA_DB_KEYSPACE,
});
await astra.createIndex({
indexName: 'test_collection',
dimension: 1536,
});
await astra.upsert({
indexName: 'test_collection',
vectors: embeddings,
metadata: chunks?.map(chunk => ({ text: chunk.text })),
});
LibSQL
LibSQLVector
クラスは、ベクター拡張を持つSQLiteのフォークであるLibSQLにコレクションを作成し、埋め込みを挿入するためのメソッドを提供します。
import { openai } from "@ai-sdk/openai";
import { LibSQLVector } from "@mastra/core/vector/libsql";
import { MDocument } from "@mastra/rag";
import { embedMany } from "ai";
const doc = MDocument.fromText("Your text content...");
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map((chunk) => chunk.text),
model: openai.embedding("text-embedding-3-small"),
});
const libsql = new LibSQLVector({
connectionUrl: process.env.DATABASE_URL,
authToken: process.env.DATABASE_AUTH_TOKEN, // Optional: for Turso cloud databases
});
await libsql.createIndex({
indexName: "test_collection",
dimension: 1536,
});
await libsql.upsert({
indexName: "test_collection",
vectors: embeddings,
metadata: chunks?.map((chunk) => ({ text: chunk.text })),
});
Upstash
UpstashVector
クラスは、サーバーレスベクターデータベースであるUpstash Vectorにコレクションを作成し、埋め込みを挿入するためのメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { UpstashVector } from '@mastra/upstash';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
});
const upstash = new UpstashVector({
url: process.env.UPSTASH_URL,
token: process.env.UPSTASH_TOKEN,
});
// There is no store.createIndex call here, Upstash creates indexes (known as namespaces in Upstash) automatically
// when you upsert if that namespace does not exist yet.
await upstash.upsert({
indexName: 'test_collection', // the namespace name in Upstash
vectors: embeddings,
metadata: chunks?.map(chunk => ({ text: chunk.text })),
});
Cloudflare
CloudflareVector
クラスは、サーバーレスベクターデータベースサービスであるCloudflare Vectorizeにコレクションを作成し、埋め込みを挿入するためのメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { CloudflareVector } from '@mastra/vectorize';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
});
const vectorize = new CloudflareVector({
accountId: process.env.CF_ACCOUNT_ID,
apiToken: process.env.CF_API_TOKEN,
});
await vectorize.createIndex({
indexName: 'test_collection',
dimension: 1536,
});
await vectorize.upsert({
indexName: 'test_collection',
vectors: embeddings,
metadata: chunks?.map(chunk => ({ text: chunk.text })),
});
MongoDB
MongoDBVector
クラスは、Atlas Searchを使用してMongoDBにインデックスを作成し、埋め込みを挿入するためのメソッドを提供します。
import { openai } from "@ai-sdk/openai";
import { MongoDBVector } from "@mastra/mongodb";
import { MDocument } from "@mastra/rag";
import { embedMany } from "ai";
const doc = MDocument.fromText("Your text content...");
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding("text-embedding-3-small"),
});
const vectorDB = new MongoDBVector({
uri: process.env.MONGODB_URI!,
dbName: process.env.MONGODB_DB_NAME!,
});
await vectorDB.createIndex({
indexName: "test_index",
dimension: 1536,
});
await vectorDB.upsert({
indexName: "test_index",
vectors: embeddings,
metadata: chunks?.map((chunk: any) => ({ text: chunk.text })),
});
OpenSearch
OpenSearchVector
クラスは、ベクター検索機能を持つ分散検索エンジンであるOpenSearchにインデックスを作成し、埋め込みを挿入するためのメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { OpenSearchVector } from '@mastra/opensearch';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
});
const vectorDB = new OpenSearchVector({
uri: process.env.OPENSEARCH_URI!,
});
await vectorDB.createIndex({
indexName: 'test_index',
dimension: 1536,
});
await vectorDB.upsert({
indexName: 'test_index',
vectors: embeddings,
metadata: chunks?.map((chunk: any) => ({ text: chunk.text })),
});
Couchbase
CouchbaseVector
クラスは、ベクトル検索機能を持つ分散NoSQLデータベースであるCouchbaseにインデックスを作成し、埋め込みを挿入するメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { CouchbaseVector } from '@mastra/couchbase';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
});
const couchbase = new CouchbaseVector({
connectionString: process.env.COUCHBASE_CONNECTION_STRING,
username: process.env.COUCHBASE_USERNAME,
password: process.env.COUCHBASE_PASSWORD,
bucketName: process.env.COUCHBASE_BUCKET,
scopeName: process.env.COUCHBASE_SCOPE,
collectionName: process.env.COUCHBASE_COLLECTION,
});
await couchbase.createIndex({
indexName: 'test_collection',
dimension: 1536,
});
await couchbase.upsert({
indexName: 'test_collection',
vectors: embeddings,
metadata: chunks?.map(chunk => ({ text: chunk.text })),
});
LanceDB
LanceVectorStore
クラスは、Lance列形式上に構築された組み込みベクトルデータベースであるLanceDBにテーブル、インデックスを作成し、埋め込みを挿入するメソッドを提供します。
import { openai } from '@ai-sdk/openai';
import { LanceVectorStore } from '@mastra/lance';
import { MDocument } from '@mastra/rag';
import { embedMany } from 'ai';
const doc = MDocument.fromText('Your text content...');
const chunks = await doc.chunk();
const { embeddings } = await embedMany({
values: chunks.map(chunk => chunk.text),
model: openai.embedding('text-embedding-3-small'),
});
const lance = await LanceVectorStore.create('/path/to/db');
// In LanceDB you need to create a table first
await lance.createIndex({
tableName: 'myVectors',
indexName: 'vector',
dimension: 1536,
});
await lance.upsert({
tableName: 'myVectors',
vectors: embeddings,
metadata: chunks?.map(chunk => ({ text: chunk.text })),
});