ハイブリッド検索の例

このデモでは、ベクトル検索とフルテキスト検索を組み合わせて、ドキュメントセットの検索品質を向上させる方法を示します。

TiDB ハイブリッド検索デモ

前提条件

始める前に、次のものがあることを確認してください。

Python (>=3.10) : パイソン 3.10 以降のバージョンをインストールします。
TiDB Cloud Starter クラスター: TiDB Cloudに無料の TiDB クラスターを作成できます。
OpenAI API キー: オープンAIから OpenAI API キーを取得します。

注記
現在、フルテキスト検索は次の製品オプションと地域でのみ利用可能です。
TiDB Cloudスターター: フランクフルト ( eu-central-1 )、シンガポール ( ap-southeast-1 )

実行方法

ステップ1. `pytidb`リポジトリのクローンを作成する

pytidbは、開発者が AI アプリケーションを効率的に構築できるように設計されています。

git clone https://github.com/pingcap/pytidb.git
cd pytidb/examples/hybrid_search

ステップ2. 必要なパッケージをインストールして環境を設定する

python -m venv .venv
source .venv/bin/activate
pip install -r reqs.txt

ステップ3. 環境変数を設定する

TiDB Cloudコンソールでクラスターページに移動し、ターゲットクラスターの名前をクリックして概要ページに移動します。
右上隅の「接続」をクリックします。接続パラメータがリストされた接続ダイアログが表示されます。
次のように接続パラメータに応じて環境変数を設定します。

cat > .env <<EOF
TIDB_HOST={gateway-region}.prod.aws.tidbcloud.com
TIDB_PORT=4000
TIDB_USERNAME={prefix}.root
TIDB_PASSWORD={password}
TIDB_DATABASE=pytidb_hybrid_demo
OPENAI_API_KEY=<your-openai-api-key>
EOF

ステップ4.デモを実行する

オプション1. Streamlitアプリを実行する

Web UI でデモを確認する場合は、次のコマンドを実行できます。

streamlit run app.py

ブラウザを開いてhttp://localhost:8501アクセスします。

オプション2. デモスクリプトを実行する

スクリプトを使用してデモを確認する場合は、次のコマンドを実行できます。

python example.py

期待される出力:

=== CONNECT TO TIDB ===
Connected to TiDB.

=== CREATE TABLE ===
Table created.

=== INSERT SAMPLE DATA ===
Inserted 3 rows.

=== PERFORM HYBRID SEARCH ===
Search results:
[
    {
        "_distance": 0.4740166257687124,
        "_match_score": 1.6804268,
        "_score": 0.03278688524590164,
        "id": 60013,
        "text": "TiDB is a distributed database that supports OLTP, OLAP, HTAP and AI workloads."
    },
    {
        "_distance": 0.6428459116216618,
        "_match_score": 0.78427225,
        "_score": 0.03200204813108039,
        "id": 60015,
        "text": "LlamaIndex is a Python library for building AI-powered applications."
    },
    {
        "_distance": 0.641581407158715,
        "_match_score": null,
        "_score": 0.016129032258064516,
        "id": 60014,
        "text": "PyTiDB is a Python library for developers to connect to TiDB."
    }
]

ソースコード: GitHubでビュー