みんなの投稿

こんにちは！
検索AIの社内展開に向けて検証作業を行っています、なかちです。

＜これまでの検証状況＞
https://kincom.cybozu.co.jp/chats/abds5wopbapiqhwo

今週からは、「検索AIでどのくらい正確な回答が得られるか？」という回答精度の調査をスタートしました！
まだまだ手探りではありますが、「検索AIでできること・苦手なこと」が少しずつ見えてきたため、今回はその進捗をシェアさせていただきます。

1．検証対象のアプリ
アプリ名（仮）：顧客訪問記録
用途：様々な顧客・様々な商品に関わる訪問結果を記録
（レコード数：500件弱）

2．わかったこと
（1）システムプロンプトの工夫が効く！
フィールドの意味を明示することで、回答精度がアップすることがわかりました！

⭐Before
システムプロンプト
：なし

質問「○○を提案中の顧客は何件ある？」
⇒回答「1件のみ確認できました」
（参照したレコード5件の内、4件は○○以外の商品）

⭐After
システムプロンプト
：「各用語（フィールド名）の意味は下記を踏まえてください。
業務名：当社が顧客に提案したい商品・業務」

質問「○○を提案中の顧客は何件ある？」
⇒回答「5件です」
（参照したレコード5件全て、商品○○に関するレコード）

実際には○○に関するレコードは5件以上登録されていますが、ヘルプサイトに記載の通り、検索AIは「関連度が高い上位5件」までしか参照しないため、仕様通りの挙動と解釈しました！

https://jp.cybozu.help/k/ja/id/040888.html#assist_usage_notes_search_10

（2）日付フィールドが少し苦手かも？
ヘルプサイトにも記載がありますが、検索できないフィールドを条件に含めると、うまく動かないことがあるようです。

https://jp.cybozu.help/k/ja/id/040888.html#assist_usage_notes_search_20

その1つが［日付フィールド］です。
例えば、下記のような質問をすると、うまく回答が返ってきませんでした。

質問「訪問日が最も新しい訪問記録を教えて。」
⇒回答「申し訳ありません。入力された内容に関連する情報が見つかりませんでした。」

⭐試しに、下記のような質問を投げかけてみました。
質問「顧客○○への訪問記録の中で、最も訪問日が新しい訪問記録を教えて。」
⇒回答「最も新しい訪問記録は以下の通りです：訪問日：20XX年XX月XX日…」

一見うまくいったように見えましたが、実はこれは「参照された上位5件の中で」最も新しい日付であり、アプリ全体で一番新しいレコードではありませんでした。

検索AIは、関連するレコードを5件選定する際に、「日付順に並べ替えて判断すること」は苦手なのかもしれません。
システムプロンプトの工夫でうまいことできないものでしょうか…？

以上が、本日の検証結果です。
現段階では検索AIはβ版（開発中）ですので、日々成長中かと思います！本日時点での情報ですが、少しでも皆様のご参考になれば幸いです。

「検索AIって、こういうとき得意だったよ！」
「うちはこう工夫してます！」など、皆さんの知見もぜひ共有いただけると嬉しいです🐱