こんにちは!
検索AIの社内展開に向けて検証作業を行っています、なかちです。
<これまでの検証状況>
https://kincom.cybozu.co.jp/chats/abds5wopbapiqhwo
今週からは、「検索AIでどのくらい正確な回答が得られるか?」という回答精度の調査をスタートしました!
まだまだ手探りではありますが、「検索AIでできること・苦手なこと」が少しずつ見えてきたため、今回はその進捗をシェアさせていただきます。
1.検証対象のアプリ
アプリ名(仮):顧客訪問記録
用途:様々な顧客・様々な商品に関わる訪問結果を記録
(レコード数:500件弱)
2.わかったこと
(1)システムプロンプトの工夫が効く!
フィールドの意味を明示することで、回答精度がアップすることがわかりました!
⭐Before
システムプロンプト
:なし
質問「○○を提案中の顧客は何件ある?」
⇒回答「1件のみ確認できました」
(参照したレコード5件の内、4件は○○以外の商品)
⭐After
システムプロンプト
:「各用語(フィールド名)の意味は下記を踏まえてください。
業務名:当社が顧客に提案したい商品・業務」
質問「○○を提案中の顧客は何件ある?」
⇒回答「5件です」
(参照したレコード5件全て、商品○○に関するレコード)
実際には○○に関するレコードは5件以上登録されていますが、ヘルプサイトに記載の通り、検索AIは「関連度が高い上位5件」までしか参照しないため、仕様通りの挙動と解釈しました!
https://jp.cybozu.help/k/ja/id/040888.html#assist_usage_notes_search_10
(2)日付フィールドが少し苦手かも?
ヘルプサイトにも記載がありますが、検索できないフィールドを条件に含めると、うまく動かないことがあるようです。
https://jp.cybozu.help/k/ja/id/040888.html#assist_usage_notes_search_20
その1つが[日付フィールド]です。
例えば、下記のような質問をすると、うまく回答が返ってきませんでした。
質問「訪問日が最も新しい訪問記録を教えて。」
⇒回答「申し訳ありません。入力された内容に関連する情報が見つかりませんでした。」
⭐試しに、下記のような質問を投げかけてみました。
質問「顧客○○への訪問記録の中で、最も訪問日が新しい訪問記録を教えて。」
⇒回答「最も新しい訪問記録は以下の通りです:訪問日:20XX年XX月XX日…」
一見うまくいったように見えましたが、実はこれは「参照された上位5件の中で」最も新しい日付であり、アプリ全体で一番新しいレコードではありませんでした。
検索AIは、関連するレコードを5件選定する際に、「日付順に並べ替えて判断すること」は苦手なのかもしれません。
システムプロンプトの工夫でうまいことできないものでしょうか…?
以上が、本日の検証結果です。
現段階では検索AIはβ版(開発中)ですので、日々成長中かと思います!本日時点での情報ですが、少しでも皆様のご参考になれば幸いです。
「検索AIって、こういうとき得意だったよ!」
「うちはこう工夫してます!」など、皆さんの知見もぜひ共有いただけると嬉しいです🐱
こんにちは!
検索AIの社内展開に向けて検証作業を行っています、なかちです。
<これまでの検証状況>
https://kincom.cybozu.co.jp/chats/abds5wopbapiqhwo
今週からは、「検索AIでどのくらい正確な回答が得られるか?」という回答精度の調査をスタートしました!
まだまだ手探りではありますが、「検索AIでできること・苦手なこと」が少しずつ見えてきたため、今回はその進捗をシェアさせていただきます。
1.検証対象のアプリ
アプリ名(仮):顧客訪問記録
用途:様々な顧客・様々な商品に関わる訪問結果を記録
(レコード数:500件弱)
2.わかったこと
(1)システムプロンプトの工夫が効く!
フィールドの意味を明示することで、回答精度がアップすることがわかりました!
⭐Before
システムプロンプト
:なし
質問「○○を提案中の顧客は何件ある?」
⇒回答「1件のみ確認できました」
(参照したレコード5件の内、4件は○○以外の商品)
⭐After
システムプロンプト
:「各用語(フィールド名)の意味は下記を踏まえてください。
業務名:当社が顧客に提案したい商品・業務」
質問「○○を提案中の顧客は何件ある?」
⇒回答「5件です」
(参照したレコード5件全て、商品○○に関するレコード)
実際には○○に関するレコードは5件以上登録されていますが、ヘルプサイトに記載の通り、検索AIは「関連度が高い上位5件」までしか参照しないため、仕様通りの挙動と解釈しました!
https://jp.cybozu.help/k/ja/id/040888.html#assist_usage_notes_search_10
(2)日付フィールドが少し苦手かも?
ヘルプサイトにも記載がありますが、検索できないフィールドを条件に含めると、うまく動かないことがあるようです。
https://jp.cybozu.help/k/ja/id/040888.html#assist_usage_notes_search_20
その1つが[日付フィールド]です。
例えば、下記のような質問をすると、うまく回答が返ってきませんでした。
質問「訪問日が最も新しい訪問記録を教えて。」
⇒回答「申し訳ありません。入力された内容に関連する情報が見つかりませんでした。」
⭐試しに、下記のような質問を投げかけてみました。
質問「顧客○○への訪問記録の中で、最も訪問日が新しい訪問記録を教えて。」
⇒回答「最も新しい訪問記録は以下の通りです:訪問日:20XX年XX月XX日…」
一見うまくいったように見えましたが、実はこれは「参照された上位5件の中で」最も新しい日付であり、アプリ全体で一番新しいレコードではありませんでした。
検索AIは、関連するレコードを5件選定する際に、「日付順に並べ替えて判断すること」は苦手なのかもしれません。
システムプロンプトの工夫でうまいことできないものでしょうか…?
以上が、本日の検証結果です。
現段階では検索AIはβ版(開発中)ですので、日々成長中かと思います!本日時点での情報ですが、少しでも皆様のご参考になれば幸いです。
「検索AIって、こういうとき得意だったよ!」
「うちはこう工夫してます!」など、皆さんの知見もぜひ共有いただけると嬉しいです🐱
5
16
|
07/23
|
最近の自分的アップデート