「すべてのデータをkintoneで」の要求事項について。
例えば「数百万件(数十万、数万など)の過去累積データをすべてkintoneに入れてほしい」というような要求をされた場合、どのように説明するのがよいでしょうか。
個人的にkintoneは大量のデータをOracleなどのデータベースやオンラインストレージのように扱うのは不向きと思っています。というかもったいない^^;。取りあえずは、1500円/5GBで1GBあたりの金額比較から割に合わないというような話をしますが他になにか良い説明方法ありますでしょうか。
2020/06/23 06:24
共有する
4件のコメント
(新着順)
ミュートしたユーザーの投稿です。
投稿を表示西村さん
NSAS平野です。
大容量の１アプリデータの取扱いは100万件目安は以前より聞いており
大量データ検索では時間がかかりますね。
お客様で入退館システムを作成し、いまもデータがたまってきており（約4年半）
１度50万件ほど過去分削除しましたが、現在も170万件ほどたまっているアプリがありますが
このアプリの一覧表は当日データのみ抽出するようにしています。
一覧表をカスタマイズしてバーコードで入館証を読み込んで登録する仕組みですが
レスポンス問題なく動作しております。
但し、
過去１年間データ抽出CSV出力は条件設定して抽出まで時間かかりますね。
このCSVデータを基にして年間分析をやっておりますが
50万件強/１年をExcelでやってます。
Excel→kintone→Oracle等ＤＢ→大容量ＤＢ（Googleさんとか・・・）
各々、利用するにあたり利用目的が違いますので
最適なデータベース上にデータを保管すべきですね。
失敗？苦労話）20年ほど前にAccessデータベースに100万強のデータを30クライアントから
リアルタイム更新の仕組みを作ったことがありましたが、
障害時のリカバリバックアップの仕組みで苦労しましたね。
ミュートしたユーザーの投稿です。
投稿を表示こんにちは、キンスキ松井です！
kintoneが許容できるデータ量の話もありますね。
一つの基準として、１アプリ100万レコードがあります。
ただし、登録や閲覧の用途の場合なので、その他の用途では快適に利用できない場合もあります。
例えば、ソートではこんな検証データもありますね。
レコード数だけでなく、フィールド種類によっても変化があることが分かります。
ソート条件に適用するフィールドの種類による処理時間の違い
https://developer.cybozu.io/hc/ja/articles/360038829011-%E3%82%BD%E3%83%BC%E3%83%88%E6%9D%A1%E4%BB%B6%E3%81%AB%E9%81%A9%E7%94%A8%E3%81%99%E3%82%8B%E3%83%95%E3%82%A3%E3%83%BC%E3%83%AB%E3%83%89%E3%81%AE%E7%A8%AE%E9%A1%9E%E3%81%AB%E3%82%88%E3%82%8B%E5%87%A6%E7%90%86%E6%99%82%E9%96%93%E3%81%AE%E9%81%95%E3%81%84
色々と書きましたが、大前提としてkintoneは他のデータベースに比べると、大量データの扱いには向かない製品です。
これは仕様的にも、運用的にも言えると思います。
大量データを扱う場合にも、利用範囲や方法を考える必要があると思います。
この辺りの製品限界もお伝えいただくと、説明がしやすいかなと感じました！
ご参考になれば幸いです^^
ミュートしたユーザーの投稿です。
投稿を表示私も松田さんとほぼ同意見です！「過去の履歴を保存しておくとして、何に使いますか？」というお話ではないかと。
データ容量も無制限ではありませんのでそのあたりの費用対効果についてもご相談しつつ、「貯めておく理由と普段の使い方」を掘り下げると事態が進んでいきそうな気がしています。
また、過去履歴レコードをそのまま持たずに、年次や月次で集計した結果をアプリで持っても良いかも知れません。
「データをどのように使うのか→どのような目的で貯めておくのか→データをどんな切り口で見せるか」
でしょうか？
ミュートしたユーザーの投稿です。
投稿を表示なるほど。
１つの考え方としては、
「kintoneに入れて何をするか？」ではないかと思います。
何をするか？の考え方としては、そのアプリのデータをどこでどのように使うのか。
そこの情報活用に価値があるのであれば、kintone内に持っておく価値があると考えるのも１つの考え方かもしれません。
活用の仕方が例えば集計表示するだけであれば、集計後のメッシュでアプリに持ってあげればいいというふうな考え方も出てきます。
明細の一件一件を参照することに価値があるのであれば、全件保持する事に価値があると考えることができる。
あと、大量データを出し入れするアプリを作る場合は、アプリのデータ容量節約のために、変更履歴の記録をオフにしておくというノウハウもあります。