キンコミ kintone user community

みんなの投稿

データ移行について:旧システムからのデータ移行

以前に似たような内容で投稿したことがありましたが、もう一度お聞きできればと思います。



旧システムからの完全移行を見据えて、データ移行を始めようかという話になりました。
入力補助のため、マスターからのルックアップや、もともと手入力だったものをドロップダウン化したものなどがあり、データ整形に時間がかかりそうなため、

「旧システム情報」のアプリ(CSV読み込みしただけの物・閲覧のみの想定)

「kintone版」のアプリ(メイン)

の2つに分けることを提案しているのですが、「同一アプリ内ですべての情報を見られるようにするのが大前提」と上司に言われています。

過去の事例をみたいのであれば「旧」アプリのフィールドの並びなど見やすくすれば十分ですし、別ウィンドウで開けば不便もないと思うので、あまり納得できていない状況です。

旧システムからのデータ移行の経験がおありの方がいらっしゃいましたら、

①御社の環境、あるいは一般的には、新旧2アプリへの分割はされているか、または1アプリで完結しているか

②kintoneへの移行時、データ整形はどのようにして行ったか

以上2点について、ご意見等いただけますとありがたいです。
よろしくお願いいたします。

============================
追記

①私自身は今までデータベース管理等の経験は一切ありません

②Excelの関数も知識はなく、使用した経験もありません

③10月中にデータ移行を終える想定です

5件のコメント (新着順)

豆電球さん

んんー。前回の権限の件もありますし、なぜ「同一アプリ内ですべての情報を見られるようにするのが大前提」なのか、私なら上司を詰めてしまうかもですね。^^;

①御社の環境、あるいは一般的には、新旧2アプリへの分割はされているか、または1アプリで完結しているか

一般的には、新旧データを統合するかどうかは、難易度と利便性のバランスをみてどこまで対応するか「現実的な検討」をしたうえで判断するものでケースバイケースです。

少なくともそこの検討なく結論ありきで「大前提=やって当然」というものではないと思います。できることはすべやった方がいいというのはわかりますが、すべての作業にはコストがかかります。そこの認識は常にもっておくべきで、コストを無視してやろうというのは仕事でやるならちょっと違いますね。

②kintoneへの移行時、データ整形はどのようにして行ったか

これも色々ですが、定番としては、旧データをCSVかExcelに落としてとなりますね。やりかたとしては今回移行先となるkintoneアプリからフォーマット作成用にCSVデータを書き出し、そのヘッダ(タイトル行)を元に旧データを整形するのがよいかと。

もし旧データに添付があるなら、cli-kintoneの利用を検討します。ちょっと扱いはシステム的な知識が必要ですが、私が過去色々他のシステム移行で経験した範囲では、添付はあきらめるか手作業になってたのでツールがあるだけありがたいです。

問題はご認識の通り、ドロップダウンなど入力値が確定していてかつ旧データにしか存在しない場合ですね。こういう場合の解決としては、

新コード(ドロップダウン)
旧コード(文字列1行)

などのフィールドを作って、旧コードに旧データ、新データは新コードと旧コードを同じ値にして保管する方法が考えられます。
他には、変換不能な旧コードは、その他旧コードとして、まとめちゃって納得してもらうとか。

移行当初は新旧二つ管理したり、無理やり統合したりして使いにくいのですが、普通は時間を追うごとに旧データの情報の価値はおちていくのである程度したら収束します。喫緊で上司を納得させる作戦としてはありかもしれません。

ご参考まで。

初めまして!
旧システムからのデータ移行、体験しましたのでコメントさせていただきます。

ご質問への回答をまず言うと、
①1アプリで完結していますが、旧データを「全て」移行はしていません。不要なデータを判断して、それは移行しませんでした。旧情報アプリも作らず、CSVでバックアップ保管しています。
移行しなかったデータを見たいという話は、移行後1~2ヶ月くらいしかありませんでした。
②エクセルで地道に関数を駆使したりポチポチ修正したり、ですね。関数と言っても、「こういう整形をしたいな」と思った内容でググって出てきた関数を組み合わせて…というやり方です。
 関数未経験とのことですが、丁寧に解説している記事がたくさんありますので、移行のためのクレンジングであればコピペで何とかなると思いますよ。



豆電球さんの下記考え方には賛成です。

データ整形に時間がかかりそうなため、
「旧システム情報」のアプリ(CSV読み込みしただけの物・閲覧のみの想定)

「kintone版」のアプリ(メイン)
の2つに分けることを提案している



過去のデータを閲覧したり検索したりしたい機会がどれくらいあるのか分かりませんが、ぶっちゃけそんな無いでしょと。
kintone導入前と導入後に割り切ってしまうのが移行は一番楽です。

でも、「過去のデータも全部1アプリで見たいんやー!!」がお偉いさんの絶対意見ならば、何とかするしかないですよね。
過去のデータを活かした検索とか集計の為には、やはり1アプリにまとまっていた方が良いのも一理ですので、上司の方のお考えも分かります。
ご苦労お察しします…。



上司にヒアリングして、「見たい」のは何のデータなのか?を整理することがオススメです。
本当に「全部」見たいわけではないのではないかな~と思います。
・何年前のものまでにするか?
・日付や分類など集計に使うデータ
この辺がきれいにクレンジングされていれば、それ以外は文字列複数行フィールドや文字列1行フィールドで作った「過去データ」フィールドを作って、
全部そこに放り込んで、詳細画面の下の方にグループフィールドでまとめておくという形でも済むかもしれません。
検索だけでグラフ集計やCSV書き出しに使わなくていいなら、たなよしさんのおっしゃる関連レコード一覧化でもいいと思います。(関連レコードは検索に使えます)



その上で、
・手入力したもののドロップダウン化
・マスター化してルックアップ
この辺りは元データを一括置換して整形を頑張るって感じかなと思います。

某青い雲からの移行体験記を以前noteに書きましたので、よろしければ…。
https://note.com/yama_181/n/n28b399c03855


豆電球
製造業
2022/10/05 14:27

yamaさん初めまして。
コメントありがとうございます。
noteも読ませていただきました。

旧システムから2か月での完全移行を成功させたお話、大変参考になりました。
私が9か月やっている作業以上のことを2か月は本当にすごいと思います。
また、チームでやったというのが本当にうらやましいですし、自分もそうしてもらうようにしたらよかったと痛感しました。自分で使用を決めてすぐ改造できるので楽な反面、kintone導入のために必要で私に無いスキル・ノウハウが多すぎました。

見たいデータとそうでもないデータの選別については、上司に相談してみたいと思います。
ただ、アプリの1本化はもう避けられないと思いますので、不満を心に秘めながらデータ整形を頑張りたいと思います。

データ整形の方法に関しては、おっしゃる通り、どう整形した以下に合わせて関数等調べながらやっていこうと思います。そもそもExcelの関数に抵抗感といいますか、「自分がこの関数を使って本当に正しいデータになるのか」という不安があったのですが、確かに丁寧な解説が多数見つかりましたので、これらの記事にお世話になりながらやってみようと思います。

いろいろとありがとうございました。

昨年11月に旧システムからkintoneにデータを移行しました。私は総務に所属しています。
全社で使用するアプリなので、検索時にわかりやすくするために1つにまとめたいということになりました。
最初は、エクセルでデータを整形して、コマンドラインからcli-kintoneでレコードを読み込んだりしてテストしていましたが、ルックアップデータなどは金額が変わっていて取り込めないものもあり、この方法はやめました。あと、現在使用していない項目はドロップダウンやマスタに追加する必要はないと判断しました。
結局、旧データは基本的に日付、数値や文字列一行フィールドに取り込み、カスタマイズで「旧システムデータ」チェックボックスのチェックの有無で新データと旧データのフィールドの表示の切り替えをしています。
当時は一人で模索していてカスタマイズをしましたが、TISさんの「kintone 条件分岐処理プラグイン」などでも対応できるのではないかと思います。
集計したいフィールドは、別にフィールドを用意し、新旧のデータをIF文で選択し自動計算しています。
もうすぐ一年になりますが、今のところ大きな問題はなく運用しています。
ただ、やはり情報量が多いので、絞り込みを行う時などフィールド数が多く探すのが大変です。
一部部署で使用するアプリは新旧で分けたものもあります。やはり使用方法によって検討されるのがよろしいのではないでしょうか。




豆電球
製造業
2022/10/04 16:34

たではらRさん
コメントありがとうございます。

もう少し詳しくお聞きしたいのですが、

 >旧データは基本的に日付、数値や文字列一行フィールドに取り込み

こちらの部分は、ルックアップやドロップダウン等に入れようとするとエラーになる為、エラーにならずに全体を入れられるようにするため、日付や数値、文字列一行で作った「旧データ用フィールド」に入れるようにする、という認識でよろしいでしょうか。
でしたら、

 >集計したいフィールドは、別にフィールドを用意し、新旧のデータをIF文で選択し自動計算しています。

こちらと合わせてとても有効だと感じましたので、ぜひ提案・検討してみたいと思います。
ありがとうございます。

もし私の認識が少しでも間違っているようでしたらご指摘いただけるとありがたいです。

豆電球さん、そのような認識であっていると思います。
データ移行大変だと思いますが、がんばってください。

ワタシの考え方は
①作業を行うアプリ
②諸々を閲覧するためのアプリ
で、②には①の必要なフィールドを関連レコードで表示させればいいと思っています。

何もかもを詰め込むと、
・読み込みに時間がかかる
・何かあったときに大変
・レコードが縦に長くなる
ということになるので、1アプリにまとめるのは大事なのですが、本当にまとめなければならないのかをよく検討すべきかと思います。

先日、こんなことつぶやいていました。
https://twitter.com/tanaka4412/status/1574604401028739072


豆電球
製造業
2022/10/04 13:48

たなよしさん
コメントありがとうございます。

「1アプリにまとめる」、「2アプリに分ける」が少し違ったニュアンスで伝わってしまったようで大変恐縮なのですが・・・

①そうする必要があるアプリについて、「入力用」「閲覧用」の区別、作り分けはすでに行っています。

②「アプリを分ける」のは例えば「社員情報」のアプリがあったとして、旧システムで持っている情報をExcel読み込みでアプリ化した「社員情報 旧(過去データ閲覧用)」というアプリと、kintone化するにあたって1から作成した「社員情報 新」に分けるというニュアンスでした。

投稿した文章が読みにくかったら申し訳ありませんでした。

suji バッジ画像
2022/10/04 11:57

こんにちは。
どのようなデータかわからないのでわかる範囲で……。

①Excelからの取り込みですが、1アプリに取込は断念しました。面倒なので!

②検索や集計のキーになるような得意先名や商品名などの表記ゆれ修正、数字項目の数字化(笑)をしました。ツールはパワークエリとExcelです。
Excelでコツコツやるならこんな感じでしょうか。例として得意先名のゆらぎ修正方法です。
 ①ピポットテーブルで得意先名のみのデータを作る(行に設定)
 ②どの表記にあわせるか決める
 ③Ctrl+Hで置換していく
量が少ないなら得意先名にフィルタかけてポチポチ修正でも良いと思います。
Alt+;のショートカットがフィルタかけてても貼り付けできるので超便利!
使ってないならこれを機に覚えましょう!損はしません!

システムの移行時はデータのクレンジング処理は避けて通れないのですが
なんとか省力化したいですね。


豆電球
製造業
2022/10/04 13:22

sujiさん
コメントありがとうございます。

①やはり1アプリへの統合は面倒ですよね・・・

②具体的な方法の提案ありがとうございます。
 表記のゆらぎは本当に手ごわいですが何とかつぶしていこうと思います。

ありがとうございました。