2022/10/04 10:54
データ移行について:旧システムからのデータ移行
以前に似たような内容で投稿したことがありましたが、もう一度お聞きできればと思います。
旧システムからの完全移行を見据えて、データ移行を始めようかという話になりました。
入力補助のため、マスターからのルックアップや、もともと手入力だったものをドロップダウン化したものなどがあり、データ整形に時間がかかりそうなため、
「旧システム情報」のアプリ(CSV読み込みしただけの物・閲覧のみの想定)
と
「kintone版」のアプリ(メイン)
の2つに分けることを提案しているのですが、「同一アプリ内ですべての情報を見られるようにするのが大前提」と上司に言われています。
過去の事例をみたいのであれば「旧」アプリのフィールドの並びなど見やすくすれば十分ですし、別ウィンドウで開けば不便もないと思うので、あまり納得できていない状況です。
旧システムからのデータ移行の経験がおありの方がいらっしゃいましたら、
①御社の環境、あるいは一般的には、新旧2アプリへの分割はされているか、または1アプリで完結しているか
②kintoneへの移行時、データ整形はどのようにして行ったか
以上2点について、ご意見等いただけますとありがたいです。
よろしくお願いいたします。
============================
追記
①私自身は今までデータベース管理等の経験は一切ありません
②Excelの関数も知識はなく、使用した経験もありません
③10月中にデータ移行を終える想定です
ミュートしたユーザーの投稿です。
投稿を表示豆電球さん
んんー。前回の権限の件もありますし、なぜ「同一アプリ内ですべての情報を見られるようにするのが大前提」なのか、私なら上司を詰めてしまうかもですね。
^^;
一般的には、新旧データを統合するかどうかは、難易度と利便性のバランスをみてどこまで対応するか「現実的な検討」をしたうえで判断するものでケースバイケースです。
少なくともそこの検討なく結論ありきで「大前提=やって当然」というものではないと思います。できることはすべやった方がいいというのはわかりますが、すべての作業にはコストがかかります。そこの認識は常にもっておくべきで、コストを無視してやろうというのは仕事でやるならちょっと違いますね。
これも色々ですが、定番としては、旧データをCSVかExcelに落としてとなりますね。やりかたとしては今回移行先となるkintoneアプリからフォーマット作成用にCSVデータを書き出し、そのヘッダ(タイトル行)を元に旧データを整形するのがよいかと。
もし旧データに添付があるなら、cli-kintoneの利用を検討します。ちょっと扱いはシステム的な知識が必要ですが、私が過去色々他のシステム移行で経験した範囲では、添付はあきらめるか手作業になってたのでツールがあるだけありがたいです。
問題はご認識の通り、ドロップダウンなど入力値が確定していてかつ旧データにしか存在しない場合ですね。こういう場合の解決としては、
新コード(ドロップダウン)
旧コード(文字列1行)
などのフィールドを作って、旧コードに旧データ、新データは新コードと旧コードを同じ値にして保管する方法が考えられます。
他には、変換不能な旧コードは、その他旧コードとして、まとめちゃって納得してもらうとか。
移行当初は新旧二つ管理したり、無理やり統合したりして使いにくいのですが、普通は時間を追うごとに旧データの情報の価値はおちていくのである程度したら収束します。喫緊で上司を納得させる作戦としてはありかもしれません。
ご参考まで。
ミュートしたユーザーの投稿です。
投稿を表示初めまして!
旧システムからのデータ移行、体験しましたのでコメントさせていただきます。
ご質問への回答をまず言うと、
①1アプリで完結していますが、旧データを「全て」移行はしていません。不要なデータを判断して、それは移行しませんでした。旧情報アプリも作らず、CSVでバックアップ保管しています。
移行しなかったデータを見たいという話は、移行後1~2ヶ月くらいしかありませんでした。
②エクセルで地道に関数を駆使したりポチポチ修正したり、ですね。関数と言っても、「こういう整形をしたいな」と思った内容でググって出てきた関数を組み合わせて…というやり方です。
関数未経験とのことですが、丁寧に解説している記事がたくさんありますので、移行のためのクレンジングであればコピペで何とかなると思いますよ。
豆電球さんの下記考え方には賛成です。
過去のデータを閲覧したり検索したりしたい機会がどれくらいあるのか分かりませんが、ぶっちゃけそんな無いでしょと。
kintone導入前と導入後に割り切ってしまうのが移行は一番楽です。
でも、「過去のデータも全部1アプリで見たいんやー!!」がお偉いさんの絶対意見ならば、何とかするしかないですよね。
過去のデータを活かした検索とか集計の為には、やはり1アプリにまとまっていた方が良いのも一理ですので、上司の方のお考えも分かります。
ご苦労お察しします…。
上司にヒアリングして、「見たい」のは何のデータなのか?を整理することがオススメです。
本当に「全部」見たいわけではないのではないかな~と思います。
・何年前のものまでにするか?
・日付や分類など集計に使うデータ
この辺がきれいにクレンジングされていれば、それ以外は文字列複数行フィールドや文字列1行フィールドで作った「過去データ」フィールドを作って、
全部そこに放り込んで、詳細画面の下の方にグループフィールドでまとめておくという形でも済むかもしれません。
検索だけでグラフ集計やCSV書き出しに使わなくていいなら、たなよしさんのおっしゃる関連レコード一覧化でもいいと思います。(関連レコードは検索に使えます)
その上で、
・手入力したもののドロップダウン化
・マスター化してルックアップ
この辺りは元データを一括置換して整形を頑張るって感じかなと思います。
某青い雲からの移行体験記を以前noteに書きましたので、よろしければ…。
https://note.com/yama_181/n/n28b399c03855
ミュートしたユーザーの投稿です。
投稿を表示ミュートしたユーザーの投稿です。
投稿を表示昨年11月に旧システムからkintoneにデータを移行しました。私は総務に所属しています。
全社で使用するアプリなので、検索時にわかりやすくするために1つにまとめたいということになりました。
最初は、エクセルでデータを整形して、コマンドラインからcli-kintoneでレコードを読み込んだりしてテストしていましたが、ルックアップデータなどは金額が変わっていて取り込めないものもあり、この方法はやめました。あと、現在使用していない項目はドロップダウンやマスタに追加する必要はないと判断しました。
結局、旧データは基本的に日付、数値や文字列一行フィールドに取り込み、カスタマイズで「旧システムデータ」チェックボックスのチェックの有無で新データと旧データのフィールドの表示の切り替えをしています。
当時は一人で模索していてカスタマイズをしましたが、TISさんの「kintone 条件分岐処理プラグイン」などでも対応できるのではないかと思います。
集計したいフィールドは、別にフィールドを用意し、新旧のデータをIF文で選択し自動計算しています。
もうすぐ一年になりますが、今のところ大きな問題はなく運用しています。
ただ、やはり情報量が多いので、絞り込みを行う時などフィールド数が多く探すのが大変です。
一部部署で使用するアプリは新旧で分けたものもあります。やはり使用方法によって検討されるのがよろしいのではないでしょうか。
ミュートしたユーザーの投稿です。
投稿を表示ミュートしたユーザーの投稿です。
投稿を表示ミュートしたユーザーの投稿です。
投稿を表示ワタシの考え方は
①作業を行うアプリ
②諸々を閲覧するためのアプリ
で、②には①の必要なフィールドを関連レコードで表示させればいいと思っています。
何もかもを詰め込むと、
・読み込みに時間がかかる
・何かあったときに大変
・レコードが縦に長くなる
ということになるので、1アプリにまとめるのは大事なのですが、本当にまとめなければならないのかをよく検討すべきかと思います。
先日、こんなことつぶやいていました。
https://twitter.com/tanaka4412/status/1574604401028739072
ミュートしたユーザーの投稿です。
投稿を表示ミュートしたユーザーの投稿です。
投稿を表示こんにちは。
どのようなデータかわからないのでわかる範囲で……。
①Excelからの取り込みですが、1アプリに取込は断念しました。面倒なので!
②検索や集計のキーになるような得意先名や商品名などの表記ゆれ修正、数字項目の数字化(笑)をしました。ツールはパワークエリとExcelです。
Excelでコツコツやるならこんな感じでしょうか。例として得意先名のゆらぎ修正方法です。
①ピポットテーブルで得意先名のみのデータを作る(行に設定)
②どの表記にあわせるか決める
③Ctrl+Hで置換していく
量が少ないなら得意先名にフィルタかけてポチポチ修正でも良いと思います。
Alt+;のショートカットがフィルタかけてても貼り付けできるので超便利!
使ってないならこれを機に覚えましょう!損はしません!
システムの移行時はデータのクレンジング処理は避けて通れないのですが
なんとか省力化したいですね。
ミュートしたユーザーの投稿です。
投稿を表示