技術部 データ基盤チームの@komatunと@tosh2230です。 2023/06/05に、株式会社primeNumberと合同でデータエンジニアリング勉強会を開催しましたので、その内容をレポートします。
勉強会は、ペパボのオフィスがある渋谷のセルリアンタワーを会場としました。勉強会のあとには同会場で懇親会を行い、楽しい時間を過ごすことができました！
勉強会のテーマ
勉強会のテーマは、「ETLサービスの開発と活用」です。
primeNumberさんは、データ分析基盤の総合支援サービスtrocco®の開発・運営をしていますので、ペパボのデータ活用を推進する立場であるデータ基盤チームと似通った部分があると考えたため、このテーマに決めました。
発表内容の紹介
勉強会では、合計で5つの発表が行われました。発表順にその内容を紹介していきます。
ZetaSQLを使って、 カラムリネージ機能を作った話(primeNumber @gtnaoさん)
Google BigQueryやCloud SpannerのSQLパーサーとして使われているZetaSQLを用いて、カラムリネージ機能を開発したお話しいただきました。 カラムリネージは影響範囲を細かく特定したい時に役立ちますので、この機能が搭載されているのはとても魅力的に思いました(ほしい!)。
CDCデータパイプラインを止めないために(@tosh2230)
Debezium ServerによるChange Data Captureの事例紹介でご紹介したCDC事例のその後についてです。 CDCデータパイプラインの概要と2023年6月時点での本番運用状況、ストリーミングデータに対する監視設定のポイントをお話ししました。
ダッシュボードを作ったら業務工数削減に繋がった件(primeNumber 武内さん)
カスタマーサクセス業務における工数削減の事例をご紹介いただきました。 データ連携にtrocco®、UIにLooker Studioを用いて、最小の手数で課題解決にフォーカスしている点が印象的でした。 そしてこの取り組みをカスタマーサクセスのチームが中心となって実現しているのが、データ活用の形として理想的だなと感じました。
ETLサービスの活用を支えるインシデント対応の工夫(@komatun)
インシデント対応におけるデータ基盤チームの工夫についてお話ししました。 事象検知、影響範囲の特定、チーム間の役割分担という3つのレイヤーに分類して、活用している仕組みや心がけていることを紹介しています。
trocco® にチーム機能を作った話(primeNumber @yokokaさん)
新機能である「チーム機能」の開発背景や設計方針をご紹介いただきました。 影響範囲が広く難しい機能をスマートに設計しており、大変勉強になりました。 データガバナンスはデータ基盤チームでも関心が高いトピックですので、シンプルかつセキュアな設定を実現するべく参考にしたいと思います。
終わりに
各発表後には、オフラインならではの活発な質疑応答が行われていました。 また、休憩時間や懇親会でもデータエンジニアリング関連の話題が尽きず、あっという間の3時間でした。 合同勉強会の開催を快諾くださったprimeNumberの皆様、ありがとうございました！