CRE minne

minne CREを紹介します

CRE minne

はじめに

minneでWebエンジニアをしている hikari です。

minneでは2020年7月にCREチームを立ち上げました。CREとは Customer Reliability Engineering(顧客信頼性エンジニアリング)という、2016年にGoogleによって提唱された専門職を指します。

Google Cloud Platform Japan 公式ブログ: Google の新しい専門職 : CRE が必要な理由

ペパボでは2018年にEC事業部がCREチームを立ち上げておりHRブログでも発足以降の取り組み・歴史が紹介されています。minne事業部のCREチーム発足から約1年近くが経過しましたので本記事で実績と今後の取り組みについて紹介します!

  1. はじめに
  2. minne CREとは?
  3. やってみてうまくいったこと
    1. Redash Alertモニタリング活用によるサービス健全性の強化
    2. 返金申請フロー改善
    3. 顧客管理機能の改善
  4. 振り返りと課題
    1. CREやりたいという方を募集しています

minne CREとは?

まずminne CREの目的とするところはなんぞや?についてです。以下は発足から2ヶ月経過当時の振り返りを社内勉強会(PTF/Pepabo Tech Friday)にて行ったもので、Speaker Deckでも公開している資料です。

立ち上げにあたってはCREチームのミッションを以下のように掲げました。

ユーザの抱える不安を取り除き、気持ちよくminneを使えるように問題を把握・計測し、技術の力を使って課題解決する

このミッションには、Google の新しい専門職 : CRE が必要な理由が大きく関わっています。この記事ではCREの必要性について

この新たな役職に就く人のミッションは、Google と Google Cloud Platform のお客様とが運用に関して運命共同体となり、お客様が Google に委ねている重要なアプリケーションに対するお客様側の管理権限を高め、金銭的なものよりも意義のある運命を共有することにあります。

と述べていますが、これをminneの文脈で再定義することこそがミッションを定める上で重要だと考えました。

minneには作品を販売する販売者ユーザ、その作品を購入するユーザの2つのタイプのユーザがいます。購入ユーザには販売者ユーザに作品の代金を支払いいただき、また販売者ユーザにはminneで作家活動を行う上で販売手数料をお支払いいただいています。

上記引用部分での「金銭的なものよりも意義のある運命を共有すること」は、minneというサービスで考えてみると

  • 販売者ユーザ
    • 販売する上で支払う手数料以上にminneで得られる価値があるから使い続けたい
  • 購入者ユーザ
    • 作品に支払うお金以上にminneで得られる価値があるから使い続けたい

ということだと考え、そのためにはユーザの抱える不安を取り除いて、サービスへの信頼性が高い状態を実現することが必要と考えました。

そして上記CREチームのミッションから、具体的には以下の3軸を行動指針とし、定性・定量目標(Objectives and Key Results)を定め活動しています。

  1. ユーザの不安を取り除き、サービスへの信頼性が高い状態を目指す
  2. サービスとしての健全性を強化する
  3. カスタマーサポートの力の向上・拡大

やってみてうまくいったこと

上記の行動指針からやってみて成果のあった取り組みについて紹介します。

Redash Alertモニタリング活用によるサービス健全性の強化

minneでは、クレジットカード不正利用者による大量注文という迷惑行為が長年散見されました。これは販売者・購入者両方のアカウントを用意した後他作家の作品情報を流用して販売し、他人のクレジットカードを使い決済することで販売者である自身に売上が計上されるようにする手口です。

これまで取り締まりを行ってもまた新規にアカウント作成する・利用クレジットカードを変える・当初は機械的に生成していた氏名/住所といった顧客情報を実在するデータのように偽って登録する…等、行動パターンを変えられては不正行為を発見し取り締まるといったいたちごっこを繰り返していましたが、ある程度行動の傾向が掴めてきたところで「Redash Alertのモニタリングを活用し、迷惑ユーザの行動を複数のクエリで検知し強制キャンセルする」という取り締まり強化を行う方針を決め実施しました(minneではBIツールとしてRedashを利用しています)。

この問題はある程度長期戦になる想定であり、不正行為を行われないための根本的なシステム改善も取り組んでいる最中ですが、不正防止モニタリングを開始して先月(2021年4月)の実績が以下のようになりました。

  • 不正注文の早期強制キャンセル率100%
  • 不正注文による損失金額が前月比約40%減少

早期キャンセルがこれだけ行えたことでサービスの金銭的損失防止にもなり、クレジットカード不正の利用調査などの事後対応に関するカスタマサポート(以下、CS)の作業コストも削減できました。今後も注力して改善していきたい部分です。

また、ユーザフォロー機能を悪用し多数のユーザへのフォロー・フォロー解除を繰り返し外部フィッシングサイト等に誘導する、という行為も多数見受けられるようになりましたが、それについてもRedash Alertによって迷惑ユーザの早期検知・アカウント停止措置が素早く行えるようになりました。

返金申請フロー改善

CS室Customer Opsチームによる、Zendeskチケットフォームでの業務効率化の記事でも触れていますが、既存の返金申請フローではユーザの正しい返金先情報のヒアリングコストとCSから経理担当者への返金先データ整形の手動作業コストが高いという課題がありました。それらの解決のためZendeskのチケットフォーム利用を検討した結果返金申請フローに導入することとなり、その際のドメインやSSL対応などのシステム側で必要な作業をCREにて行いました。今年2月に導入完了後、返金作業時間を月平均26h削減達成しておりCSの業務コスト削減に貢献できています。

顧客管理機能の改善

minneでCSは事業部内で内製された顧客管理システムを利用し業務を行っています。CS業務の大部分が顧客管理システムに依存するため、CSにとって顧客管理システムの使い心地は重要です。しかし事業部全体ではエンドユーザーに見える機能の開発・改善が優先となることが多く、顧客管理システムの改善に手が回っていませんでした。 CREの今年の単年定性目標(Objectives)として「使い続けたいと思えるminneの実現」を掲げていますが以下のような問題がありました。

  1. CS業務を行う上で必要な機能の精査が不十分であり、欲しい機能が無い一方で、どう利用すれば良いか分からない機能や利用することでどういう影響があるのか分からない機能が存在している
  2. スロークエリや重い処理が放置されていることで、CSが業務を行う上でストレスを与える

CREチームのミッション「不安を抱かず、気持ちよくminneを使ってほしい」が意図する対象者はminneを利用するエンドユーザだけでなくminneを運営しているCSやディレクターも含みます。顧客管理システムもminneの一部であり、それを利用するユーザもminneの一人のユーザであるからです。 そのような運営しているパートナー(社員)も「使い続けたい」と思えるよう顧客管理システムをアップデートし続けることは、業務効率化であったり楽しく業務を行えるようにしたい、というのはもちろん、今のシステムに満足せずもっと改善できるところはないか?という視点を多数のパートナーが持ち続けられる、という側面でも大事だと思っています。

しかし上記に記載した通り現状の顧客管理システムは使い続けたいシステム像からはかけ離れてしまっています。そこで1に対するアクションとして以前よりCSからの要望の多かった複雑なケースの注文キャンセルを自動化する機能のリリースや、規約違反作品・ユーザの取り締まりをスムーズに行える機能の検討とリリースを行っています。2に対するアクションとしてスロークエリの改善リリースを日々行っており、CSが業務を行う上で「処理が重くて不便」と感じさせないようなシステムを意識して改善しています。利用する全てのユーザが「使い続けたい」と思えるサービスのため今後も改善に取り組みます!

振り返りと課題

ということで、minne CREの実績の中から特に成果を残したものを中心に紹介してきました。

現状のminne CREの体制は、Webアプリケーションエンジニアが一名( @hikari )でCSと都度相談しながら施策を進めています。そのため @hikari 自身がプロダクトオーナー(以下、PO)と作業者を兼務する場面が多いです。

ここまでを振り返るとPOとして解決までのスピードを重視し意思決定を行いPOとエンジニアを兼務した結果、エンジニアとして手を動かした時間はさほど多くありませんでした。POとしてサービスへのインパクトを考慮してミッションへの舵取りができたこと、エンジニアとしてスピード重視で技術的にも難しくない方法を採っており手段を検討し実施したことが小さなことでも成果は出る、という学びが得られたことは良かったです。ですが一方で、根本的な解決はできておらず一時凌ぎの対策までしかできていない課題も残っています。

またCSの要望やエンドユーザーからの問い合わせ起点での改善を継続的に行っているものの、顕在化していない部分に対してのアプローチ(改善活動)が行えていません。既知の課題に加え、問い合わせなどから顕在化していない「ユーザが不安に感じていること・改善してほしいこと」をいかに見つけ出し、課題解決を行うかが重要です。

それにはVoC(Voice of Customer)はもちろんユーザの行動からデータの収集、収集して定量化したデータからの分析・可視化が必要です。minneはデータ基盤構築・様々なデータの収集を全社でも先駆けて行っていますが、既存データをユーザの不安解決には活用できていない現状があり、また今後の改善にあたって新しくデータの収集が必要になることもあると思います。そういった部分を技術の力で補い、いわゆるデータドリブンな課題解決で「これからも使い続けたいと思えるminne」のためにサービスの信頼性と価値を高めていきます!

CREやりたいという方を募集しています

@hikari がCREをやるぞとなった背景として、ユーザの声を聞いて問い合わせや不便なところを解決するということがWebアプリケーションエンジニアとして好きな仕事であり、それによってエンドユーザだけでなく一緒に働くCS・ディレクターが喜んでくれることがモチベーションに繋がるという気質がありました。

「顧客信頼性エンジニアリング(CRE)」は同じくGoogleに提唱されたSREとは異なり信頼性の具体的定義や指標といったものがまだ体系化されていないですが、具体的に定められていないからこそ「信頼性を高める」ということについて多様な解釈ができ、挑戦もしやすいと感じています。

minne CRE のスキル・マインド要件

minneCREのスキル・マインド要件を上記の通り定めています。本記事を読んで面白そうだなと思った方・一緒に改善したい!と思った方、ぜひぜひお声がけください。今後の取り組みや成果についてもまた報告したいと思いますのでお楽しみに!