CRE ブログリレー

SUZURIの規約違反デザインに対する取り組み

CRE ブログリレー

こんにちは、SUZURI事業部でCustomer Reliability Engineer（以下、CRE）をしている @tanaken0515 です。

今回より各部署のCREチームによるブログリレーを開始することになりました。 このブログリレーでは各チームが取り組んでいることや注目のトピックなどについて公開していきます。

第1弾として、この記事ではSUZURIの規約違反デザインに対する取り組みについて紹介します。

  1. 規約違反デザインとは
  2. 予防的施策
    1. デザイン画像をアップロードする前
    2. 販売を開始する前
  3. 発見的施策
    1. パトロール
    2. 通報
  4. 今後の取り組み
    1. 現状の課題
    2. 課題に対するこれまでの取り組み
    3. 今後の指針
  5. まとめ

規約違反デザインとは

SUZURIの会員規約「第8条（登録禁止情報）」に該当するデザイン画像のことです。 具体的には次のようなものがこれにあたります（会員規約より一部抜粋）。

  • "第三者（当社及び他の会員を含む。本条において以下同じ。）の知的財産権（特許権、実用新案権、意匠権、商標権、著作権等）及びその他の権利を侵害する情報"
  • "第三者の名誉、信用を毀損する情報"
  • "第三者に不快感を与えると当社が判断した情報"

このような規約違反デザインがSUZURIに登録されてしまうと、さまざまな人が悲しい気持ちになったり不安な気持ちを抱いたりすると想像できます。

また、悪意を持っておらずとも規約違反デザインを登録してしまう場合も考えられます。たとえば意図せず知的財産権を侵害していた場合、権利保有者がデザイン登録者に対して損害賠償を求める場合もあるかもしれません。

このような事態の発生を防ぐために、SUZURI事業部では規約違反デザインに対して「予防的施策」と「発見的施策」の2軸でアプローチしています。

予防的施策

規約違反デザインの登録を抑止するための施策です。

デザイン画像をアップロードする前

デザイン画像をアップロードする画面にて、権利侵害に対する注意を喚起しています。これを目にした利用者が、規約違反デザインのアップロードを思いとどまることを期待しています。

デザイン画像をアップロードする前の注意メッセージ

アップロードフォームでの注意メッセージ

販売を開始する前

販売開始前に会員規約へのリンクとともに最終確認をしています。

販売を開始する前の注意メッセージ

販売を開始する前の注意メッセージ

発見的施策

登録されてしまった規約違反デザインを発見するための施策です。

前述の「予防的施策」では規約違反デザインの登録を防ぐことは難しいです。特に、明確な悪意を持って意図的に規約違反デザインを登録する利用者に対しては、ほとんど無意味であろうと思います。

そのため、規約違反デザインが登録されてしまうことを前提として、それらを発見し対処するための施策を行なっています。

パトロール

CS室のSUZURI担当メンバーが中心となって、デザイン画像の違反チェックの運用を整備し、実施しています。

違反の判断基準

違反の判断は前述の会員規約「第8条（登録禁止情報）」に基づいて行ないますが、明確に判断することが難しい場合があります。 そこで、判断を支援する仕組みとして「規約違反対応マニュアル」を作成し、デザインの具体例とそれに対する判断の方針を整理しています。 このマニュアルを参照することで、判断効率の向上や個々人に依る判断のブレの低減を実現しています。

規約違反対応マニュアル

規約違反対応マニュアル

規約違反デザインであると判断した場合は、当該デザインを使った商品の販売停止措置を行ないます。 また、同一アカウントが規約違反デザインを多数登録していることが判明した場合には、そのアカウントに対して利用停止措置を行なう場合もあります。

違反チェックの実施対象

登録されているデザインのうち、商品の注文が行なわれたデザインを対象として違反チェックを行ない、違反チェックを通過したデザインだけを工場に発注しています。

商品の注文がされていないデザインについても違反チェックを随時実施していますが、日々たくさんのデザインをご登録いただいており、現状では「登録されたすべてのデザインを抜け漏れなく網羅的にチェックできている」とは言い難い状況にあります。

この状況に対して

  • 外部パートナーとの協力関係を構築して違反チェック業務を効率化すること
  • 画像データに基づいてシステムによる自動判定を行なうこと（後述）

などによる改善を検討（一部すでに実施）しています。

通報

SUZURIを利用してくださっている方が規約違反デザインを発見した場合に報告いただく仕組みとして、通報機能を提供しています。 商品詳細ページの「通報する」ボタンから通報フォームを開いて報告することができます。

通報ボタン

通報ボタン

通報フォーム

通報フォーム

通報されたデザインのリストを毎日確認し、報告いただいた内容を参考にしつつ前述の判断基準に基づいて違反に該当するかを判断しています。

今後の取り組み

現状の課題

現状では、悪意のある利用者が規約違反デザインをアップロードした場合に、そのデザインの商品化を止める仕組みがありません。 また、大量のデザイン画像を網羅的にチェックする仕組みがない、という課題もあります。

これに対して、アップロードされたデザイン画像をシステムが自動でチェックし、規約違反に該当する可能性があると判断したデザインについては商品化できないようにする、といった施策を実施できるとよさそうです。 登録されているすべてのデザインに対して同様の自動判定を定期的に実施することで、網羅性も担保できそうです。

課題に対するこれまでの取り組み

デザイン画像の自動判定に関する取り組みとして、Google CloudのCloud Vision APIを用いたメタデータの付与を試験的に実施してきました。

SafeSearch Detectionという機能を利用することで、不適切なコンテンツを検出することができます。

具体的には次のようなレスポンスを返します。

{
  "responses": [
    {
      "safeSearchAnnotation": {
        "adult": "UNLIKELY",
        "spoof": "VERY_UNLIKELY",
        "medical": "VERY_UNLIKELY",
        "violence": "LIKELY",
        "racy": "POSSIBLE"
      }
    }
  ]
}

これは、それぞれの項目（adult, spoof, medical, violence, racy）に該当する可能性がどの程度あるかを次の値で示しています。

  • UNKNOWN: 不明
  • VERY_UNLIKELY: 該当する可能性が非常に低い
  • UNLIKELY: 該当する可能性が低い
  • POSSIBLE: 該当する可能性がある
  • LIKELY: 該当する可能性が高い
  • VERY_LIKELY: 該当する可能性が非常に高い

項目の詳細はSafeSearchAnnotationに記載のとおりです。

試験運用を経て「規約違反デザインのチェックに活用するのは難しい」という結論となりました。理由は次のとおりです。

不適切と思われるデザインを「不適切なコンテンツではない」と判定してしまうため

明らかに不適切と思われるデザインに対して、SafeSearchAnnotationのいずれの項目にも「該当する可能性が低い」と判定されてしまうことが多々ありました。

たとえば、有名コンテンツである某猫型ロボットの画像を用いて判定したところ、いずれの項目も UNLIKELY 以下の結果となりました。

このことから、有名コンテンツを改変利用しているデザインについては、SafeSearch Detectionの判定結果を信頼するのは難しいと判断しました。

不適切とは思えないデザインを「不適切なコンテンツである」と判定してしまうため

SafeSearchAnnotationのいずれか1項目以上で VERY_LIKELY と判定されたデザインをリストアップし、 リストの中から無作為に選んだ100件のデザインについて目視確認を行なったところ、

  • 即座に「不適切ではない」と判断できるデザイン: 86件
  • 即座に「不適切である」と判断できるデザイン: 12件
  • 判断にやや時間がかかるデザイン: 2件

という結果になりました。

この結果から、実運用に乗せるのは（特に業務効率化の観点で）難しいと判断しました。

APIの利用にかかるコストが無視できない金額であるため

具体的な金額は伏せますが、APIの利用にそれなりに無視できない金額のコストが掛かります。 期待される効果に対してコストが見合わないという点も加味して、利用しない判断をしました。

今後の指針

今後は技術部のデータ基盤チームと協力して、規約違反デザインの判定を行なう仕組みをつくっていきたいと考えています。 デザイン画像の特徴量に基づいた判定や、利用者（過去にたくさんの規約違反デザインを登録していた利用者）の特徴量に基づいた判定などを検討しています。

規約違反デザインの判定基盤を構築したうえで

  1. デザイン画像のアップロード直後にシステムによる判定処理を行なう
  2. 規約違反の疑いがあると判定されたデザインについては、一時的に商品化できないようにする
  3. それらのデザインを社内で目視確認し、問題ないと判断したものだけ商品化を許可する

というフローを目指します。

まとめ

この記事ではCREチームによるブログリレーの第1弾として、SUZURIの規約違反デザインに対する取り組みを紹介しました。 次はminne事業部にバトンを渡します。次回もお楽しみに！

書いた人

  • tanaken0515

    SUZURIでCREをやっています。エンジニアとしての強みは、ゴールデンレトリバーを飼っていることです。