ウォズニアック氏は、自分と妻は銀行やクレジットカードの口座を共有しているにもかかわらず、アップルカードの自分の利用限度額は妻の10倍だと明らかにし、他の金融機関では自分と妻は平等に扱われているとも指摘。
「アルゴリズムに明らかに欠陥がある」とし、「非常に多くの人は『技術は敬愛するが、制御がなっていない』とぼやくだろう。これはまさに今回の件に当てはまると思う」と語った。
やっぱ深層学習で男女差別的なデータを学習した奴かな．
- 「人工知能に潜む5つのバイアス」 https://jp.techcrunch.com/2016/12/12/201612105-unexpected-sources-of-bias-in-artificial-intelligence/
- 「バイアスなきAIを創るのは、なぜ難しいのか」 https://jp.techcrunch.com/2016/11/09/20161107why-its-so-hard-to-create-unbiased-artificial-intelligence/
- http://javablack.hatenablog.com/entry/20181012/p1
アップルカードの問題は、ハイテク起業家のデービッド・ハイネマイヤー・ハンソン氏が７日以降のツイートで、自身に与えられた利用限度額が同氏の妻の20倍だったことに疑問を呈したのがきっかけで明らかになった。ニューヨーク州金融サービス局（ＤＦＳ）は調査開始を発表している。
あの DHH か．なるほど．そら彼が言えば大ニュースになる．
https://b.hatena.ne.jp/entry/s/www.bbc.com/japanese/50370810
- id:tagomoris “実業家のデイヴィッド・ハインマイヤー・ハンソン氏が” DHHやんけ / いろいろ書いてた https://twitter.com/dhh/status/1192540900393705474
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.29,2535:34 – 2019年11月8日Twitter広告の情報とプライバシー11,208人がこの話題について話しています
- id:quick_past システムのバグは開発側にあるわけだけど、AIの場合なぜ擁護が湧くのだろうか？
- id:HanPanna 統計は社会を映す鏡というように、社会に差別があればダイレクトに数値に反映される。そんな事は機械学習の世界でずっと前から言われてることで考慮しなかったAppleが差別側。AIじゃなくて。
- id:yoiIT 機械学習のインプットに差別が入っていれば機械的に差別的な判断を下すのは必然。という問題は散々言われてきてたけどね。
- id:minoton AmazonのAI採用中止なんかもあったよねえ。モデルの性能評価のときに差別（偏り）チェックが必要なんだろうね https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN AI
- id:TakamoriTarou 「コンピュータがアルゴリズムに従ってるから公平だ」って言うのは「ルールに従っているから公平」ってのと同じだよなあ…。まずいと言われて「レシピに従ってるからおいしい」と反論するみたいな。
- id:nowa_s 男性は身長が高い方が高い地位につきやすく、収入も高くなりやすいって調査結果があるけど、購入した洋服や靴のサイズとかから身長を判定されて、カードの限度額を変えられたら嫌だよね
- id:yuzumikan15 直接関係ないけど、米国では囚人を仮？釈放していいかを過去の犯罪者の再犯率から機械学習してるとこがあり、どうしても黒人スラム街出身者は仮釈放されにくくなるとテレビでやっていた。教師データに何使うかよね。
- id:marmot1123 食わせるデータに男女の別や名前等を入れずに判定させれば良いのではなかろうか。そう簡単ではない？
- id:differential 与信の情報から性別をなくしたらダメなん？アファーマティブは別建てで考えるとして／性別で年収の多寡傾向はあるだろうけど、性別で精算や返済のトラブルの差とかあるのかな。
それが違うんですよ．
Amazonの採用AIの事例で報告済み．男女という項目を消したところで他のデータから性別との相関がとれるから，間接的に女性の可能性を推測し，それを元に教師信号に含まれる男女差別を再現したようだ． *1
「Apple Cardはクレジットカード中でも最も立ち上げに成功」提携先のゴールドマン・サックスCEO発言
https://japanese.engadget.com/2019/10/17/apple-card-ceo/少し前の記事より，
もっともApple Cardの審査基準に関しては、米国では通常なら落とされてもおかしくないクレジットスコア（その人の信用を測る目安）600台でも承認されたとの報告もありました。もともと投資銀行であるゴールドマンにとって消費者金融は新たな領域であり、アップルと提携したのも莫大な数のiPhoneユーザーにすそ野を広げる狙いと見られていることからも、ひとまず審査基準は甘くして多くの顧客の取り込みを優先していると思われます。
IT業界の現場の真実 