AI活用による福祉申請不正検出実験がアムステルダム市で公平性と倫理的課題に直面

アムステルダムの市役所で、広いガラス越しに外を眺めていたある日。ハンス・デ・ズワルトという元体育教師で、今はデジタル権利保護の活動家として知られている人が、市の福祉申請者すべてをAIが審査して不正を見抜く——そんな計画について噂程度に耳にした時、かなり驚いたみたいだ。去年の初め頃だったかもしれない。彼はビッツ・オブ・フリーダムというオランダでは有名なNGOで責任者もしていたし、市役所にももう数年近く助言してきた経験があるらしい。ただ、この「スマートチェック」と呼ばれるAIモデルだけは、他と比べても何か違和感が強かった、と本人は振り返っている。「根本的に直せないような問題点がどうやらあるようだ」と彼は語る。

同じ建物内でもう一人、ポール・デ・コーニングというコンサルタントもその話題になったAIについて意見を持っていた。この人はいろんな政府機関で仕事した経歴もあり、スマートチェックの試験導入にも深く関わってきたそうだ。むしろ彼はこの取り組みにちょっとした誇りさえ感じていて、「効率アップやバイアス排除につながるなら意味があるかもしれない」と考えていたふしがある。専門家との議論や偏りテスト、市民へのフィードバック募集など、一通り新しい倫理的AI開発手順にもそれなりに従ってきたらしい。「悪くない印象だった」とも話していた。

こうした対照的な考え方には、不思議と世界中どこでも似たような議論が絡んでいる気配もする。アルゴリズムによる人間への判断は、本当に公平さを実現できるものなのか？ここ十年ほど各国で色々試されてきたけど、「非白人求職者が就活から外された」「子育て家庭への調査ミス」「生活支援金の誤認拒否」なんて話も断片的に聞こえてきたりする。その一方で、行政サービス効率化とか税金流出防止という名目では「一定程度役立つ」という声もあった。ただ、多くの場合設計段階から穴だらけだった事例も少なくないし、人の属性情報まで持ち込んで差別につながったケースもちょっと前から指摘され始めている。

結局、「自分自身には理由すら説明できず何かサービスを受け損ねる」みたいなことになるパターンもしばしば起こったようだ。その結果として、小規模な自治体から大都市まで——ニューヨークやソウル、それからメキシコシティとか——様々な場所で「責任あるAI」を掲げ直す動きに注目が集まりつつある感じだ。「社会全体への利益と負担減、その両立を目指す」そんな理念には賛否両論混じっている。

ヨーロッパ連合では「倫理的AI」が優先課題として挙げられていて、一時期アメリカでもバイデン政権下では権利章典案まで出されたこともあった。でも、その後トランプ政権になって平等性とか公正性への政策配慮自体が国レベルでは削除されたとも聞く。それでも実際には州単位や市町村レベルなど一部地域ごとに新しい原則へ取り組もうとしている例はちらほら見える。「誰を雇用するか」「虐待疑い事例の調査タイミング」「支援サービス対象者決定」など、影響範囲は結構幅広い。

アムステルダム市自身も最初から慎重だったみたいだ。福祉担当職員たちは「技術活用による不正防止と市民保護、その両立」を理想像として掲げ、新基準となる開発手法や検証プロセスへかなり時間と予算を割いて挑戦していた。ただ、このプロジェクト――実際には生身の市民申請にも使われ始め――何割かうまくいった部分だけじゃなく、未解決の課題もちょっと残ってしまったようだった。

けれども、実際に導入してみると、どうも開発された仕組みは想像通りにはいかなかったらしい。なぜだったのか。ライトハウス・レポートやMITテクノロジーレビュー、それからオランダのトラウ紙がこの「スマートチェック」なるアルゴリズムへ、滅多にない形でアクセスできたそうだ。市が情報公開請求に応じてくれて、何種類かバージョン違いのアルゴリズム、それに現場で申請者をどんなふうに評価したかというデータまで開示されたとか。そのおかげで、「もし全て理想的な条件が揃ったら、こういうAIシステムは本当に約束した通りの成果を出せるのだろうか？」なんて問いについて多少は中身を覗くことができた。でも、その答えって簡単じゃないよね。

デ・コーニングさんには、この仕組みが以前よりも公正で透明な福祉制度への一歩…そんなふうに感じられた。一方でデ・ズワルトさんは、「どんなに技術を調整しても受給者の権利上、大きなリスクが残る」と見ていたみたい。数年間続いたこの試行錯誤は、「責任あるAI」が理論や宣伝文句だけじゃなく、本当に現場でもっと公平さを生めるものなのか…という根っこから問い直す出来事になったんだろう。

これには背景もあって――アムステルダムがAIによる不正防止プロジェクトを始めるまで遡ると、およそ四十年前ぐらいの全国的な福祉調査スキャンダルへ話が戻る。1980年代半ば頃、アルビネ・グルンボックさんという離婚歴ありのお母さん（三人子持ち）が何年も生活保護を受けていた時期、ご近所の社会サービス職員（たぶん顔見知りだったと思われる）が彼女の日常を密かに監視していたことを後になって知った。男性友達が家に来たとか、そういう細かい日常まで記録されていて、「もしその人がお金を渡していたら」と疑われ、支援金は打ち切り。でも最終的には裁判で勝訴した、と言われている。

ただ個人として報われても、大きな流れでは、その後もオランダ福祉政策は「歯ブラシカウンター」と呼ばれるような徹底調査型の調査官へかなり大きな権限を持たせ続けてきたらしい。この空気感は今でも残っていて、お互い疑心暗鬼になる原因にも繋がっている、と長年この分野で活動する弁護士ファン・ホーフ氏は考えている。「政府側も市民側も結局信頼し合えていない」と彼はいったことがある。

ハリー・ボダーさんという経歴豊富な行政マン（昔はソーシャルワーカーや不正調査官として働いていて、現在は市役所で福祉政策アドバイザー）などによれば、この三十年ほど制度自体が「輪ゴムやホチキス」で辛うじて成り立っている状態、と表現するくらい複雑化してしまった。「そして弱い立場ほど簡単に抜け落ちちゃう」。だからこそ、本当ならもっと受給者目線で役立つ仕組みに変えたいと思ったこと、それ自体が2019年ごろスマートチェック設計開始時点で大きな動機だったとか。「本当に必要そうなケースだけ絞ってフェアに確認したかった」――昔みたいに全件家庭訪問する方針とは明確に違う意図だったと言う。ただし一方では、オランダ国内ですでにAI活用型福祉チェックの失敗例はいくつか明らかになっており、不安要素も小さくなかった。

例えば数年前から全国規模の育児手当審査では、不正検出用AIによるリスクプロファイル作成という施策が進められていたけれど、この取り組みでは将来移民系とされる家庭やその子供達など、多くの場合誤認識されてしまった家族（七十世帯前後とも言われる）が不正扱いとなった問題なども報道された。六年以上続いたこの騒動自体、公平性への挑戦として語られることもある。

家族を借金に追い込み、何人かは貧困状態に陥り、最終的にはオランダ政府全体が二〇二一年に辞任するという出来事もあったようだ。ロッテルダムでは、数年前に調査報告が出たことがあるらしく、そのとき明らかになったのは、福祉不正受給対策システムが女性や親、外国生まれの人々など社会的に弱い立場の人たちへ偏見を持っていたという話だった。結局、その都市ではこの仕組みを停止したらしい。他にもアムステルダムやライデンといった場所でも、「フロードスコアカード」というものが使われていたけど、それも今から二十年ほど前から導入されていて、学歴とか住んでいる地域、親であるかどうかや性別など、とても大雑把な基準で申請者を判断していたそうだ。その仕組みももうなくなっている。

こうした問題はオランダだけではないみたい。アメリカでも同じようなアルゴリズムによる公的支援分配システムが十数件あったと言われていて、中にはミシガン州で数万人もの人たちが失業手当詐欺と誤って指摘されたケースもある。フランスでは、障害者や低所得層の申請者への差別的対応について裁判沙汰になっている、と聞いたこともある。

これら一連の出来事や、人種差別などアルゴリズムによる影響への意識の高まりによって、「責任あるAI」という考え方が強調され始めたとも言えるかもしれない。この用語自体、倫理だけじゃなく公平性についてまで考えなきゃいけないよね…という意味合いで使われるようになったらしい。実際には透明性とかプライバシー、それから安全性なんかも重視しようという流れ。ただ、この分野でも一気に白書やフレームワーク、コンサルティング会社なんかが出てきていて、大手企業から新興スタートアップまで混在している様子。

例えば経済協力開発機構（OECD）が「信頼できるAI」に関する原則集を数年前にまとめたりしている。その中身は説明可能な仕組み作りとか、市民参加型の審査、公平性監査など。だけど長年積み重ねられてきたアルゴリズムへの不信感はすぐには消えないし、公平とはどこまでなのかについて合意もまだまだ進んでいない感じ。

オランダ国内でも改革が模索されているけれど、「Algorithm Audit」というNGO団体は福祉受給者をプロファイリングするための技術利用について条件付き容認くらいの立場で、一部属性—特に性別など守られるべき情報—を排除すべきだと提案している。一方で国際人権団体やデジタル権利擁護団体、それから当事者自身の中には「そもそも行政サービス分野ではAI自体使うべきじゃない」と主張する声も見かける。

アムステルダム市としては「以前起こった問題からちゃんと学んだ」と語る政策担当者もいる。「市民に対して善意と公正さを示したかった」と話していたけど、本当にそれがどうだったかはわからないところもある。

具体的な運用としては、市民が給付申請すると担当職員が書類内容をざっとチェックし、おかしな点が見つかった場合は調査部門へ回す流れ。ただ、不備訂正依頼になることもあれば、一部減額提案につながることさえあるそうだ。そして支給後にも突発的な調査対象になることがあり、その結果お金を返還しなくちゃならなくなる場合さえ珍しくないらしい。それによって借金生活になる例もちょくちょく耳に入る。

さらに役所側にはかなり広範囲な権限—銀行記録提出要求、市庁舎への呼び出し、自宅訪問まで—与えられていて、それぞれ状況次第だけど必要書類修正や追加調査待ちで本来早く欲しかった資金提供まで遅れることもしばしば。全部ひっくるめて完璧とは言い難く…

アムステルダム市が福祉申請を調査する際、どうも半数より多いケースで不正の証拠が見つからないことがよくあるらしい。ボダール氏によれば、このパターンだと「誤って人々を困らせてしまう」可能性も指摘されている。そのため、市は「Smart Check」という仕組みを考え出したわけだ。これは最初の担当者が怪しい案件を選ぶ工程を、ゆくゆくは丸ごとシステムに任せることで、似たような問題を避ける狙いだったそう。アルゴリズムが個々の申請者の特徴をもとに、大きなミスにつながりやすいものだけピックアップして調査班へ回す……まあ上手く動けば、人間よりもうちょっと絞り込んで、本当にエラーが起きている割合の高い事例だけ拾えるという話だった。

市側は内部資料で「この方法なら百数十人くらいのアムステルダマーが借金取り立てから免れるかもしれないし、年間で二億円台前半のコスト削減になるかも」と予想していた。プロジェクト運営に携わることになったデ・コーニング氏なんかは、その時点ではかなり前向きだったらしい。「科学的アプローチだから実験的にやってみよう」という温度感で、「何としてでも突き進むぞ」みたいな強引さじゃなかったとか。

こういう新しいアイディアには、若手技術者も惹かれた部分があったようで――ロエク・ベルカースさんなんかは大学卒業後まだキャリア二件目なのに早速関わっていたそう。市庁舎裏のカフェで当時を思い返し、「自治体なのに珍しく新しめな試みだった」と話していたっけ。

Smart Checkそのものには「説明可能型ブースティングマシン」というAIモデルが使われていて、普通よく分からなくなるブラックボックス型より多少中身が見えやすかったらしい。他の機械学習だと計算過程も複雑だし現場職員にも利用者にも理解しづらい。でもこのモデルなら十五項目ほど――例えば以前給付申請した経験とか資産合計額とか住所履歴みたいな情報――それぞれについてリスク評価する形になっていた。ただ意図的に性別や国籍・年齢などの属性情報、それから表面的には関係ないようでも特定集団との関連性が出やすい郵便番号などは除外されていた。

これまで他都市ではほぼ見られないくらい、市当局はモデル内容やバージョン違いまで外部公開した経緯もある。それによって第三者でも仮想的な受給申請パターンを作成して評価過程を見ることができた、と聞いている。このAIモデル自体は三千数百件規模の既存調査記録から訓練されたものなので、公務員たちによる過去判断結果を元データとしてパターン抽出していた格好だ。

ただ、その方法論にも懸念点はいろいろ挙げられている。例えばアムステルダム大学Civic AI Lab（CAIL）のギェブレアブ所長曰く、「歴史的データ頼りだと結局昔あった偏りまで引き継ぎかねない」と指摘されている。もし仮に過去担当者たちが特定民族グループ相手によくミス判定していた場合、それ自体AI学習でも「そのグループ＝不正率高め」みたいな誤解につながる余地もあり得る、と。

そんな背景もあって、市側としては脆弱層への不利益バイアス検証・監査には慎重姿勢だった様子。ただ「どこまでなら偏見と言えるか」「何を持ってアルゴリズム公平性と言うべきか」――この辺りになると今なお議論続き、としか言えない雰囲気だった気がする。

過去十年ほど、学者たちは公平性について色々な数学的な考え方を提案してきたらしいけど、その多くはどうも相容れない部分があるようだ。つまり、一つの基準で「平等」や「公正」を目指すと、他の何かしらは必ず犠牲になることもあるって話。アムステルダム市が採用したのは、不正調査の負担を様々な背景のグループ間でなるべく均等に分配する――そういうフェアネスだったみたい。要するに、どこの出身とか関係なく、誤って調査対象になる確率が同じくらいになることを期待していた、と。

さて、このSmart Checkという仕組みを作る際、市当局はいろんな関係機関にも意見を聞いていた模様。市内のデータ保護担当者や個人情報委員会なんかも協議に加わったっぽい。それから民間コンサル会社とも話していたとか。ただ、それぞれ承認はしたものの、一つだけ重要なグループが納得していなかった。その団体というのが「パーティシペーション評議会」――ここには生活保護受給者や支援活動家など十数人ほどが集まっているそうだ。この評議会は、そもそも制度設計された人たち自身や、その利益を代弁する立場だと言える。

例えばアンケ・ファン・デル・フリートさん。もう七十歳代に入った今も、そのメンバーとして長年声をあげてきた一人。彼女は南地区あたりのお店で椅子へゆっくり腰掛けながら眼鏡ケースをごそごそ探し、「最初から信用できなかった」と控えめに語っていた。それから分厚い資料束まで持参していて、「誰ひとり賛成していないんです」とぽつりと言う。彼女自身、昔から福祉受給者へのサポート一筋だったというし――四半世紀以上前かな、「女性と福祉」という団体立ち上げにも携わった経験があるとか。

二〇二一年秋、市職員側がこの新しいプランを評議会へ初めて説明しに来たそうだ。その時点ですでに強い疑念が湧いていたとのこと。「これは私たちに本当にメリットなの？それとも逆？」そんな問いかけさえ出ていたようだけど、結局あと何度か集まっても不安感は消せなかったらしい。ただその後、評議会によるフィードバックによって幾つか大事な修正点――例えば最初考えていた変数を減らしたり、バイアスにつながる恐れのある要素（年齢など）は除外する、といった変更には繋がったようだ。

でも半年くらい経ったあたりでもう参加自体やめてしまった。「こういう実験的取り組みは市民権利に深く関わるので、中止すべきだと思います」……これが二〇二二年三月時点でまとめた意見文だった。ちなみに福祉申請で不正とされる割合は全体の中でもかなり小さい（約三割以下）とされており、「アルゴリズム導入そのものが過剰では？」との懸念まで記されている。

デ・コーニングというプロジェクトマネージャーが、システムが本当にヴァン・デル・フリートさんやその同僚たちの承認を得られたかどうか、ちょっと懐疑的だったみたい。参加評議会全員がスマートチェックに賛成するなんて、最初から難しかったって言う人もいたし、「社会保障制度全体に感情的なもつれが多すぎた」みたいな話もちらほら。何かまた問題が起きるんじゃないかと怖れている人もいた様子。

ただ、支援団体で働いている人とか実際の受給者にとっては、「スキャンダル」よりも現実的な被害の方が心配だったっぽい。技術がミスをしてしまうこと、それを正す手段まで遠ざけられること――そんな不安があったそうだ。「役所の職員がデジタル化された壁に隠れるようになる」と長年アムステルダム福祉協会で活動しているヘンク・クローン氏は懸念していた。役所側には便利でも、普通の市民にはむしろ厄介事になる場合もある、と。

それでも結局、市は参加評議会の反対にもかかわらず、この仕組みを一度試してみることになったようだ。ただ、その結果というのは…まあ、期待とは違っていた気配。2022年春ごろだったかな、市の分析チームが最初のモデルを動かした時点で、「外国出身者や男性へのバイアス」がかなり強く出てしまったとのこと。この傾向は外部調査でも確認できたそうで、非オランダ国籍の申請者ばかり誤判定されやすかったとか、西洋以外出身の場合にはさらにその傾向が色濃かったとも伝え聞く。

それだけじゃなくて、男性申請者についても明確に誤判定率が高めになっていた模様。一方、人間のケースワーカーによる従来方式について市側で調べ直した結果では、不思議なことにそちらは逆パターン――オランダ国籍や女性への誤判定率が高めだったという話もある。

こういう違いを目の当たりにして、開発チームとしては「偏り」を修正できないならこのプロジェクト自体なくなる可能性さえあったみたい。それで学術界などでも使われる「トレーニングデータ重み付け」という方法へと頼ることになったそうだ。簡単に言うと、西洋以外出身で重要な記載ミスをした申請者データへの重み付けを控えめにし、西洋系出身者データへの影響力を大きくする…そんな工夫。

その効果なのか、「オランダ国籍・非オランダ国籍どちらにも同じくらい誤判定されやすさ」が近づいてきた、と後から入ったデ・コーニング氏もちょっと安心した様子。「これなら進めてもいい」と感じた部分もあったらしい。

あともうひとつ、市内部テストによればこのモデル、新しい仕組みによって「ケースワーカーより少し良い精度」で審査対象候補を見つけられるようになってきた気配だとか（おおよそ二割ほど上乗せされたぐらい）。この改善結果にも励まされて、市側は翌年春ごろには公開準備まで進めていた……そんな流れだったと思う。

スマートチェックという仕組み、どこかで見たような話だが、あれもアルゴリズム登録簿に提出されていたらしい。確か政府が市民向けに機械学習の中身をちょっとだけ透明にしようって始めた仕組みだったと思う。こういう話になると、デ・コーニングさんは色々と調査や議論が行われてきたこと自体には前向きだったとか。昔ながらのアナログ方式にも偏りがあることがわかった点も、まあ評価できる部分かな、と。

ただ、デ・ズワルト氏からすると、それ自体に根本的な誤解があるんじゃないか…と感じていたみたい。「公平性は設計できるものなのか？」って彼は疑問視していたそうだ。市への手紙でこのプロジェクトの考え方自体を指摘しつつ、「もしデータ重み付け変えても、移民系全体への偏見を減らせても交差する属性まではカバーできない」なんて書いてあったとか。つまり例えば移民背景を持つ女性なんかには不利益が残り得るし、更に言えば特定郵便番号の移民女性などには依然として差別的な扱いになる可能性もある、と。それにそんな複雑な偏りはすぐには気付きづらいとも。

デ・ズワルトさん曰く、「責任あるAI界隈で推奨されているツール――バイアステストや人権評価、自動化バイアスまで一通り盛り込んでいる」と。でも結局、市側は「根本的によくないアイディア」を進め続けている気配だったとも話していたっけ。「過去の行動データから市民の将来を予測して判断する正当性って、本当にあるのか？」……まあ、その辺ずっと悩ましいテーマだろう。

それでも役所側はプロジェクトを進めることになって、パイロット運用開始時期も決まった――三月ごろだったかな。その知らせ、市議会メンバーには直前になって伝わったという話も聞いた。グリーンパーティー所属でまだ一期目（宗教や価値観研究も並行している）エリザベス・アイムカー議員は、「アルゴリズム」と「詐欺対策」が同じ文脈で出てくる時点で議論すべきと言いつつ、その頃には既に数年単位で計画が進んでいて「審議」より事後報告に近かった印象だそう。

さて実証試験スタートとなった際、選ばれた申請者グループ（人数や範囲はかなり限られていたようだ）の福祉申請書類をAIアルゴリズムがスコア付けし、不審案件としてフラグ立てする流れ。同時並行でもう一人間スタッフによる審査も走っていた。このシステム評価ポイント、大きく分ければ二つ。ひとつ目は「応募者への偏見抜き」で判定できるのか。そしてもう一方、「スマートチェック」は本当に賢い？　つまり、人間職員以上に巧みに不正検知できたり、公平さ担保したり出来たのかどうか。

…でも程なくして、そのモデル両方とも期待通りとはいかなかった、という声が上がったようだよ。

もともと、申請者の調査対象数を減らすために設計されたはずのシステムなのに、なぜか以前よりも多くの人が選ばれてしまった。実際、本当に追加調査が必要なケースを見つける力も、ベテラン担当者と比べて特段優れていたわけではないみたい。色々な手間をかけて調整し直したにも関わらず、現場で運用するとまた偏りが出てきたらしい。ただ、その偏りの内容もちょっと違っていて、最初のテストではオランダ国籍以外や男性が誤って多めに選ばれる傾向だったものが、本番パイロットでは逆にオランダ国籍を持つ人や女性の方が余計に疑われやすくなったという指摘もあったとか。

しかも、市の公式文書には載っていない別種の偏りについても、Lighthouse側が自分たちで検証して気づいた、と聞こえてきた。例えば子どものいる申請者ほど間違って調査対象になりやすいことなど。アムステルダム市役所からは、この件について問い合わせても返事は無かったようだし、そのほか全体的な福祉制度への質問にも特にコメントは出ていないみたい。

結局、七十人以上もの申請案件がこのモデルで審査された時点で、多くのチームメンバーたちもちょっと続行には慎重になってしまったという空気。「これなら絶対に差別じゃない」と断言できる状況から程遠かった、とde Koningさんなんかは振り返る。でも彼自身や関係者全員が「だから即中止」という判断でもなく、「せめて一年くらい様子見ながら改良したかった」と話していたそう。ただ、それを納得してもらうのはかなり難しいことだったんじゃないかな。

時間軸としては昨年秋ごろ、市政担当責任者Rutger Groot Wassink氏が議会で突然タブレットを確認しつつ「このパイロットは終わらせます」と発表したそうだ。それで数年続いた大規模な試みはいったん幕引きとなった。その後改めて理由について説明する場面では、「もし今ここまで強いバイアス入りアルゴリズムだと分かったパイロット案を正当化する立場になれば、多方面から厳しい批判を受けることになるだろう」と言及。誰でもそう思う部分あるよね。

視点によって捉え方はいろいろだけど、一部から見ればリスク低減策込みで画期的手法を模索し、一応深刻な影響が広まる前には止めた…とも言える。一方市議会内には機会損失について考える声もあり、「そのお金、人との直接的接触強化とか他にも使えたんじゃ？」と雑談交じりに話題になったこともあるとか。ちなみにプロジェクト総費用は詳しく知らされずじまいだった様子だけど、MIT Technology Reviewなど外部メディア経由では五十万ユーロ程度＋Deloitteへの契約料（これは三万数千ユーロ）ぐらいだったようで。しかしSmart Check自体、市職員チーム中心の内製開発なので、本当の合計額は曖昧との但し書き付き。

参加評議会側代表van der Vlietさんあたりになると、この結果にもさほど驚いてはいなくて、「最初からこういうコンピューター差別リスクこそ心配要素だった」と話している。それじゃ従来型システム自体にも同種問題あるんじゃ？という疑問も残るけど…。

「うん」と、彼女は少し曖昧に返事をした。「でも、前からずっと差別的だって言ってきたのよ」。他にも何人かの支援者がいて、市が本当に注目すべきなのは、生活保護受給者を悩ませている現実的な課題――物価がここ数年でじわじわ上昇してきたのに支給額はほとんど変わらないとか、ちょっとした状況変化も細かく報告しなければならないこと、それに市役所側から感じる妙な不信感――そういうところじゃないか、と繰り返し話していた。こういった仕組みで本当にうまくいくことなんてあるのか、という疑問は消えなかった。ボダール氏と話したのは一年半ほど前になる。当時パイロット事業が終わってからもう七十週以上経っていた気がする。彼自身かなり正直だった。「一番ややこしいシステムを最初に選んでしまったのは、多分あまり良い判断じゃなかったかもしれません。それと…まだAIをこの目的に使う時期ではないような気もしますね」と言っていた。

「いや、本当にゼロです。今後AIで申請者を評価するつもりはありません」とまで言い切って、「でもね、この経験から何を学んだと言えるだろう？そこはいまだによく考えてます」と付け加えた。この問いについてイェムカーさんも議会で何度か触れている。スマートチェックの件は「こうしちゃいけない例」として取り上げていたようだ。市役所職員がさまざまな手続きを丁寧に進めていたこと自体には一定の評価を示しつつも、その裏側では政策として考え直すべき哲学的・政治的価値観みたいなものがずっと置き去りだった、と気になっている様子。「そもそもプロファイリングとはどう向き合えば？」とか、「どこまでなら許される？」さらに「バイアスとは一体何なの？」…そんなことばっかり考えてしまうらしい。「そこには結局政治や倫理観が絡む話だから、チェックリストだけじゃ片付けられないよね」。ただ最近になってパイロット事業そのものが終了してしまったため、周囲の議員たちは「あぁもう済んだ話ね、終わり終わり」みたいに早々と手放す空気になったとも感じているそうだ。「それじゃせっかく数年単位で関わった人たちの努力まで無駄になっちゃう気がする」と呟いていた。

モデル導入を諦め、市として昔ながらの方法――つまりアナログな審査方式へ戻す決断を下した。その旧来プロセスについて市自ら分析した結果を見る限り、女性やオランダ国籍者への偏見傾向が前から薄々指摘されており、それはバーカース氏（元データサイエンティスト）にも印象深かったようだ。パイロット停止によって市当局は微妙に厄介な現実――スマートチェック内層部で複雑化していたバイアス問題と同様、その根っこが窓口主導型でも残る――それ自体には直接向き合おうとしなくなった、と彼は感じ取ったみたい。「決定…とは言いつつ、“何もしない”という選択肢にも思えてしまいますね。このアナログ方式にも独特な偏見性質がありますから」、そんなふうにつぶやいていた覚えがある。

チェンという倫理AIのコンサルタントが、だいたい同じ意見を持っているらしい。彼は「どうしてAIだけが、人間より厳しい基準で見られないといけないんでしょう」と疑問を投げていたとか。ケースワーカーたちについて話す時も、「偏りを直そうとする全体的な試みは特に無かったように思える」と口にしていた。アムステルダム市当局は福祉手続きでの人間側のバイアスについて報告書を書くと何度か言っているけど、発表日は何度か延びてきた気がする。

実際問題、倫理って現場では完璧にはならない――そんな趣旨でチェン氏も話していた。誰でも納得できる「差別しちゃいけません」という大原則はある。でも、それを現実の制度に落とし込むとなると色んな複雑さが出てくる、と彼は指摘していた気がする。どんな解決策も結局、試行錯誤からしか生まれないものなのかもしれない。その過程には失敗や遠回りも当然あって、その“コスト”みたいなものは避けられない、と。

ただ、公平性というもの自体をもっと根本的に考え直した方がいい時期なのかもしれないね、と彼はふと思った様子だった。数式上の定義だけじゃなく、その仕組みに影響される当事者たちこそ声を挙げてもいいんじゃない？という研究者もちらほら現れているそうだ。「こういうシステムって、結局本人たちが納得できて初めて機能するんですよ」と語るのはジョージタウン大学のエリッサ・レッドマイルズ准教授。アルゴリズムによる公平性について調べてきた人らしい。

何にせよ、こういった問題――プロセス云々だけじゃなく、その背景――にこれから多くの国や自治体が向き合わざるを得なくなる雰囲気だ。しかもそれほど先の話でもなさそうで、AIが生活に入り込むペースを見る限り急ぎ足になる可能性もちょっとありそうだ。

デ・ズワルトさん（この方、多分関係者）が言うには、大枠の問いそのものをちゃんと扱わず進めば、「アムステルダムみたいな都市で善意から導入されたスマートチェック的な仕組みですら、同じような教訓ばかり繰り返すことになる」と警鐘っぽいことも述べていた印象。「テクノロジーで全部片付けようとして、本質的には違う種類の課題まで巻き込んでしまっているだけなんじゃ？」とも言っていて。

さらに、「本当に目指すべきなのは今みたいな形なんでしょうか？市役所が例えば、“本来受給資格があるのに申請していない人” を探し出すためアルゴリズム作ったらどうなんでしょう」そんな疑問まで投げかけてくれた。

イーレン・グオさん（MIT Technology Review の特集記者）、ガブリエル・ガイガーさん（Lighthouse Reports の調査記者）、そしてジャスティン＝カジミール・ブラウンさん（こちらもLighthouse Reports所属）が記事制作チームだったようだ。他にもトラウ紙からジェローン・ファンラールテ氏や MIT Technology Review のメリッサ・ヘイッキラ氏、それから Lighthouse Reports のタフミード・シャフィク氏など何人か追加取材しているとのこと。そして事実確認にはアリス・ミリケンさんも関与したとか。

詳細な技術手法について知りたい場合はリンク先説明文（英語）参照……との案内あり。それからトラウ紙による関連ストーリー（オランダ語）もちょっと探せば読めるかもしれません。