Cách công nghệ nhận dạng khuôn mặt bị sai lệch và thành kiến ​​về chủng tộc

Cách công nghệ nhận dạng khuôn mặt bị sai lệch và thành kiến ​​về chủng tộc
Các thuật toán nhận dạng khuôn mặt thường được thử nghiệm bằng cách sử dụng khuôn mặt da trắng, điều này dẫn đến việc công nghệ không thể phân biệt giữa các cá nhân thuộc chủng tộc. (Shutterstock)

Cảnh sát Detroit đã bắt nhầm Robert Julian-Borchak Williams vào tháng 2020 năm XNUMX cho một vụ trộm cắp xảy ra hai năm trước đó. Mặc dù Williams không liên quan gì đến vụ việc, nhưng công nghệ nhận dạng khuôn mặt do Cảnh sát bang Michigan sử dụng đã “khớp” khuôn mặt của anh ta với một hình ảnh nhiễu hạt thu được từ một video giám sát tại cửa hàng cho thấy một người đàn ông Mỹ gốc Phi khác lấy chiếc đồng hồ trị giá 3,800 USD.

Hai tuần sau, vụ án được bác bỏ theo yêu cầu của công tố. Tuy nhiên, dựa vào trận đấu bị lỗi, cảnh sát đã còng tay và bắt giữ Williams trước mặt gia đình anh ta, buộc anh ta cung cấp ảnh chụp cốc, dấu vân tay và mẫu DNA của anh ta, thẩm vấn anh ta và giam anh ta qua đêm.

Các chuyên gia cho rằng Williams không đơn độc và những người khác cũng phải chịu những bất công tương tự. Cuộc tranh cãi đang diễn ra về việc sử dụng Clearview AI của cảnh sát chắc chắn nhấn mạnh những rủi ro về quyền riêng tư do công nghệ nhận dạng khuôn mặt gây ra. Nhưng điều quan trọng là phải nhận ra rằng không phải tất cả chúng ta đều chịu những rủi ro đó như nhau.

Đào tạo thuật toán phân biệt chủng tộc

Công nghệ nhận dạng khuôn mặt đó là được đào tạo và điều chỉnh khuôn mặt của người da trắng xác định sai một cách có hệ thống và gắn nhãn sai cho các cá nhân phân biệt chủng tộc: nhiều nghiên cứu báo cáo rằng công nghệ nhận dạng khuôn mặt là “sai sót và sai lệch, với tỷ lệ lỗi cao hơn đáng kể khi sử dụng đối với người da màu".

T làm suy yếu cá tính và con người của những người bị chủng tộc những người có nhiều khả năng bị xác định nhầm là tội phạm. Công nghệ - và những lỗi nhận dạng mà nó tạo ra - phản ánh và tiếp tục gia tăng sự chia rẽ xã hội lâu đời vốn có liên quan sâu sắc đến phân biệt chủng tộc, phân biệt giới tính, kỳ thị đồng tính, chủ nghĩa thực dân định cư và những áp bức giao nhau khác.


Một cuộc điều tra của France24 về thành kiến ​​chủng tộc trong công nghệ nhận dạng khuôn mặt.

Cách công nghệ phân loại người dùng

Trong cuốn sách thay đổi cuộc chơi năm 1993 của mình, Phân loại Panoptic, học giả Oscar Gandy cảnh báo rằng “công nghệ phức tạp [có liên quan đến việc thu thập, xử lý và chia sẻ thông tin về các cá nhân và nhóm được tạo ra trong cuộc sống hàng ngày của họ… được sử dụng để điều phối và kiểm soát quyền truy cập của họ vào hàng hóa và dịch vụ xác định cuộc sống trong nền kinh tế tư bản hiện đại. ” Cơ quan thực thi pháp luật sử dụng nó để loại bỏ những kẻ tình nghi khỏi công chúng và các tổ chức tư nhân sử dụng nó để xác định xem chúng ta có quyền truy cập vào những thứ như ngân hàngviệc làm.


Nhận thông tin mới nhất từ ​​Nội tâm


Gandy đã cảnh báo một cách tiên tri rằng, nếu không được kiểm soát, hình thức “phân đoạn điều khiển học” này sẽ gây bất lợi theo cấp số nhân cho các thành viên của các cộng đồng tìm kiếm sự bình đẳng - ví dụ, các nhóm bị phân biệt chủng tộc hoặc bất lợi về kinh tế xã hội - cả về những gì sẽ được phân bổ cho họ và làm thế nào họ có thể hiểu bản thân họ.

Khoảng 25 năm sau, chúng ta hiện đang sống với loại toàn cảnh trên steroid. Và rất nhiều ví dụ về tác động tiêu cực của nó đối với các cộng đồng tìm kiếm bình đẳng, chẳng hạn như việc xác định sai Williams.

Thiên vị tồn tại từ trước

Việc phân loại sử dụng thuật toán này xâm nhập vào các khía cạnh cơ bản nhất của cuộc sống hàng ngày, đôi khi gây ra cả bạo lực trực tiếp và bạo lực cấu trúc.

Bạo lực trực tiếp mà Williams phải trải qua ngay lập tức thể hiện rõ ràng trong các sự kiện xung quanh việc bắt và giam giữ anh ta, và những tổn hại cá nhân mà anh ta trải qua là rõ ràng và có thể được truy tìm từ hành động của cảnh sát, những người đã chọn dựa vào “sự phù hợp” của công nghệ để thực hiện bắt giữ. Thâm hiểm hơn là bạo lực cấu trúc thông qua công nghệ nhận dạng khuôn mặt và các công nghệ kỹ thuật số khác tỷ lệ, đối sánh, phân loại và sắp xếp các cá nhân theo những cách phóng đại các mẫu phân biệt đối xử tồn tại từ trước.

Các tác hại của bạo lực có cấu trúc ít rõ ràng hơn và ít trực tiếp hơn, đồng thời gây tổn thương cho các nhóm tìm kiếm bình đẳng thông qua việc từ chối quyền lực, nguồn lực và cơ hội một cách có hệ thống. Đồng thời, nó làm tăng rủi ro và tác hại trực tiếp cho từng thành viên của các nhóm đó.

Sử dụng chính sách dự đoán xử lý theo thuật toán đối với dữ liệu lịch sử để dự đoán thời điểm và vị trí tội phạm mới có khả năng xảy ra, chỉ định các nguồn lực của cảnh sát cho phù hợp và đưa sự giám sát tăng cường của cảnh sát vào các cộng đồng, thường là ở các khu dân cư có thu nhập thấp và phân biệt chủng tộc. Điều này làm tăng khả năng bất kỳ hoạt động tội phạm nào - bao gồm cả hoạt động tội phạm ít nghiêm trọng hơn có thể không có phản ứng của cảnh sát - sẽ bị phát hiện và trừng phạt, cuối cùng hạn chế cơ hội sống của những người sống trong môi trường đó.

Và bằng chứng về sự bất bình đẳng trong các lĩnh vực khác tiếp tục gia tăng. Hàng trăm sinh viên ở Vương quốc Anh phản đối vào ngày 16 tháng XNUMX chống lại kết quả thảm hại của Ofqual, một thuật toán thiếu sót mà chính phủ Vương quốc Anh đã sử dụng để xác định sinh viên nào sẽ đủ điều kiện vào đại học. Vào năm 2019, dịch vụ quảng cáo nhắm mục tiêu vi mô của Facebook đã giúp hàng chục nhà tuyển dụng khu vực công và tư nhân loại trừ những người nhận quảng cáo việc làm dựa trên độ tuổi và giới tính. Nghiên cứu do ProPublica thực hiện đã ghi lại phân biệt giá dựa trên chủng tộc cho các sản phẩm trực tuyến. Và các công cụ tìm kiếm thường xuyên đưa ra các kết quả phân biệt chủng tộc và phân biệt giới tính.

Áp bức kéo dài

Những kết quả này có ý nghĩa quan trọng vì chúng kéo dài và làm sâu sắc thêm những bất bình đẳng tồn tại từ trước dựa trên các đặc điểm như chủng tộc, giới tính và tuổi tác. Chúng cũng quan trọng vì chúng ảnh hưởng sâu sắc đến cách chúng ta hiểu biết về bản thân và thế giới xung quanh, đôi khi bằng cách chọn trước thông tin chúng tôi nhận được theo những cách củng cố nhận thức khuôn mẫu. Ngay cả bản thân các công ty công nghệ cũng thừa nhận tính cấp thiết của việc ngăn các thuật toán tiếp tục duy trì sự phân biệt đối xử.

Cho đến nay, sự thành công của các cuộc điều tra đột xuất, do chính các công ty công nghệ tiến hành, không nhất quán. Đôi khi, các công ty liên quan đến việc sản xuất các hệ thống phân biệt đối xử rút chúng khỏi thị trường, chẳng hạn như khi Clearview AI tuyên bố sẽ không cung cấp công nghệ nhận dạng khuôn mặt ở Canada nữa. Nhưng thường những quyết định như vậy chỉ là kết quả của sự giám sát của cơ quan quản lý hoặc sự phản đối kịch liệt của công chúng sau các thành viên của các cộng đồng tìm kiếm bình đẳng đã bị tổn hại.

Đã đến lúc cung cấp cho các cơ quan quản lý của chúng tôi những công cụ mà họ cần để giải quyết vấn đề. Các biện pháp bảo vệ quyền riêng tư đơn giản xoay quanh việc có được sự đồng ý của từng cá nhân để cho phép các công ty thu thập và sử dụng lại dữ liệu không thể tách rời các kết quả phân biệt đối xử của việc sử dụng đó. Điều này đặc biệt đúng trong thời đại mà hầu hết chúng ta (bao gồm cả chính các công ty công nghệ) không thể hiểu đầy đủ các thuật toán làm gì hoặc tại sao chúng tạo ra kết quả cụ thể.

Quyền riêng tư là quyền của con người

Một phần của giải pháp đòi hỏi phải phá bỏ các quy định hiện hành coi quyền riêng tư và quyền con người là các vấn đề riêng biệt. Việc dựa vào mô hình bảo vệ dữ liệu dựa trên sự đồng ý sẽ đối mặt với nguyên tắc cơ bản rằng quyền riêng tư và bình đẳng đều là những quyền con người không thể bị cắt đứt.

Ngay cả Hiến chương kỹ thuật số của Canada - nỗ lực mới nhất của chính phủ liên bang nhằm giải quyết những thiếu sót của hiện trạng môi trường kỹ thuật số - duy trì những khác biệt về khái niệm này. Nó coi sự căm thù và chủ nghĩa cực đoan, sự kiểm soát và sự đồng ý, và nền dân chủ mạnh mẽ là các danh mục riêng biệt.

Để giải quyết sự phân biệt đối xử theo thuật toán, chúng ta phải công nhận và định khung cả quyền riêng tư và quyền bình đẳng như quyền con người. Và chúng ta phải tạo ra một cơ sở hạ tầng được quan tâm và chuyên nghiệp về cả hai lĩnh vực này. Nếu không có những nỗ lực như vậy, vẻ bóng bẩy của toán học và khoa học sẽ tiếp tục ngụy trang cho những thành kiến ​​phân biệt đối xử của AI và những đặc điểm như đã gây ra cho Williams có thể được dự kiến ​​sẽ nhân lên.Conversation

Về các tác giả

Jane Bailey, Giáo sư Luật và Đồng lãnh đạo Dự án Chất lượng Điện tử, L'Université d'Ottawa / Đại học Ottawa; Jacquelyn Burkell, Phó Giám đốc, Nghiên cứu, Đại học phương tâyvà Valerie Featves, Full Professor, L'Université d'Ottawa / Đại học Ottawa

Bài viết này được tái bản từ Conversation theo giấy phép Creative Commons. Đọc ban đầu bài viết.

Hỗ trợ một công việc tốt!
enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

theo dõi Nội bộ trên

facebook-iconbiểu tượng twitterbiểu tượng rss

Nhận tin mới nhất qua email

{Emailcloak = off}

ĐỌC MOST

TỪ BÀI VIẾT

Bản tin của InsideSelf: Tháng 10 18, 2020
by Nhân viên nội tâm
Ngày nay, chúng ta đang sống trong những bong bóng nhỏ ... trong nhà riêng, nơi làm việc và nơi công cộng, và có thể trong tâm trí của chúng ta và với cảm xúc của chính chúng ta. Tuy nhiên, sống trong bong bóng, hay cảm giác như chúng ta đang…
Bản tin của InsideSelf: Tháng 10 11, 2020
by Nhân viên nội tâm
Cuộc sống là một cuộc hành trình và cũng như hầu hết các cuộc hành trình, đi kèm với những thăng trầm của nó. Và cũng giống như ngày luôn đi sau đêm, kinh nghiệm hàng ngày của cá nhân chúng ta cũng vậy đi từ bóng tối đến ánh sáng, và qua lại. Tuy nhiên,…
Bản tin của InsideSelf: Tháng 10 4, 2020
by Nhân viên nội tâm
Bất cứ điều gì chúng ta đang trải qua, cả cá nhân và tập thể, chúng ta phải nhớ rằng chúng ta không phải là nạn nhân bất lực. Chúng ta có thể lấy lại sức mạnh của mình để chữa lành cuộc sống của mình, cả về mặt tinh thần và tình cảm,…
Bản tin của InsideSelf: Tháng 9 27, 2020
by Nhân viên nội tâm
Một trong những sức mạnh tuyệt vời của loài người là khả năng linh hoạt, sáng tạo và tư duy vượt trội. Trở thành một người khác với chúng ta của ngày hôm qua hoặc ngày hôm trước. Chúng ta có thể thay đổi ...…
Điều gì làm việc cho tôi: "Vì điều tốt đẹp nhất"
by Marie T. Russell, Nội tâm
Lý do tôi chia sẻ "những gì hiệu quả với tôi" là nó cũng có thể hiệu quả với bạn. Nếu không chính xác như cách tôi làm, vì tất cả chúng ta đều là duy nhất, một số phương sai của thái độ hoặc phương pháp rất có thể là một cái gì đó…