Trong các hệ thống tư pháp hình sự, thị trường tín dụng, đấu trường việc làm, quy trình tuyển sinh giáo dục đại học và thậm chí mạng truyền thông xã hội, thuật toán điều khiển dữ liệu bây giờ thúc đẩy việc ra quyết định theo những cách chạm vào đời sống kinh tế, xã hội và công dân của chúng ta. Các hệ thống phần mềm này xếp hạng, phân loại, liên kết hoặc lọc thông tin, sử dụng các quy tắc do con người tạo ra hoặc do dữ liệu cho phép xử lý nhất quán trên các quần thể lớn.

Nhưng trong khi có thể có hiệu quả đạt được từ các kỹ thuật này, họ cũng có thể thiên vị chống lại các nhóm thiệt thòi or củng cố sự phân biệt cấu trúc. Chẳng hạn, về mặt công lý hình sự, liệu có công bằng khi đưa ra phán xét về việc tạm tha của một cá nhân dựa trên xu hướng thống kê được đo lường trong một nhóm người rộng lớn? Phân biệt đối xử có thể phát sinh từ việc áp dụng một mô hình thống kê được phát triển cho dân số bang này sang dân số khác, dân số khác nhau?

Công chúng cần hiểu sự thiên vị và sức mạnh của các thuật toán được sử dụng trong phạm vi công cộng, bao gồm cả các cơ quan chính phủ. Một nỗ lực tôi tham gia, được gọi là thuật toán trách nhiệm, tìm cách làm cho ảnh hưởng của các loại hệ thống đó rõ ràng hơn và được hiểu rộng rãi hơn.

Các kỹ thuật minh bạch hiện có, khi được áp dụng cho các thuật toán, có thể cho phép mọi người giám sát, kiểm toán và phê phán cách các hệ thống đó hoạt động - hoặc không, như trường hợp có thể. Thật không may, các cơ quan chính phủ dường như không chuẩn bị cho các câu hỏi về thuật toán và việc sử dụng chúng trong các quyết định ảnh hưởng đáng kể đến cả cá nhân và công chúng nói chung.

Mở các thuật toán để xem xét công khai

Năm ngoái chính phủ liên bang bắt đầu học những ưu và nhược điểm của việc sử dụng phân tích dữ liệu trên máy vi tính để giúp xác định khả năng tái cấp vốn của tù nhân khi được trả tự do. Ghi điểm các cá nhân ở mức thấp, trung bình hoặc rủi ro cao có thể giúp đưa ra các quyết định về nhà ở và điều trị, xác định những người có thể được gửi đến nhà tù an ninh tối thiểu hoặc thậm chí là một ngôi nhà nửa chừng, một người hay được hưởng lợi từ một loại cụ thể chăm sóc tâm lý.

Thông tin đó có thể làm cho quá trình công lý hiệu quả hơn và ít tốn kém hơn, và thậm chí làm giảm sự đông đúc của nhà tù. Đối xử với những người phạm tội có nguy cơ thấp như những người phạm tội có nguy cơ cao đã được chứng minh trong một số nghiên cứu để dẫn đến việc họ nội tâm hóa thành một tên tội phạm bệnh hoạn và cần được điều trị cho hành vi lệch lạc của họ. Do đó, tách chúng có thể làm giảm sự phát triển của các hành vi tiêu cực sẽ dẫn đến tái phạm khi phát hành.

Dữ liệu và thuật toán để chấm điểm rủi ro tái phát của tù nhân đã có sẵn được sử dụng rộng rãi bởi các tiểu bang để quản lý giam cầm trước tù, quản chế, tạm tha và thậm chí tuyên án. Nhưng thật dễ dàng để họ không được chú ý - họ thường trông giống như giấy tờ quan liêu vô duyên.

Thông thường, các thuật toán được rút gọn thành các bảng điểm đơn giản hóa được điền bởi các công chức mà ít hiểu biết về các tính toán cơ bản. Ví dụ, một nhân viên vụ án có thể đánh giá một tù nhân bằng cách sử dụng một hình thức mà nhân viên vụ án đánh dấu rằng tù nhân đã bị kết án về một tội ác bạo lực, còn trẻ tại thời điểm bị bắt giữ đầu tiên, và chưa tốt nghiệp trung học hoặc đã nhận được một GED. Những yếu tố và đặc điểm khác về con người và tội phạm dẫn đến một số điểm cho thấy liệu tù nhân có thể đủ điều kiện để được xem xét tạm tha hay không.

Bản thân biểu mẫu, cũng như hệ thống tính điểm của nó, thường tiết lộ các tính năng chính về thuật toán, như các biến đang được xem xét và cách chúng kết hợp với nhau để tạo thành một điểm rủi ro tổng thể. Nhưng điều cũng quan trọng đối với tính minh bạch của thuật toán là để biết các hình thức như vậy được thiết kế, phát triển và đánh giá như thế nào. Chỉ sau đó, công chúng mới có thể biết liệu các yếu tố và tính toán liên quan đến việc đạt được điểm số là công bằng và hợp lý, hoặc không được thông tin và thiên vị.

Sử dụng Đạo luật Tự do Thông tin

Công cụ chính của chúng tôi để có được những hình thức đó và tài liệu hỗ trợ của họ là luật pháp và đặc biệt là quyền tự do về luật thông tin. Chúng là một trong những cơ chế mạnh mẽ nhất mà công chúng có sẵn để đảm bảo tính minh bạch trong chính phủ. Ở cấp liên bang, Đạo luật tự do thông tin (FOIA) cho phép công chúng yêu cầu chính thức - và mong muốn nhận lại - tài liệu từ chính phủ liên bang. Quy chế tương tự tồn tại cho mỗi tiểu bang.

Được ban hành trong 1966, FOIA đã được tạo ra trước khi sử dụng rộng rãi máy tính và trước khi các luồng dữ liệu lớn được sử dụng thường xuyên trong các hệ thống phần mềm để quản lý các cá nhân và đưa ra dự đoán. Đã có một số nghiên cứu ban đầu xem liệu FOIA có thể tạo điều kiện cho việc tiết lộ mã nguồn phần mềm hay không. Nhưng một câu hỏi vẫn còn là liệu các luật hiện hành có đáp ứng nhu cầu của công chúng thế kỷ 21 không: chúng ta có thể sử dụng thuật toán FOIA không?

Một nghiên cứu trường hợp về tính minh bạch của thuật toán

Tôi đặt ra để trả lời câu hỏi này tại Đại học Báo chí Philip Merrill tại Đại học Maryland, nơi tôi là giáo sư trợ lý. Vào mùa thu 2015, làm việc với lớp luật truyền thông của đồng nghiệp Sandy Banisky, chúng tôi đã hướng dẫn sinh viên gửi yêu cầu FOIA cho từng tiểu bang 50. Chúng tôi đã yêu cầu các tài liệu, mô tả toán học, dữ liệu, đánh giá xác nhận, hợp đồng và mã nguồn liên quan đến các thuật toán được sử dụng trong tư pháp hình sự, chẳng hạn như tạm tha và quản chế, bảo lãnh hoặc quyết định tuyên án.

Là một dự án kéo dài một học kỳ, nỗ lực này nhất thiết bị hạn chế bởi thời gian, với rất nhiều rào cản và tương đối ít thành công. Như với nhiều cuộc điều tra của các nhà báo, thậm chí tìm ra ai để hỏi - và làm thế nào - là một thách thức. Các cơ quan khác nhau có thể chịu trách nhiệm cho các lĩnh vực khác nhau của hệ thống tư pháp hình sự (việc tuyên án có thể được thực hiện bởi các tòa án, nhưng việc quản lý tạm tha được thực hiện bởi Bộ cải chính).

Ngay cả sau khi xác định đúng người, sinh viên đã tìm thấy các quan chức chính phủ sử dụng các thuật ngữ khác nhau khiến cho việc truyền đạt thông tin họ muốn trở nên khó khăn. Đôi khi, các sinh viên phải làm việc chăm chỉ để giải thích các thuật toán tư pháp hình sự của Cameron cho một công chức không am hiểu dữ liệu. Nhìn lại, có lẽ sẽ hiệu quả hơn khi yêu cầu các công cụ đánh giá rủi ro, vì đây là thuật ngữ thường được sử dụng bởi các chính phủ tiểu bang.

Xử lý các câu trả lời

Một số tiểu bang, chẳng hạn như Colorado, thẳng thừng từ chối yêu cầu của chúng tôi, nói rằng các thuật toán được chứa trong phần mềm, không được coi là một tài liệu của Hồi mà pháp luật chính phủ mở yêu cầu các quan chức công khai. Các tiểu bang khác nhau có các quy tắc khác nhau về việc tiết lộ sử dụng phần mềm. Điều này đôi khi đã nổi lên trong các tòa án, chẳng hạn như 2004 vụ kiện chống lại thành phố Detroit về việc liệu công thức tính phí nước tính cho một thành phố lân cận có nên được công khai hay không.

Trong nỗ lực riêng của chúng tôi, chúng tôi chỉ nhận được một mô tả toán học về thuật toán tư pháp hình sự: Oregon tiết lộ các biến 16 và trọng số của chúng trong một mô hình được sử dụng ở đó để dự đoán tái phạm. Bang North Dakota đã phát hành một bảng tính Excel cho thấy phương trình được sử dụng để xác định ngày mà các tù nhân sẽ đủ điều kiện để được xem xét để được tạm tha. Từ Idaho và New Mexico, chúng tôi đã nhận được các tài liệu với một số mô tả về các đánh giá rủi ro tái phạm mà các tiểu bang đã sử dụng, nhưng không có thông tin chi tiết về cách chúng được phát triển hoặc xác nhận.

Chín tiểu bang dựa trên sự từ chối tiết lộ chi tiết về các thuật toán tư pháp hình sự của họ về tuyên bố rằng thông tin đó thực sự thuộc sở hữu của một công ty. Hàm ý này là việc phát hành thuật toán sẽ gây hại cho công ty đã phát triển nó. Một câu hỏi tái phạm rủi ro phổ biến, được gọi là LSI-R, hóa ra là một sản phẩm thương mại, được bảo vệ bởi bản quyền. Các tiểu bang như Hawaii và Maine tuyên bố rằng đã ngăn chặn việc tiết lộ cho công chúng.

Louisiana cho biết hợp đồng của họ với nhà phát triển một kỹ thuật đánh giá rủi ro mới đã cấm phát hành thông tin được yêu cầu trong sáu tháng. Bang Kentucky đã trích dẫn hợp đồng của mình với nền tảng từ thiện như lý do nó không thể tiết lộ thêm chi tiết. Mối quan tâm về thông tin độc quyền có thể là hợp pháp, nhưng do chính phủ thường xuyên ký hợp đồng với các công ty tư nhân, làm thế nào để chúng tôi cân bằng những mối quan tâm đó với một hệ thống tư pháp hợp pháp và thực sự hợp lý?

Cải thiện

Cải cách FOIA rất cần thiết là hiện đang được cân nhắc của Quốc hội. Điều này tạo cơ hội cho luật pháp được hiện đại hóa, nhưng những thay đổi được đề xuất vẫn còn ít để đáp ứng việc sử dụng thuật toán ngày càng tăng trong chính phủ. Thông tin minh bạch thuật toán có thể được mã hóa vào các báo cáo mà chính phủ tạo ra và công khai một cách thường xuyên, như một phần của hoạt động kinh doanh như bình thường.

Là một xã hội, chúng ta nên yêu cầu các nhân viên thông tin công cộng được đào tạo để họ biết chữ và thực sự thông thạo thuật ngữ mà họ có thể gặp phải khi công chúng yêu cầu các thuật toán. Chính phủ liên bang thậm chí có thể tạo ra một vị trí mới cho một ông hoàng thuật toán, một người theo dõi có nhiệm vụ là giao tiếp và tìm hiểu về lĩnh vực tự động hóa của chính phủ.

Không có tài liệu nào chúng tôi nhận được trong nghiên cứu của chúng tôi cho chúng tôi biết các mẫu đánh giá rủi ro tư pháp hình sự được phát triển hoặc đánh giá như thế nào. Khi các thuật toán chi phối ngày càng nhiều cuộc sống của chúng ta, công dân cần - và phải yêu cầu - minh bạch hơn.

Giới thiệu về Tác giả

Nicholas Diakopoulos, Tow Fellow, Trung tâm Tow cho Báo chí kỹ thuật số tại Đại học Columbia; Trợ lý Giáo sư Báo chí, Đại học Maryland. Nghiên cứu của ông là trong báo chí tính toán và dữ liệu với trọng tâm là trách nhiệm giải trình thuật toán, trực quan hóa dữ liệu tường thuật và điện toán xã hội trong tin tức.

Bài viết này ban đầu được xuất bản vào Conversation. Đọc ban đầu bài viết.

Sách liên quan

at Thị trường InnerSelf và Amazon