Những người nộp đơn xin vay từ ngân hàng hoặc công ty thẻ tín dụng, và bị từ chối, đang nợ một lời giải thích tại sao điều đó xảy ra. Đó là một ý tưởng hay - bởi vì nó có thể giúp dạy mọi người cách sửa chữa tín dụng bị thiệt hại của họ - và đó là luật liên bang, Đạo luật cơ hội tín dụng bình đẳng. Nhận được câu trả lời không phải là vấn đề trong nhiều năm qua, khi con người đưa ra những quyết định đó. Nhưng ngày nay, khi các hệ thống trí tuệ nhân tạo ngày càng hỗ trợ hoặc thay thế mọi người đưa ra quyết định tín dụng, việc có được những giải thích đó trở nên khó khăn hơn nhiều.

Theo truyền thống, một nhân viên cho vay đã từ chối đơn đăng ký có thể nói với người vay sẽ có vấn đề với mức thu nhập của họ, hoặc lịch sử việc làm, hoặc bất kể vấn đề là gì. Nhưng hệ thống máy tính sử dụng phức tạp học máy mô hình rất khó để giải thích, ngay cả đối với các chuyên gia.

Quyết định tín dụng tiêu dùng chỉ là một cách phát sinh vấn đề này. Mối quan tâm tương tự tồn tại trong chăm sóc sức khỏe, tiếp thị trực tuyến và thậm chí cả tư pháp hình sự. Sở thích của tôi trong lĩnh vực này bắt đầu khi một nhóm nghiên cứu tôi là một phần của khám phá thiên vị giới tính trong cách quảng cáo trực tuyến được nhắm mục tiêu, nhưng không thể giải thích tại sao nó xảy ra.

Tất cả các ngành công nghiệp đó, và nhiều ngành khác, những người sử dụng học máy để phân tích các quy trình và đưa ra quyết định có hơn một năm để giải thích rõ hơn về cách hệ thống của họ hoạt động. Vào tháng 5 2018, mới Quy định bảo vệ dữ liệu chung của Liên minh châu Âu có hiệu lực, bao gồm một phần cho mọi người quyền được giải thích cho các quyết định tự động ảnh hưởng đến cuộc sống của họ. Những giải thích này nên có hình dạng gì, và chúng ta thực sự có thể cung cấp chúng?

Xác định lý do chính

Một cách để mô tả lý do tại sao một quyết định tự động xuất hiện theo cách nó đã làm là xác định các yếu tố có ảnh hưởng nhất trong quyết định. Bao nhiêu quyết định từ chối tín dụng là do người nộp đơn không kiếm đủ tiền, hoặc vì anh ta đã không trả được các khoản vay trong quá khứ?

Nhóm nghiên cứu của tôi tại Đại học Carnegie Mellon, bao gồm nghiên cứu sinh Shayak Sen và sau đó là hậu sinh viên Yair Zick đã tạo ra một cách để đo lường ảnh hưởng tương đối của từng yếu tố. Chúng tôi gọi đó là Ảnh hưởng đầu vào định lượng.

Ngoài việc hiểu rõ hơn về một quyết định cá nhân, phép đo cũng có thể làm sáng tỏ một nhóm các quyết định: Thuật toán có từ chối tín dụng chủ yếu vì lo ngại tài chính, chẳng hạn như người nộp đơn đã nợ bao nhiêu cho các khoản nợ khác? Hoặc mã ZIP của người nộp đơn quan trọng hơn - gợi ý các nhân khẩu học cơ bản hơn như chủng tộc có thể đã xuất hiện?

Nắm bắt nhân quả

Khi một hệ thống đưa ra quyết định dựa trên nhiều yếu tố, điều quan trọng là xác định yếu tố nào gây ra quyết định và đóng góp tương đối của chúng.

Ví dụ, hãy tưởng tượng một hệ thống quyết định tín dụng chỉ cần hai đầu vào, tỷ lệ nợ trên thu nhập của người nộp đơn và chủng tộc của cô ấy, và đã được chứng minh là chỉ chấp thuận cho vay đối với người da trắng. Biết bao nhiêu yếu tố đóng góp cho quyết định có thể giúp chúng tôi hiểu liệu đó có phải là một hệ thống hợp pháp hay liệu nó có phân biệt đối xử hay không.

Một lời giải thích chỉ có thể nhìn vào đầu vào và kết quả và quan sát mối tương quan - những người không phải người da trắng đã không được vay. Nhưng lời giải thích này quá đơn giản. Giả sử những người không phải người da trắng bị từ chối cho vay cũng có thu nhập thấp hơn nhiều so với người da trắng có ứng dụng thành công. Sau đó, lời giải thích này không thể cho chúng tôi biết liệu chủng tộc hoặc tỷ lệ nợ trên thu nhập của người nộp đơn có gây ra sự từ chối hay không.

Phương pháp của chúng tôi có thể cung cấp thông tin này. Nói sự khác biệt có nghĩa là chúng ta có thể trêu chọc liệu hệ thống có phân biệt đối xử bất công hay xem xét các tiêu chí hợp pháp, như tài chính của người nộp đơn.

Để đo lường ảnh hưởng của chủng tộc trong một quyết định tín dụng cụ thể, chúng tôi làm lại quy trình nộp đơn, giữ tỷ lệ nợ trên thu nhập như nhau nhưng thay đổi cuộc đua của người nộp đơn. Nếu thay đổi cuộc đua ảnh hưởng đến kết quả, chúng tôi biết chủng tộc là yếu tố quyết định. Nếu không, chúng ta có thể kết luận thuật toán chỉ nhìn vào thông tin tài chính.

Ngoài việc xác định các yếu tố là nguyên nhân, chúng ta có thể đo lường ảnh hưởng nhân quả tương đối của chúng đối với một quyết định. Chúng tôi làm điều đó bằng cách thay đổi ngẫu nhiên yếu tố (ví dụ: chủng tộc) và đo lường khả năng kết quả sẽ thay đổi như thế nào. Khả năng càng cao, ảnh hưởng của yếu tố này càng lớn.

Ảnh hưởng tổng hợp

Phương pháp của chúng tôi cũng có thể kết hợp nhiều yếu tố làm việc cùng nhau. Hãy xem xét một hệ thống quyết định cấp tín dụng cho những người nộp đơn đáp ứng hai trong ba tiêu chí: điểm tín dụng trên 600, quyền sở hữu xe hơi và liệu người nộp đơn có hoàn trả đầy đủ khoản vay mua nhà hay không. Giả sử một người nộp đơn, Alice, với điểm tín dụng là 730 và không có khoản vay mua xe hơi hoặc nhà, bị từ chối tín dụng. Cô tự hỏi liệu tình trạng sở hữu xe hơi của mình hoặc lịch sử trả nợ vay mua nhà là lý do chính.

Một sự tương tự có thể giúp giải thích cách chúng ta phân tích tình huống này. Hãy xem xét một tòa án nơi các quyết định được đưa ra theo đa số phiếu của một hội đồng gồm ba thẩm phán, trong đó một người là một người bảo thủ, một người tự do và người thứ ba bỏ phiếu, một người có thể đứng về phía một trong hai đồng nghiệp của cô. Trong một quyết định bảo thủ 2-1, thẩm phán swing có ảnh hưởng lớn hơn đến kết quả so với thẩm phán tự do.

Các yếu tố trong ví dụ tín dụng của chúng tôi giống như ba thẩm phán. Thẩm phán đầu tiên thường bỏ phiếu ủng hộ khoản vay, bởi vì nhiều người nộp đơn có điểm tín dụng đủ cao. Thẩm phán thứ hai hầu như luôn bỏ phiếu chống lại khoản vay vì rất ít người nộp đơn đã từng trả hết nhà. Vì vậy, quyết định thuộc về thẩm phán swing, người trong trường hợp của Alice từ chối khoản vay vì cô ấy không sở hữu một chiếc xe hơi.

Chúng ta có thể làm lý do này chính xác bằng cách sử dụng lý thuyết trò chơi hợp tác, một hệ thống phân tích cụ thể hơn các yếu tố khác nhau đóng góp vào một kết quả như thế nào. Cụ thể, chúng tôi kết hợp các phép đo ảnh hưởng nhân quả tương đối của chúng tôi với Giá trị Shapley, đó là một cách để tính toán làm thế nào để ảnh hưởng thuộc tính đến nhiều yếu tố. Cùng nhau, chúng tạo thành phép đo ảnh hưởng đầu vào định lượng của chúng tôi.

Cho đến nay, chúng tôi đã đánh giá các phương pháp của mình trên các hệ thống quyết định mà chúng tôi đã tạo bằng cách đào tạo các thuật toán học máy phổ biến với các bộ dữ liệu trong thế giới thực. Đánh giá các thuật toán tại nơi làm việc trong thế giới thực là một chủ đề cho công việc trong tương lai.

Một thử thách mở

Phương pháp phân tích và giải thích của chúng tôi về cách các thuật toán đưa ra quyết định là hữu ích nhất trong các cài đặt nơi con người dễ hiểu các yếu tố - chẳng hạn như tỷ lệ nợ trên thu nhập và các tiêu chí tài chính khác.

Tuy nhiên, việc giải thích quá trình ra quyết định của các thuật toán phức tạp hơn vẫn là một thách thức đáng kể. Lấy ví dụ, một hệ thống nhận dạng hình ảnh, giống như hệ thống phát hiện và theo dõi khối u. Nó không hữu ích để giải thích đánh giá của một hình ảnh cụ thể dựa trên các pixel riêng lẻ. Lý tưởng nhất, chúng tôi muốn một lời giải thích cung cấp cái nhìn sâu sắc hơn về quyết định - chẳng hạn như xác định các đặc điểm khối u cụ thể trong hình ảnh. Thật vậy, thiết kế giải thích cho các nhiệm vụ ra quyết định tự động như vậy đang khiến nhiều nhà nghiên cứu giữ bận rộn.

Giới thiệu về Tác giả

Anupam Datta, Phó Giáo sư Khoa học Máy tính và Kỹ thuật Điện và Máy tính, Đại học Carnegie Mellon

Bài viết này ban đầu được xuất bản vào Conversation. Đọc ban đầu bài viết.

Sách liên quan

at Thị trường InnerSelf và Amazon