CÂN NHẮC SỰ ĐÁNH ĐỔI CỦA AI

Thật khó để kiểm toán một thuật toán nếu bạn không hiểu nó nghĩ như thế nào. Nhưng câu trả lời không phải lúc nào cũng khiến mọi thứ đơn giản hơn.

Năm 1997, siêu máy tính IBM Deep Blue đã thực hiện một động thái chống lại nhà vô địch cờ vua Garry Kasparov khiến anh ta choáng váng. Sự lựa chọn của máy tính để hy sinh một trong những phần của nó dường như không thể giải thích được với Kasparov đến nỗi ông cho rằng đó là dấu hiệu của trí thông minh vượt trội của máy. Run rẩy, anh tiếp tục từ chức loạt phim của mình chống lại máy tính, mặc dù anh có ưu thế.

Tuy nhiên, mười lăm năm sau, một trong những nhà thiết kế của Deep Blue tiết lộ rằng bước đi định mệnh không phải là dấu hiệu của trí thông minh máy móc tiên tiến – đó là kết quả của một lỗi .

Ngày nay, không có con người nào có thể đánh bại một máy tính trong cờ vua, nhưng câu chuyện vẫn nhấn mạnh rằng việc tin tưởng một cách mù quáng đến mức nào khi bạn không biết chuyện gì đang xảy ra. Nó có thể không phải là một thỏa thuận lớn trong bối cảnh của một trò chơi, nhưng còn khi thuật toán hỗ trợ bác sĩ chẩn đoán y khoa hoặc khi nào nó được sử dụng để đưa ra quyết định tuyển dụng thì sao?

Khi trí tuệ nhân tạo len lỏi vào kết cấu xã hội của chúng ta, các mô hình máy học quyết định đang đưa ra sẽ có cổ phần cao hơn. Đồng thời, các thuật toán học sâu điều khiển các quyết định đó đang rút ra những hiểu biết sâu sắc từ các kho dữ liệu khổng lồ theo những cách vượt quá tầm hiểu biết của chúng tôi. Làm thế nào để bạn giải thích những gì diễn ra trong một mạng lưới thần kinh đang rút ra kết luận từ terabyte dữ liệu?

Nhiều người bắt đầu lập luận rằng mọi người có quyền hiểu các thuật toán đưa ra quyết định ảnh hưởng đến họ và đối với các công ty, điều quan trọng là có thể xác định khi thuật toán của nó sai. Đối với các nhà khoa học dữ liệu, điều đó đưa ra một thách thức lớn: Tạo ra sự cân bằng phù hợp giữa việc hiểu những gì đang diễn ra trong thuật toán của họ và khiến chúng đủ phức tạp để đưa ra quyết định chính xác.

CHỈ RA CÔNG VIỆC CỦA BẠN

Khi nói đến việc giải thích được AI, David Fagnan, Zillow giám đốc Chào của khoa học ứng dụng, có một triết lý mà có thể làm giáo viên toán ở khắp mọi nơi mỉm cười. Nó bắt đầu với luôn luôn hiển thị công việc của bạn.

Cách tiếp cận đó đã định hình hướng mà anh ta đã thực hiện với công cụ AI mới nhất của Zvel, Zvel Offer. Thuật toán được thiết kế để tính giá nhà của một người, sau đó Zulum sẽ mua. Mặc dù nó sử dụng một số kỹ thuật ra quyết định phức tạp để tìm ra những ngôi nhà có thể so sánh trong cơ sở dữ liệu của Zvel để đưa ra ước tính đó, Fagnan nói, kết quả được trình bày bằng ngôn ngữ mà con người có thể hiểu được.

Nếu chúng tôi thừa nhận rằng khả năng giải thích là điều chúng tôi quan tâm, thì chúng tôi có thể nhúng nó vào chức năng mục tiêu, theo ông Fagnan. Bây giờ, hãy tưởng tượng chúng ta có một hàm mục tiêu chiếm cả độ chính xác và thước đo khả năng giải thích này.

Trong trường hợp này, thuật toán cho thấy các yếu tố mà nó chiếm để tính giá trị căn nhà thông qua phân tích thị trường so sánh – một nhà môi giới rubric phổ biến sử dụng để đánh giá giá nhà. Điều này cho phép các nhà môi giới địa phương làm việc với Zvel để kiểm tra các phát hiện của thuật toán và các yếu tố chính xác mà nó có thể đã bỏ lỡ – như, chẳng hạn, một khu phố đang hoạt động hoặc sàn bị nghiêng – và điều chỉnh kết quả.

Fagnan cho biết phương pháp tiếp cận vòng lặp của con người đã cho phép Zvel liên tục huấn luyện mô hình và tăng độ chính xác.

Nếu chúng ta thừa nhận rằng khả năng giải thích là điều chúng ta quan tâm, thì chúng ta có thể nhúng nó vào hàm mục tiêu.

David Johnston, một nhà khoa học dữ liệu tại Th ThinkWorks , cảnh báo chống lại việc cố gắng làm cho mọi thuật toán có thể giải thích được, tuy nhiên. Để bắt đầu, mọi người không cần phải luôn hiểu những gì diễn ra trong thuật toán hộp đen. Nếu một công cụ thị giác máy tính xác định một con mèo là một con mèo, thì không cần thiết phải biết dữ liệu nào nó được sử dụng để đi đến quyết định đó, Johnston nói; bạn chỉ cần biết đó là một con mèo.

Trên hết, điều quan trọng là phải hiểu rằng tính minh bạch không tương đương với sự công bằng hoặc giải thích. Lấy ví dụ, một phần mềm tuyển dụng sử dụng các thuật toán học sâu để phân tích khuôn mặt và kiểu nói của một người để xác định điểm số khả năng của họ. Ngay cả khi thuật toán minh bạch hơn về những tính năng mà nó được mài giũa và giải thích lý do tại sao một người có thể không có khả năng, nó sẽ không làm cho nó công bằng hơn, Johnston nói.

Ngay cả khi họ sử dụng một cái gì đó đơn giản như mô hình tuyến tính, nó sẽ kinh khủng như bây giờ, ngay bây giờ, John Johnston nói. Đó là bởi vì bất cứ điều gì nó chọn là những điều bạn không mong đợi sẽ là lý do chính đáng cho lý do tại sao bạn nên hoặc không nên nhận được lời mời làm việc.

Xác định các đầu vào dữ liệu và số bên dưới một thuật toán cũng không giúp ích gì trừ khi mọi người hiểu cách thức công thức hoặc mô hình học sâu hoạt động. Chặn rằng, họ chỉ là những con số. Sau đó là vấn đề thiên vị tự động hóa . Nếu không có sự hiểu biết đúng đắn về quá trình ra quyết định của AI, mọi người sẽ cho rằng máy tính đang có những lựa chọn đúng đắn mặc dù có bằng chứng ngược lại.

Điều quan trọng là, sau đó, trình bày dữ liệu vào ngữ cảnh và bắt đầu với một mục tiêu rõ ràng, không thiên vị, Johnston nói.

XÁC ĐỊNH KHẢ NĂNG GIẢI THÍCH CÓ THỂ GIÚP BẠN ĐẠT ĐƯỢC SỰ CÂN BẰNG

Nếu bạn có thể viết thuật toán của mình lên một bảng và dễ dàng giải thích nó, tỷ lệ cược là, nó sẽ không hữu ích, Johnston nói. Các thuật toán đã phát triển phức tạp hơn vì độ phức tạp cho phép chúng lấy từ các tập dữ liệu lớn hơn, đặt thông tin vào ngữ cảnh và đưa ra các giải pháp phức tạp hơn. Vì vậy, theo quan điểm của ông, chúng ta không nên giảm tất cả các thuật toán thành các mô hình tuyến tính vì mục đích giải thích.

Thay vào đó, điều quan trọng là phải hiểu sự đánh đổi vốn có trong việc xây dựng để giải thích. Cái lớn nhất, Johnston nói, là sự đánh đổi sai lệch. Nếu một người đang xây dựng thuật toán bảo lãnh tín dụng bằng mô hình học sâu, nó có thể xác định chính xác những người vay có giá trị cao trong tổng hợp, điều đó có nghĩa là nó có độ lệch thống kê thấp. Tuy nhiên, ở cấp độ cá nhân, hai người chỉ có sự khác biệt nhỏ về nền tảng có thể nhận được kết quả hoàn toàn khác nhau do những dữ liệu đầu vào đó.

Điều này tạo ra một cái gì đó giống như thiên vị ngoại trừ việc nó hoàn toàn ngẫu nhiên, chanh Johnston nói.

Một thuật toán đơn giản hơn có thể phù hợp hơn với kết quả của nó, nhưng vì nó sử dụng ít dữ liệu đầu vào hơn nên nó có thể tạo ra kết quả kém chính xác hơn nếu không được hiệu chỉnh phù hợp.

Một trong những bài học lớn nhất mà Fagnan đã học được khi xây dựng các Ưu đãi của Zulum là đội ngũ của anh ta cần có ý định như thế nào về những gì họ sẵn sàng hy sinh cho mục tiêu giải thích của họ.

Để giúp đưa ra những lựa chọn đó, Fagnan cho biết kết hợp khả năng giải thích như một mục tiêu trong AI của mình ngay từ đầu đã đóng một vai trò quan trọng. Đối với Ưu đãi của Zulum, thuật toán cần thiết để tính giá nhà chính xác và giải thích cách nó đưa ra số tiền đó theo cách mà một nhà môi giới địa phương có thể hiểu.

Bạn có thể tưởng tượng rằng mô hình hộp đen nhất có thể chính xác hơn một chút, và sau đó [với] mô hình hộp trắng nhất có thể bạn đang từ bỏ một số độ chính xác.

Sau đó, họ đã sử dụng những gì được biết đến trong thế giới toán học như mô hình Pareto Frontier để xác định một loạt các mô hình có độ chính xác cao và độ giải thích thấp, đến độ giải thích cao nhưng độ chính xác thấp. Từ đó, Fagnan cho biết việc tìm ra sự kết hợp đúng đắn đã đi đến quyết định kinh doanh.

Bạn có thể tưởng tượng rằng mô hình hộp đen nhất có thể chính xác hơn một chút, và sau đó [với] mô hình hộp trắng nhất có thể bạn đang từ bỏ một số độ chính xác, chanh Fagnan nói.

Họ quyết định từ bỏ một số độ chính xác mà một mô hình phức tạp hơn sẽ cung cấp để con người có thể tương tác với nó. Kết hợp con người cũng có nghĩa là họ phải giảm quy mô – mô hình này không thể hoạt động như công cụ Zestimate của nó, kết hợp mọi nhà trong cơ sở dữ liệu của nó.

Tuy nhiên, có thể tìm thấy một điểm ngọt ngào, Fagnan nói. Vì kết quả của thuật toán có liên quan đến các nhà môi giới địa phương, các tác nhân đó có thể kiểm tra các phát hiện của nó và sửa lỗi trong dữ liệu. Sửa đổi dữ liệu của họ có thể dẫn đến một giá trị nhà chính xác hơn trong hiện tại và cải thiện dữ liệu đào tạo sẽ cải thiện độ chính xác của mô hình trong thời gian dài.

Nếu chúng ta chọn một giải pháp trên đường cong đó có thể giải thích được và kém chính xác hơn theo máy, nhưng sau đó chúng ta đưa nó vào người và họ có thể tương tác với nó … nó có thể dẫn đến một hệ thống kết hợp chính xác hơn cả Hộp đen hay con người, mệnh Fag Nam nói.

BẮT ĐẦU ĐƠN GIẢN, SAU ĐÓ KIỂM TRA THEO CÁCH CỦA BẠN ĐỂ PHỨC TẠP  

Tuy nhiên, không có vấn đề nào trong số này nếu dữ liệu đào tạo và mục tiêu đến từ một nền tảng thiên vị, Johnston nói.

Các thuật toán tự đại diện cho một phần mở rộng của con người xây dựng chúng và dữ liệu họ được đào tạo – rác vào, rác ra, như họ nói. Cách tiếp cận tốt nhất là bắt đầu với một mục tiêu công bằng – mục tiêu cho thuật toán – tính đến độ lệch, và sau đó xác định một tập hợp dữ liệu cân bằng.

Nó có thể cho bạn thấy một số thành kiến ​​mà bạn không mong đợi, như, ‘Ồ, nó thực sự quan tâm rất nhiều đến biến này.

Từ đó, Johnston khuyên bạn luôn bắt đầu với mô hình tuyến tính đơn giản nhất để xem dữ liệu đó ảnh hưởng đến kết quả như thế nào. Thử nghiệm với một thuật toán đơn giản có thể cung cấp nhiều thông tin chi tiết và rõ ràng hơn về vai trò của dữ liệu so với bắt đầu với một mô hình phức tạp. Nó cũng có thể đặt khuôn khổ cho giải thích.

Nó có thể cho bạn thấy một số thành kiến ​​mà bạn không mong đợi, như, ‘Ồ, nó thực sự quan tâm rất nhiều đến biến này’, ‘John Johnston nói. Sau đó, bạn có thể tìm hiểu lý do tại sao nó quan tâm đến biến đó và bạn có thể khám phá ra một số sai lệch gây ra hiệu ứng đó.

Sau những thử nghiệm đó, Johnston đề nghị làm cho thuật toán trở nên phức tạp hơn và xem nó ảnh hưởng đến điểm chính xác như thế nào. Khi lợi nhuận trở nên tối thiểu, đã đến lúc dừng lại. Theo cách đó, ông gợi ý, các nhà khoa học dữ liệu có thể giúp tìm ra các mô hình không phức tạp chỉ vì sự phức tạp.

Cuối cùng, giải pháp cho việc theo đuổi việc xây dựng các mô hình AI mà chúng ta có thể tin tưởng có thể là làm chậm và hiểu những gì chúng ta đang xây dựng. Thay vì chạy nước rút theo hướng phức tạp để tự động hóa mọi thứ, tốt nhất bạn nên xem con người có thể đóng vai trò gì trong quá trình ra quyết định.

Fagnan cho biết nhóm của ông cuối cùng muốn tìm ra cách làm cho công cụ Ưu đãi của họ tự động hóa, nhưng việc kết hợp con người ở giai đoạn này cho phép họ huấn luyện cho các trường hợp cạnh và phát hiện lỗi. Đối với họ, một bước lùi vào khả năng giải thích đại diện cho một bước tiến chính xác hơn trong tương lai.

Sự tiến hóa sẽ được tìm ra đúng nơi để sử dụng con người, leo Fagnan nói. Vì vậy, điều đó có thể có nghĩa là kết hợp chúng trong trường hợp có nhiều thông tin chủ quan hơn hoặc trong khả năng kiểm toán, hỗ trợ nhiều hơn.

You might also like