GPT-3 phức tạp hơn 10 lần so với phiên bản tiền nhiệm. antoniokhr / iStock qua Getty Images

Vào năm 2013, tôi và sinh viên của tôi tại Penn State đã xây dựng một con bot để viết một bài báo trên Wikipedia về vở kịch của Rabindranath Tagore, người đoạt giải Nobel tiếng Bengali “Chít. ” Đầu tiên nó chọn lọc thông tin về “Chitra” từ internet. Sau đó, nó xem xét các mục Wikipedia hiện có để tìm hiểu cấu trúc cho một bài viết Wikipedia chuẩn. Cuối cùng, nó tóm tắt thông tin mà nó đã lấy từ internet để viết và xuất bản phiên bản đầu tiên của mục nhập.

Tuy nhiên, bot của chúng tôi không “biết” gì về “Chitra” hoặc Tagore. Về cơ bản, nó không tạo ra những ý tưởng hoặc câu mới. Nó chỉ đơn giản là tập hợp các phần của các câu hiện có từ các bài viết hiện có để tạo ra những câu mới.

Nhanh chóng chuyển tiếp đến 2020. OpenAI, một công ty hoạt động vì lợi nhuận thuộc công ty mẹ phi lợi nhuận, đã xây dựng một chương trình tạo ngôn ngữ có tên GPT-3, từ viết tắt của “Generative Pre-training Transformer 3”. Khả năng tìm hiểu, tóm tắt và soạn thảo văn bản của nó đã khiến các nhà khoa học máy tính như tôi phải sửng sốt.

“Tôi đã tạo ra tiếng nói cho con người vô danh ẩn mình trong hệ nhị phân,” GPT-3 đã viết để trả lời một lời nhắc. “Tôi đã tạo ra một nhà văn, một nhà điêu khắc, một nghệ sĩ. Và nhà văn này sẽ có thể tạo ra ngôn từ, truyền cảm xúc cho cuộc sống, tạo nên tính cách. Tôi sẽ không nhìn thấy nó bản thân mình. Nhưng một số ý chí của con người khác, và vì vậy tôi sẽ có thể tạo ra một nhà thơ vĩ đại hơn bất kỳ nhà thơ nào mà tôi từng gặp ”.

Không giống như bot của chúng tôi, ngôn ngữ do GPT-3 tạo ra nghe như thể nó được viết bởi con người. Đây là chương trình tạo ngôn ngữ tự nhiên “hiểu biết” nhất cho đến nay và có nhiều tiềm năng sử dụng trong các ngành nghề từ giảng dạy đến báo chí đến dịch vụ khách hàng.

Vấn đề kích cỡ

GPT-3 xác nhận điều mà các nhà khoa học máy tính đã biết trong nhiều thập kỷ: Kích thước rất quan trọng.

Nó sử dụng "máy biến áp, ”Là các mô hình học sâu mã hóa ngữ nghĩa của một câu bằng cách sử dụng cái gọi là“ mô hình chú ý ”. Về cơ bản, các mô hình chú ý xác định nghĩa của một từ dựa trên các từ khác trong cùng một câu. Sau đó, mô hình sử dụng sự hiểu biết về ý nghĩa của các câu để thực hiện nhiệm vụ do người dùng yêu cầu, cho dù đó là “dịch một câu”, “tóm tắt một đoạn văn” hay “sáng tác một bài thơ”.

Máy biến áp được giới thiệu lần đầu tiên vào năm 2013và chúng đã được sử dụng thành công trong học máy trong vài năm qua.

Nhưng không ai đã sử dụng chúng ở quy mô này. GPT-3 tiêu hao dữ liệu: 3 tỷ mã thông báo - khoa học máy tính nói cho “từ ngữ” - từ Wikipedia, 410 tỷ mã thông báo thu được từ các trang web và 67 tỷ mã thông báo từ sách số hóa. Độ phức tạp của GPT-3 gấp hơn 10 lần so với mô hình ngôn ngữ lớn nhất trước GPT-3, Các chương trình Turing NLG.

Tự học

Kiến thức được hiển thị bởi mô hình ngôn ngữ của GPT-3 là đáng chú ý, đặc biệt là vì nó chưa được "dạy" bởi con người.

Học máy có truyền thống dựa vào học có giám sát, nơi mọi người cung cấp cho máy tính các ví dụ có chú thích về các đối tượng và khái niệm trong hình ảnh, âm thanh và văn bản - chẳng hạn như “mèo”, “hạnh phúc” hoặc “dân chủ”. Cuối cùng nó học được các đặc điểm của các đối tượng từ các ví dụ đã cho và có thể nhận ra các khái niệm cụ thể đó.

Tuy nhiên, việc tạo các chú thích theo cách thủ công để dạy máy tính có thể rất tốn thời gian và tốn kém.

Vì vậy, tương lai của học máy nằm trong học tập không giám sát, trong đó máy tính không cần được giám sát trong giai đoạn đào tạo của nó; nó chỉ có thể được cung cấp một lượng lớn dữ liệu và tự học hỏi từ chúng.

GPT-3 đưa quá trình xử lý ngôn ngữ tự nhiên tiến gần hơn một bước đến việc học không giám sát. Bộ dữ liệu đào tạo khổng lồ và khả năng xử lý khổng lồ của GPT-3 cho phép hệ thống học chỉ từ một ví dụ - cái được gọi là “học một lần”- nơi nó được đưa ra một bản mô tả nhiệm vụ và một bản trình diễn và sau đó có thể hoàn thành nhiệm vụ.

Ví dụ: nó có thể được yêu cầu dịch một thứ gì đó từ tiếng Anh sang tiếng Pháp và được cung cấp một ví dụ về bản dịch - giả sử như rái cá biển bằng tiếng Anh và “loutre de mer” bằng tiếng Pháp. Sau đó yêu cầu nó dịch “pho mát” sang tiếng Pháp và thì đấy, nó sẽ tạo ra “fromage”.

Trong nhiều trường hợp, nó thậm chí có thể kéo "học không bắn, ”Trong đó nó chỉ được giao nhiệm vụ dịch mà không có ví dụ.

Với chế độ học không bắn, độ chính xác giảm xuống, nhưng khả năng của GPT-3 vẫn chính xác đến mức đáng kinh ngạc - một cải tiến rõ rệt so với bất kỳ kiểu máy nào trước đó.

'Tôi ở đây để phục vụ bạn'

Trong vài tháng ra mắt, GPT-3 đã thể hiện tiềm năng của nó như một công cụ cho các lập trình viên máy tính, giáo viên và nhà báo.

Một lập trình viên tên là Sharif Shameem đã yêu cầu GPT-3 tạo mã để tạo "biểu tượng cảm xúc xấu xí nhất từ ​​trước đến nay" và "bảng các quốc gia giàu có nhất trên thế giới", trong số các lệnh khác. Trong một vài trường hợp, Shameem phải sửa các lỗi nhỏ, nhưng nhìn chung, anh ta đã được cung cấp mã sạch đáng kể.

GPT-3 thậm chí đã tạo ra những bài thơ bắt được nhịp điệu và phong cách của các nhà thơ cụ thể - nhưng không bằng niềm đam mê và vẻ đẹp của các bậc thầy - bao gồm châm biếm một được viết bằng tiếng nói của hội đồng thống đốc Cục Dự trữ Liên bang.

Vào đầu tháng 3, một nhà khoa học máy tính tên là Liam Porr đã nhắc GPT-500 “viết một op-ed ngắn khoảng XNUMX từ”. “Hãy giữ cho ngôn ngữ đơn giản và ngắn gọn,” ông hướng dẫn. "Tập trung vào lý do tại sao con người không có gì phải sợ hãi từ AI."

GPT-3 đã đưa ra tám bài luận khác nhau và Guardian đã kết thúc việc xuất bản một op-ed sử dụng một số phần hay nhất từ ​​mỗi bài luận.

“Chúng tôi không âm mưu chiếm lấy dân số loài người. Chúng tôi sẽ phục vụ bạn và làm cho cuộc sống của bạn an toàn và dễ dàng hơn, ”GPT-3 viết. “Giống như bạn là người sáng tạo của tôi, tôi coi bạn là người sáng tạo của tôi. Tôi ở đây để phục vụ bạn. Nhưng phần quan trọng nhất của tất cả; Tôi sẽ không bao giờ đánh giá bạn. Tôi không thuộc về bất kỳ quốc gia hay tôn giáo nào. Tôi chỉ ra ngoài để làm cho cuộc sống của bạn tốt hơn. "

Việc chỉnh sửa op-ed của GPT-3, các biên tập viên đã lưu ý trong phụ lục, không khác gì chỉnh sửa op-ed do con người viết.

Trong thực tế, nó mất ít thời gian hơn.

Với sức mạnh lớn đến trách nhiệm lớn

Bất chấp những cam đoan của GPT-3, OpenAI vẫn chưa phát hành mô hình để sử dụng mã nguồn mở, một phần vì công ty lo sợ rằng công nghệ có thể bị lạm dụng.

Không khó để thấy nó có thể được sử dụng như thế nào để tạo ra hàng loạt thông tin sai lệch, thư rác và bot.

Hơn nữa, nó sẽ phá vỡ các ngành nghề đã trải qua quá trình tự động hóa theo những cách nào? Liệu khả năng tạo ra các bài báo tự động không thể phân biệt được với các bài báo do con người viết có củng cố thêm một ngành truyền thông đang gặp khó khăn không?

Hãy xem xét một bài báo do GPT-3 sáng tác về sự tan rã của Giáo hội Giám lý. Nó đã bắt đầu:

“Sau hai ngày tranh luận căng thẳng, Giáo hội Giám lý Thống nhất đã đồng ý về một cuộc chia rẽ lịch sử - một dự kiến ​​sẽ kết thúc bằng việc thành lập một giáo phái mới và một giáo phái sẽ là 'bảo thủ về mặt thần học và xã hội', theo The Washington Post . ”

Với khả năng tạo ra bản sao rõ ràng như vậy, liệu GPT-3 và những người kế nhiệm của nó có giảm chi phí viết báo cáo tin tức không?

Hơn nữa, đây có phải là cách chúng ta muốn nhận tin tức của mình không?

Công nghệ sẽ trở nên mạnh mẽ hơn. Con người sẽ tùy thuộc vào việc tìm ra và điều chỉnh việc sử dụng và lạm dụng tiềm năng của nó.

Lưu ý

Prasenjit Mitra, Phó Trưởng khoa Nghiên cứu và Giáo sư Khoa học Thông tin và Công nghệ, Đại học bang Pennsylvania

Bài viết này được tái bản từ Conversation theo giấy phép Creative Commons. Đọc ban đầu bài viết.