Home » Thuật toán PaLM của Google: Công cụ Tìm kiếm Thế hệ tiếp theo
Thuật toán PaLM của Google

Thuật toán PaLM của Google: Công cụ Tìm kiếm Thế hệ tiếp theo

by Meta

Thuật toán PaLM mới của Google là một bước tiến nhằm hiện thực hóa kiến ​​trúc AI Pathways của Google, cung cấp cái nhìn về thế hệ tìm kiếm tiếp theo.

Google đã công bố một bước đột phá trong nỗ lực tạo ra một kiến ​​trúc AI có thể xử lý hàng triệu tác vụ khác nhau, bao gồm cả việc học và suy luận phức tạp. Hệ thống mới được gọi là Mô hình Ngôn ngữ Pathways, gọi tắt là PaLM.

PaLM có thể vượt trội so với hiện trạng hiện tại của công nghệ AI hiện tại cũng như đánh bại con người trong các bài kiểm tra ngôn ngữ và lập luận.

Nhưng các nhà nghiên cứu cũng chỉ ra rằng họ không thể thay đổi những hạn chế vốn có trong các mô hình ngôn ngữ quy mô lớn mà có thể vô tình dẫn đến các kết quả tiêu cực về đạo đức.

Học vài lần là giai đoạn tiếp theo của quá trình học tập vượt ra ngoài học tập sâu.

Nhà nghiên cứu về bộ não của Google, Hugo Larochelle (@hugo_larochelle) cho biết trong một bài thuyết trình có tiêu đề, Tổng quát hóa từ một vài ví dụ với Meta-Learning (video) giải thích rằng với học sâu, vấn đề là họ phải thu thập một lượng lớn dữ liệu đòi hỏi số lượng đáng kể của con người lao động.

>> Tham khảo: Lịch sử phát triển của ngành SEO.

Ông chỉ ra rằng học sâu có thể sẽ không phải là con đường hướng tới một AI có thể giải quyết nhiều nhiệm vụ vì với học sâu, mỗi nhiệm vụ đòi hỏi hàng triệu ví dụ để học từ đó cho mỗi khả năng mà AI học được.

Larochelle giải thích:

“… Ý tưởng là chúng tôi sẽ cố gắng tấn công vấn đề này một cách trực tiếp, vấn đề học tập ngắn gọn này, đó là vấn đề tổng quát hóa từ lượng dữ liệu ít ỏi.

… Ý tưởng chính trong những gì tôi sẽ trình bày là thay vì cố gắng xác định thuật toán học tập đó là gì bằng N và sử dụng trực giác của chúng ta để biết đâu là thuật toán phù hợp để thực hiện học tập vài lần, nhưng hãy thực sự cố gắng học thuật toán đó trong một cách từ đầu đến cuối.

Và đó là lý do tại sao chúng tôi gọi nó là học để học hoặc tôi thích gọi nó là học meta ”.

Mục tiêu của phương pháp tiếp cận vài lần là để ước tính cách con người học những thứ khác nhau và có thể áp dụng các phần kiến ​​thức khác nhau cùng nhau để giải quyết các vấn đề mới chưa từng gặp phải trước đây.

Lợi thế là một cỗ máy có thể tận dụng tất cả kiến ​​thức mà nó có để giải quyết các vấn đề mới.

Trong trường hợp của PaLM, một ví dụ về khả năng này là khả năng giải thích một trò đùa mà nó chưa bao giờ gặp phải trước đây.

>> Tham khảo: TikTok ra mắt Quảng cáo đi kèm kết quả tìm kiếm Beta cho các đối tác.

Vào tháng 10 năm 2021, Google đã xuất bản một bài báo đưa ra các mục tiêu cho một kiến ​​trúc AI mới có tên là Pathways.

Pathways đại diện cho một chương mới trong tiến trình liên tục trong việc phát triển các hệ thống AI.

Cách tiếp cận thông thường là tạo ra các thuật toán được đào tạo để thực hiện những việc cụ thể rất tốt.

Phương pháp Pathways là tạo ra một mô hình AI duy nhất có thể giải quyết tất cả các vấn đề bằng cách học cách giải quyết chúng, theo cách đó tránh cách kém hiệu quả hơn là đào tạo hàng nghìn thuật toán để hoàn thành hàng nghìn nhiệm vụ khác nhau.

Theo tài liệu Pathways:

“Thay vào đó, chúng tôi muốn đào tạo một mô hình không chỉ có thể xử lý nhiều nhiệm vụ riêng biệt mà còn dựa trên và kết hợp các kỹ năng hiện có của nó để học các nhiệm vụ mới nhanh hơn và hiệu quả hơn.

Theo cách đó, những gì một mô hình học được bằng cách đào tạo về một nhiệm vụ – ví dụ, học cách hình ảnh trên không có thể dự đoán độ cao của cảnh quan – có thể giúp nó học được một nhiệm vụ khác – chẳng hạn như dự đoán cách nước lũ sẽ chảy qua địa hình đó. “

Pathways đã xác định con đường phía trước của Google trong việc đưa AI lên cấp độ tiếp theo nhằm thu hẹp khoảng cách giữa học máy và học tập của con người.

Mô hình mới nhất của Google, được gọi là Mô hình ngôn ngữ đường dẫn (PaLM), là bước tiếp theo và theo bài báo nghiên cứu mới này, PaLM thể hiện một tiến bộ đáng kể trong lĩnh vực AI.

PaLM chia tỷ lệ quá trình học tập vài lần.

Theo bài nghiên cứu:

“Các mô hình ngôn ngữ lớn đã được chứng minh là đạt được hiệu suất đáng kể trong nhiều nhiệm vụ ngôn ngữ tự nhiên bằng cách sử dụng phương pháp học ngắn gọn, giúp giảm đáng kể số lượng các ví dụ đào tạo theo nhiệm vụ cụ thể cần thiết để điều chỉnh mô hình phù hợp với một ứng dụng cụ thể.

Để hiểu rõ hơn về tác động của quy mô đối với việc học vài lần, chúng tôi đã đào tạo mô hình ngôn ngữ Transformer có tham số 540 tỷ, được kích hoạt dày đặc, mà chúng tôi gọi là Mô hình ngôn ngữ lộ trình (PaLM). ”

>> Tham khảo: Những công cụ nghiên cứu từ khóa miễn phí.

Có nhiều tài liệu nghiên cứu được xuất bản mô tả các thuật toán không hoạt động tốt hơn trạng thái hiện tại hoặc chỉ đạt được sự cải tiến gia tăng.

Đó không phải là trường hợp của PaLM. Các nhà nghiên cứu tuyên bố những cải tiến đáng kể so với các mô hình tốt nhất hiện tại và thậm chí còn vượt trội so với các tiêu chuẩn của con người.

Mức độ thành công đó là điều làm cho thuật toán mới này trở nên đáng chú ý.

Các nhà nghiên cứu viết:

“Chúng tôi chứng minh lợi ích liên tục của việc mở rộng quy mô bằng cách đạt được kết quả học tập ngắn hạn hiện đại trên hàng trăm điểm chuẩn hiểu ngôn ngữ và thế hệ.

Trong một số tác vụ này, PaLM 540B đạt được hiệu suất đột phá, vượt trội so với trạng thái hiện đại được tinh chỉnh trong một loạt các tác vụ lý luận nhiều bước và vượt trội hơn hiệu suất trung bình của con người trên điểm chuẩn BIG-bench được phát hành gần đây.

Một số lượng đáng kể các nhiệm vụ trên băng ghế dự bị LỚN cho thấy những cải tiến không ngừng so với quy mô mô hình, có nghĩa là hiệu suất tăng lên đáng kể khi chúng tôi mở rộng quy mô thành mô hình lớn nhất của mình. ”

PaLM vượt trội so với hiện đại trong các tác vụ xử lý ngôn ngữ tự nhiên bằng tiếng Anh và điều đó làm cho PaLM trở nên quan trọng và đáng chú ý.

Trên một tiêu chuẩn hợp tác được gọi là BIG-bench bao gồm hơn 150 nhiệm vụ (liên quan đến lý luận, dịch thuật, trả lời câu hỏi), PaLM làm tốt hơn trạng thái hiện đại nhưng có những lĩnh vực nó không làm được như vậy.

Đáng chú ý là hiệu suất của con người vượt qua PaLM trên 35% các nhiệm vụ, đặc biệt là các nhiệm vụ liên quan đến toán học (Xem phần 6.2 BIG-bench của bài báo nghiên cứu, trang 17).

PaLM đã dịch một ngôn ngữ khác sang tiếng Anh tốt hơn là dịch tiếng Anh sang các ngôn ngữ khác. Các nhà nghiên cứu tuyên bố rằng đây là một vấn đề phổ biến có thể được giải quyết bằng cách ưu tiên dữ liệu đa ngôn ngữ hơn.

Tuy nhiên, PaLM vượt trội hơn nhiều so với các mô hình ngôn ngữ khác và con người trên diện rộng.

Related Posts

Leave a Comment

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
-
00:00
00:00
Update Required Flash plugin
-
00:00
00:00