Microsoft giới thiệu Phi-3: Định nghĩa lại những gì có thể với SLM

Microsoft rất vui mừng giới thiệu Phi-3, một bộ các mô hình AI mở được phát triển. Các mô hình Phi-3 là những mô hình ngôn ngữ nhỏ (SLM) có khả năng và tiết kiệm chi phí nhất hiện có, vượt trội hơn các mô hình cùng kích thước và lớn hơn một bậc trên nhiều chuẩn về ngôn ngữ, lập luận, mã hóa và toán học. Bản phát hành này mở rộng lựa chọn các mô hình chất lượng cao cho khách hàng, cung cấp nhiều lựa chọn thực tế hơn khi họ xây dựng và phát triển các ứng dụng AI thế hệ.

Bắt đầu từ hôm nay, Phi-3-mini, một mô hình ngôn ngữ 3.8 tỷ tham số đã có sẵn trên Microsoft Azure AI Studio, Hugging FaceOllama.

Microsoft Azure AI Studio là một nền tảng tích hợp các dịch vụ AI của Azure giúp người dùng dễ dàng tạo, triển khai và quản lý các ứng dụng AI. Nền tảng này cung cấp các công cụ trực quan và giao diện kéo thả, cho phép cả người dùng không có chuyên môn về lập trình cũng có thể sử dụng các công nghệ AI tiên tiến.

Dưới đây là một số tính năng chính của Azure AI Studio:

  • Tạo các mô hình học máy: Azure AI Studio cung cấp các công cụ để tạo các mô hình học máy từ đầu hoặc sử dụng các mô hình được đào tạo trước. Người dùng có thể chọn từ nhiều loại thuật toán học máy khác nhau, chẳng hạn như phân loại, dự đoán và nhóm.
  • Huấn luyện và tinh chỉnh mô hình: Azure AI Studio cho phép người dùng huấn luyện các mô hình học máy trên dữ liệu của riêng họ và tinh chỉnh chúng để đạt được hiệu suất tốt nhất. Nền tảng này cũng cung cấp các công cụ để theo dõi hiệu suất của mô hình và xác định các khu vực có thể cải thiện.
  • Triển khai mô hình: Azure AI Studio giúp người dùng dễ dàng triển khai các mô hình học máy của họ thành các ứng dụng sản xuất. Nền tảng này cung cấp nhiều tùy chọn triển khai khác nhau, chẳng hạn như API web, ứng dụng web và dịch vụ Azure Functions.
  • Quản lý các mô hình: Azure AI Studio cung cấp các công cụ để quản lý các mô hình học máy đã được triển khai. Người dùng có thể theo dõi hiệu suất của mô hình, cập nhật chúng với dữ liệu mới và khắc phục sự cố nếu có.

Hugging Face là một công ty Pháp-Mỹ chuyên phát triển các công cụ mã nguồn mở để xây dựng các ứng dụng sử dụng học máy, đặc biệt là xử lý ngôn ngữ tự nhiên (NLP). Nền tảng của họ cung cấp nhiều tài nguyên hữu ích cho các nhà nghiên cứu, nhà phát triển và người đam mê học máy, bao gồm:

  • Thư viện Transformers: Đây là thư viện mã nguồn mở phổ biến nhất cho các mô hình Transformer, một loại mạng nơ-ron nhân tạo được sử dụng rộng rãi trong các nhiệm vụ NLP. Thư viện cung cấp nhiều mô hình Transformer được đào tạo trước cho các tác vụ khác nhau như phân loại văn bản, tóm tắt văn bản, dịch máy và trả lời câu hỏi.
  • Datasets: Hugging Face cung cấp một kho lưu trữ khổng lồ các tập dữ liệu mã nguồn mở cho các nhiệm vụ NLP. Các tập dữ liệu này được thu thập và chuẩn bị cẩn thận để đảm bảo chất lượng cao, giúp các nhà nghiên cứu và nhà phát triển dễ dàng bắt đầu với các dự án NLP của họ.
  • Model Hub: Model Hub là một nền tảng cho phép người dùng chia sẻ và tải xuống các mô hình học máy. Nền tảng này bao gồm nhiều loại mô hình, bao gồm mô hình Transformer, mô hình ngôn ngữ và mô hình thị giác máy tính.
  • Gradio: Gradio là một thư viện mã nguồn mở để tạo các giao diện người dùng trực quan cho các mô hình học máy. Nền tảng này giúp các nhà phát triển dễ dàng triển khai các mô hình của họ thành các ứng dụng web mà không cần có nhiều kiến ​​thức về lập trình web.
  • Courses: Hugging Face cung cấp các khóa học trực tuyến về NLP và học máy. Các khóa học này được giảng dạy bởi các chuyên gia hàng đầu trong lĩnh vực này và cung cấp cho người học kiến ​​thức và kỹ năng cần thiết để xây dựng các ứng dụng học máy tiên tiến.

Ollama là một công cụ mã nguồn mở miễn phí giúp bạn dễ dàng chạy các mô hình ngôn ngữ lớn (LLM) trên máy tính cá nhân của bạn. Nó cung cấp một giao diện dòng lệnh đơn giản để tải xuống, cài đặt và chạy các mô hình LLM khác nhau, bao gồm các mô hình phổ biến như LaMDA, GPT-3 và Jurassic-1 Jumbo.

Ưu điểm của Ollama:

  • Dễ sử dụng: Ollama có giao diện dòng lệnh đơn giản, dễ sử dụng cho cả người mới bắt đầu và người dùng có kinh nghiệm.
  • Miễn phí và mã nguồn mở: Ollama là công cụ miễn phí và mã nguồn mở, cho phép bạn sử dụng và sửa đổi nó theo nhu cầu của mình.
  • Hỗ trợ nhiều mô hình LLM: Ollama hỗ trợ nhiều mô hình LLM khác nhau, bao gồm cả các mô hình mới nhất và tiên tiến nhất.
  • Chạy LLM trên máy tính cá nhân: Ollama cho phép bạn chạy các mô hình LLM trên máy tính cá nhân của mình, giúp bạn tiết kiệm chi phí và bảo mật dữ liệu của bạn.

Phi-3-mini có hai biến thể về độ dài ngữ cảnh – 4K và 128K token. Đây là mô hình đầu tiên trong phân khúc hỗ trợ cửa sổ ngữ cảnh lên đến 128K token với ảnh hưởng ít đến chất lượng.

Có thể bạn thích:  AI giúp con người giải quyết được gì?

Mô hình được tinh chỉnh theo hướng dẫn, có nghĩa là nó được đào tạo để tuân theo các loại hướng dẫn khác nhau phản ánh cách mọi người thường giao tiếp. Điều này đảm bảo mô hình sẵn sàng sử dụng ngay lập tức.

Phi-3-mini có sẵn trên Azure AI để tận dụng chuỗi công cụ triển khai-đánh giá-tinh chỉnh, và có sẵn trên Ollama để các nhà phát triển chạy cục bộ trên máy tính xách tay của họ.

Nó đã được tối ưu hóa cho ONNX Runtime với hỗ trợ cho Windows DirectML cùng với hỗ trợ đa nền tảng trên GPU, CPU và thậm chí cả phần cứng di động.

ONNX Runtime là một trình tăng tốc đa nền tảng linh hoạt cho các mô hình học máy được tạo ra bằng các framework phổ biến như PyTorch, TensorFlow, Scikit-learn và nhiều hơn nữa. Nó được thiết kế để tối ưu hóa việc thực thi các mô hình ONNX, định dạng mô hình mở tiêu chuẩn cho học máy, bằng cách tận dụng các khả năng dành riêng cho phần cứng.

Lợi ích của ONNX Runtime:

  • Hiệu suất cao: ONNX Runtime có thể tăng tốc đáng kể việc thực thi các mô hình học máy so với việc chạy chúng trực tiếp trong framework gốc.
  • Tính linh hoạt: ONNX Runtime hỗ trợ nhiều nền tảng phần cứng khác nhau, bao gồm CPU, GPU và TPU, giúp bạn dễ dàng triển khai các mô hình học máy trên nhiều thiết bị khác nhau.
  • Dễ sử dụng: ONNX Runtime cung cấp một API đơn giản và dễ sử dụng, giúp bạn dễ dàng tích hợp nó vào các ứng dụng của mình.
  • Mã nguồn mở: ONNX Runtime là dự án mã nguồn mở, cho phép bạn kiểm tra và sửa đổi mã theo nhu cầu của mình.

Các trường hợp sử dụng phổ biến của ONNX Runtime:

  • Triển khai mô hình học máy vào sản xuất: ONNX Runtime là một lựa chọn tuyệt vời để triển khai các mô hình học máy vào sản xuất vì nó cung cấp hiệu suất cao, tính linh hoạt và khả năng bảo trì cao.
  • Tăng tốc các ứng dụng học máy: ONNX Runtime có thể được sử dụng để tăng tốc các ứng dụng học máy hiện có, chẳng hạn như ứng dụng nhận dạng hình ảnh và ứng dụng dịch máy.
  • Phát triển các ứng dụng học máy mới: ONNX Runtime có thể được sử dụng để phát triển các ứng dụng học máy mới bằng cách cung cấp một nền tảng hiệu suất cao và linh hoạt.

Phi-3-mini cũng có sẵn dưới dạng dịch vụ vi mô NVIDIA NIM với giao diện API tiêu chuẩn có thể triển khai ở bất kỳ đâu. Và đã được tối ưu hóa cho GPU NVIDIA.

Trong những tuần tới, các mô hình bổ sung sẽ được thêm vào họ Phi-3 để cung cấp cho khách hàng thậm chí linh hoạt hơn trên toàn bộ đường cong chất lượng-chi phí. Phi-3-small (7B) và Phi-3-medium (14B) sẽ sớm có sẵn trong danh mục mô hình Azure AI và các thư viện mô hình khác.

Đồ thị minh họa chất lượng của các mô hình Phi-3 mới, được đo bằng hiệu suất trên bài kiểm tra Hiểu ngôn ngữ đa nhiệm MMLU (Massive Multitask Language Understanding), so sánh với các mô hình khác có kích thước tương tự. (Hình ảnh do Microsoft cung cấp)

Microsoft tiếp tục cung cấp các mô hình tốt nhất trên toàn bộ đường cong chất lượng-chi phí và bản phát hành Phi-3 hôm nay mở rộng lựa chọn các mô hình với các mô hình nhỏ hàng đầu.

Hiệu suất đột phá với kích thước nhỏ

Các mô hình Phi-3 vượt trội đáng kể so với các mô hình ngôn ngữ cùng kích thước và lớn hơn trên các chuẩn đánh giá then chốt (xem các con số chuẩn bên dưới, số cao hơn là tốt hơn). Phi-3-mini hoạt động tốt hơn các mô hình có kích thước gấp đôi, và Phi-3-small và Phi-3-medium vượt trội hơn các mô hình lớn hơn nhiều, bao gồm cả GPT-3.5T.

Có thể bạn thích:  Veo: Google ra AI tạo video, cạnh tranh OpenAI Sora

Tất cả các con số được báo cáo đều được tạo ra với cùng một quy trình để đảm bảo tính so sánh. Do đó, các con số này có thể khác với các con số được công bố khác do sự khác biệt nhỏ trong phương pháp đánh giá. Chi tiết hơn về các chuẩn đánh giá được cung cấp trong bài báo kỹ thuật của chúng tôi.

Lưu ý: Các mô hình Phi-3 không hoạt động tốt trên các chuẩn đánh giá kiến thức thực tế (chẳng hạn như TriviaQA) vì kích thước mô hình nhỏ hơn dẫn đến dung lượng lưu trữ thông tin sự kiện ít hơn.

Thiết kế mô hình an toàn lên hàng đầu

Các mô hình Phi-3 được phát triển theo Tiêu chuẩn Trí tuệ Nhân tạo Có Trách Nhiệm của Microsoft (Microsoft Responsible AI Standard), một bộ yêu cầu toàn công ty dựa trên sáu nguyên tắc sau: trách nhiệm giải trình, minh bạch, công bằng, độ tin cậy và an toàn, quyền riêng tư và bảo mật, và tính bao gồm. Các mô hình Phi-3 đã trải qua quá trình đo lường và đánh giá an toàn nghiêm ngặt, kiểm tra thâm nhập (red-teaming), đánh giá sử dụng nhạy cảm và tuân thủ các hướng dẫn bảo mật để giúp đảm bảo các mô hình này được phát triển, thử nghiệm và triển khai một cách có trách nhiệm theo tiêu chuẩn và thông lệ tốt nhất của Microsoft.

Red-Teaming là phương pháp đánh giá an ninh mạng mô phỏng các cuộc tấn công của tin tặc thực sự nhằm xác định điểm yếu và lỗ hổng trong hệ thống an ninh của tổ chức. Đội Red Team (Đội Đỏ) đóng vai trò như những kẻ tấn công, sử dụng các kỹ thuật và công cụ tiên tiến để tấn công hệ thống của tổ chức một cách bí mật và không được thông báo trước. Mục tiêu của Red-Teaming là tìm ra những cách thức mà kẻ tấn công có thể xâm nhập vào hệ thống, đánh cắp dữ liệu hoặc gây ra thiệt hại cho tổ chức.

Lợi ích của Red-Teaming:

  • Phát hiện điểm yếu và lỗ hổng: Red-Teaming có thể giúp tổ chức phát hiện những điểm yếu và lỗ hổng trong hệ thống an ninh mà các phương pháp đánh giá an ninh thông thường có thể bỏ sót.
  • Nâng cao khả năng phòng thủ: Bằng cách hiểu rõ cách thức mà kẻ tấn công có thể tấn công hệ thống, tổ chức có thể cải thiện khả năng phòng thủ và ngăn chặn các cuộc tấn công trong tương lai.
  • Thử thách hệ thống an ninh: Red-Teaming có thể giúp tổ chức xác định xem hệ thống an ninh của họ có đủ mạnh để chống lại các cuộc tấn công tiên tiến hay không.
  • Nâng cao nhận thức về an ninh mạng: Red-Teaming có thể giúp nâng cao nhận thức về an ninh mạng trong tổ chức và khuyến khích nhân viên thực hành các biện pháp bảo mật tốt hơn.

Dựa trên công trình trước đây của chúng tôi với các mô hình Phi (“Textbooks Are All You Need”), các mô hình Phi-3 cũng được đào tạo bằng dữ liệu chất lượng cao. Chúng được cải thiện hơn nữa với các biện pháp an toàn mở rộng sau đào tạo, bao gồm học tăng cường từ phản hồi của con người (RLHF), thử nghiệm và đánh giá tự động trên hàng tá danh mục tác hại và kiểm tra thâm nhập thủ công. Cách tiếp cận của chúng tôi đối với đào tạo và đánh giá an toàn được nêu chi tiết trong bài báo kỹ thuật của chúng tôi và chúng tôi phác thảo các cách sử dụng được đề xuất và hạn chế trong thẻ mô hình. Xem bộ sưu tập thẻ mô hình.

RLHF là viết tắt của Reinforcement Learning from Human Feedback, nghĩa là Học Tăng cường từ Phản hồi của Con người. Đây là một kỹ thuật trong học máy giúp huấn luyện các mô hình AI một cách hiệu quả hơn bằng cách sử dụng phản hồi từ con người.

Cách thức hoạt động của RLHF:

  • Mô hình AI thực hiện một hành động hoặc đưa ra một dự đoán: Đầu tiên, mô hình AI sẽ thực hiện một hành động hoặc đưa ra một dự đoán dựa trên dữ liệu mà nó đã được đào tạo.
  • Con người cung cấp phản hồi: Sau khi mô hình AI thực hiện hành động hoặc đưa ra dự đoán, con người sẽ cung cấp phản hồi cho nó. Phản hồi này có thể là tích cực (nếu hành động hoặc dự đoán là chính xác) hoặc tiêu cực (nếu hành động hoặc dự đoán là sai).
  • Mô hình AI học hỏi từ phản hồi: Dựa trên phản hồi của con người, mô hình AI sẽ điều chỉnh hành vi của mình cho phù hợp. Theo thời gian, mô hình sẽ học cách thực hiện các hành động và đưa ra dự đoán chính xác hơn.

Mở khóa các khả năng mới

Kinh nghiệm của Microsoft trong việc cung cấp các công cụ hỗ trợ lập trình (copilots) và cho phép khách hàng chuyển đổi doanh nghiệp của họ bằng trí tuệ nhân tạo sinh ra thông qua Azure AI đã nhấn mạnh nhu cầu ngày càng tăng đối với các mô hình có kích thước khác nhau trên đường cong chất lượng-chi phí cho các tác vụ khác nhau. Mô hình ngôn ngữ nhỏ, giống như Phi-3, đặc biệt phù hợp cho:

  • Môi trường hạn chế tài nguyên, bao gồm các tình huống suy luận trên thiết bị và ngoại tuyến.
  • Các tình huống bị giới hạn độ trễ khi thời gian phản hồi nhanh là rất quan trọng.
  • Trường hợp sử dụng hạn chế về chi phí, đặc biệt là đối với các tác vụ đơn giản hơn.
Có thể bạn thích:  Thành tựu mới của OpenAI

Để biết thêm về các mô hình ngôn ngữ nhỏ, hãy xem Microsoft Source Blog của chúng tôi.

Nhờ kích thước nhỏ hơn, các mô hình Phi-3 có thể được sử dụng trong môi trường suy luận hạn chế tính toán. Phi-3-mini, nói riêng, có thể được sử dụng trên thiết bị, đặc biệt là khi được tối ưu hóa thêm với ONNX Runtime để khả dụng đa nền tảng. Kích thước nhỏ hơn của các mô hình Phi-3 cũng giúp việc tinh chỉnh hoặc tùy chỉnh dễ dàng và tiết kiệm chi phí hơn. Ngoài ra, nhu cầu tính toán thấp hơn của chúng khiến chúng trở thành lựa chọn chi phí thấp hơn với độ trễ tốt hơn nhiều. Cửa sổ ngữ cảnh dài hơn cho phép tiếp nhận và suy luận trên nội dung văn bản lớn – tài liệu, trang web, mã, v.v. Phi-3-mini thể hiện khả năng suy luận và logic mạnh mẽ, khiến nó trở thành lựa chọn tốt cho các tác vụ phân tích.

Khách hàng đã bắt đầu xây dựng các giải pháp với Phi-3. Một ví dụ cho thấy giá trị của Phi-3 là trong lĩnh vực nông nghiệp, nơi internet có thể không dễ dàng truy cập được. Các mô hình nhỏ mạnh mẽ như Phi-3 cùng với các mẫu copilot của Microsoft có sẵn cho nông dân tại thời điểm cần thiết và cung cấp thêm lợi ích là chạy với chi phí thấp hơn, giúp các công nghệ AI dễ tiếp cận hơn.

ITC, một tập đoàn kinh doanh hàng đầu có trụ sở tại Ấn Độ, đang tận dụng Phi-3 như một phần trong quá trình hợp tác liên tục với Microsoft trên copilot cho Krishi Mitra, một ứng dụng dành cho nông dân tiếp cận với hơn một triệu người dùng.

Ông Saif Naik, Giám đốc Công nghệ tại ITCMAARS, chia sẻ:

“Mục tiêu của chúng tôi với copilot Krishi Mitra là cải thiện hiệu quả hoạt động đồng thời duy trì độ chính xác của một mô hình ngôn ngữ lớn. Chúng tôi rất vui mừng được hợp tác với Microsoft để sử dụng các phiên bản tinh chỉnh của Phi-3 để đáp ứng cả hai mục tiêu – hiệu quả và độ chính xác!”

Có nguồn gốc từ phòng nghiên cứu Microsoft, các mô hình Phi đã được sử dụng rộng rãi, với Phi-2 đạt hơn 2 triệu lượt tải xuống. Dòng sản phẩm Phi đạt hiệu suất đáng kinh ngạc nhờ việc lựa chọn dữ liệu chiến lược và các kỹ thuật mở rộng sáng tạo. Bắt đầu với Phi-1, một mô hình được dùng để lập trình Python, đến Phi-1.5 tập trung cải thiện khả năng suy luận và lí giải, và sau đó là Phi-2, một mô hình 2.7 tỷ tham số vượt trội hơn các mô hình có kích thước gấp 25 lần về khả năng hiểu ngôn ngữ tự nhiên. Mỗi phiên bản đều tận dụng dữ liệu huấn luyện chất lượng cao và các kỹ thuật chuyển giao kiến thức để vượt qua những giới hạn thông thường trong việc mở rộng quy mô.

Bắt đầu ngay hôm nay

Để trải nghiệm Phi-3, hãy bắt đầu bằng việc thử mô hình trên Azure AI Playground. Bạn cũng có thể tìm thấy mô hình trên Hugging Face Playground. Bắt đầu xây dựng và tùy chỉnh Phi-3 cho các tình huống của bạn bằng cách sử dụng Azure AI Studio. Tham gia cùng chúng tôi để tìm hiểu thêm về Phi-3 trong buổi livestream đặc biệt của AI Show.

Bài viết này được dịch từ “Introducing Phi-3: Redefining what’s possible with SLMs” của Misha Bilenko, Corporate Vice President, Microsoft GenAI, đăng tải trên trang web https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/

Vũ Thanh Mai

Change the world by being yourself

Similar Posts

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *