OpenAI và Broadcom ra mắt chip inference được tối ưu hóa LLM

OpenAI và Broadcom (NASDAQ: AVGO) hôm nay đã công bố Jalapeño, Bộ xử lý thông minh đầu tiên của OpenAI: một công cụ tăng tốc được thiết kế dựa trên tầm nhìn của OpenAI về tương lai của inference LLM và công cụ tăng tốc AI đầu tiên trong nền tảng điện toán nhiều thế hệ mà các công ty đang cùng nhau xây dựng để tạo ra AI tiên tiến nhanh hơn, đáng tin cậy hơn và dễ tiếp cận hơn với nhiều người hơn.

Jalapeño đã được Chủ tịch kiêm Giám đốc điều hành Broadcom Hock Tan và Chủ tịch Charlie Kawwas giao cho Giám đốc điều hành OpenAI Sam Altman và Chủ tịch Greg Brockman, đánh dấu một bước quan trọng trong chiến lược của OpenAI nhằm xây dựng toàn bộ nền tảng đằng sau các mô hình và sản phẩm của mình.

OpenAI đã thiết kế chip từ đầu dựa trên sự hiểu biết sâu sắc về các nguyên tắc cơ bản của LLM, được thông báo theo lộ trình về mô hình, hạt nhân, hệ thống phục vụ và nhu cầu sản phẩm, cùng với các đối tác Broadcom và Celestica, giúp công nghiệp hóa nền tảng thông qua triển khai chip, bo mạch, tích hợp hệ thống giá đỡ, mạng hiệu suất cao và hệ thống sản xuất có thể mở rộng. Jalapeño được thiết kế linh hoạt để hoạt động với tất cả các LLM được hướng dẫn bởi những hiểu biết sâu sắc của OpenAI về nhu cầu inference của các mô hình AI hiện tại và tương lai trong toàn ngành. Các mẫu kỹ thuật của chip Jalapeño đang chạy khối lượng công việc ML trong phòng thí nghiệm ở tần số và công suất mục tiêu sản xuất, bao gồm GPT‑5.3‑Codex‑Spark.

Mặc dù OpenAI vẫn đang đo lường hiệu suất cuối cùng nhưng thử nghiệm ban đầu cho thấy Jalapeño sẽ mang lại hiệu suất trên mỗi watt tốt hơn đáng kể so với công nghệ hiện đại nhất hiện nay. Một báo cáo kỹ thuật chi tiết về hiệu suất sẽ được trình bày trong những tháng tới. Kiến trúc làm giảm sự di chuyển dữ liệu và cân bằng các tài nguyên điện toán, bộ nhớ và mạng để đạt được mức sử dụng hiện thực gần hơn với hiệu suất cao nhất về mặt lý thuyết. Các công nghệ mạng và triển khai silicon của Broadcom, bao gồm cả silicon mạng Tomahawk, giúp đưa nền tảng này vào sản xuất quy mô lớn.

Greg Brockman, Chủ tịch và đồng sáng lập của OpenAI cho biết: “Thế giới đang chuyển sang nền kinh tế được hỗ trợ bởi máy tính. "Jalapeño là một phần trong chiến lược cơ sở hạ tầng toàn diện dài hạn của chúng tôi nhằm làm cho khả năng tính toán trở nên phong phú hơn, dẫn đến AI nhanh hơn, đáng tin cậy hơn, giá cả phải chăng hơn cho người dân và doanh nghiệp, đồng thời có thể được sử dụng để giải quyết các vấn đề quan trọng hơn. Bằng cách tự thiết kế nhiều stack hơn, chúng tôi có thể phục vụ nhiều trí thông minh hơn với hiệu quả cao hơn và tiếp tục thúc đẩy AI tiên tiến hướng tới khả năng truy cập rộng hơn."

Richard Ho, người đứng đầu chương trình phần cứng của OpenAI cho biết: “Jalapeño được thiết kế ngay từ đầu để inference LLM bằng cách sử dụng những hiểu biết chi tiết từ sự hợp tác chặt chẽ của chúng tôi với các nhà nghiên cứu OpenAI”. "Chúng tôi đã tối ưu hóa kiến ​​trúc xung quanh nhân, chuyển động bộ nhớ, kết nối mạng và các mẫu phân phối quan trọng nhất đối với các mô hình AI tiên tiến. Dựa trên thử nghiệm ban đầu, Jalapeño sẽ thực thi hiệu quả khối lượng công việc quan trọng nhất của chúng tôi gần với giới hạn lý thuyết của phần cứng."

Hock Tan, Chủ tịch và Giám đốc điều hành của Broadcom cho biết: “Sự hợp tác của chúng tôi với OpenAI thể hiện cam kết cơ bản trong việc mở rộng cơ sở hạ tầng vật lý cần thiết cho thập kỷ tiếp theo của AI”. "Đây chỉ là khởi đầu của lộ trình nhiều thế hệ. Bằng cách đồng phát triển silicon dẫn đầu ngành của chúng tôi trực tiếp với OpenAI, chúng tôi đang cho phép triển khai các trung tâm dữ liệu quy mô gigawatt với Microsoft và các đối tác khác bắt đầu từ năm 2026."

Được thiết kế để trở thành nền tảng inference tốt nhất cho LLM

Jalapeño là một thiết kế trống dành cho inference LLM hiện đại, không phải là một công cụ tăng tốc có mục đích chung được điều chỉnh từ khối lượng công việc AI trước đó. Nó được thông báo bởi các hệ thống OpenAI chạy hàng ngày trên ChatGPT, Codex, API và các sản phẩm tác nhân trong tương lai, đồng thời được thiết kế cho các LLM hiện tại và tương lai trên toàn ngành. Mục tiêu là kết hợp sức mạnh và thông lượng của các bộ tăng tốc AI hàng đầu hiện nay với độ trễ gần hơn với các hệ thống inference chuyên dụng nhanh nhất, khiến Jalapeño rất phù hợp cho các sản phẩm LLM tương tác trên quy mô lớn.

Đó là lợi thế của full-stack. OpenAI không chỉ phát triển các mô hình biên giới hoặc xây dựng các sản phẩm dựa trên chúng; nó đang thiết kế cơ sở hạ tầng bên dưới chúng: kiến ​​trúc chip, hạt nhân, hệ thống bộ nhớ, mạng, lập kế hoạch, hệ thống triển khai và trải nghiệm sản phẩm. Vì OpenAI hoạt động xuyên suốt nên mỗi lớp có thể được tối ưu hóa theo cùng một mục tiêu: làm cho các mô hình của nó nhanh hơn, đáng tin cậy hơn và giá cả phải chăng hơn cho người dùng.

Jalapeño củng cố bánh đà đằng sau sự tiến bộ của OpenAI. Cơ sở hạ tầng tốt hơn thúc đẩy hiệu quả tính toán. Hiệu suất điện toán cao hơn cho phép đào tạo và phục vụ tốt hơn, cuối cùng là hỗ trợ các mô hình AI có năng lực cao hơn. Các mô hình tốt hơn sẽ trở thành sản phẩm tốt hơn cho mọi người, nhà phát triển và doanh nghiệp. Các sản phẩm tốt hơn thúc đẩy nhiều lượt sử dụng hơn, nhiều khách hàng hơn và nhiều doanh thu hơn, điều này cho phép OpenAI tái đầu tư vào thế hệ cơ sở hạ tầng tiếp theo. Theo thời gian, chu trình đó giúp trí thông minh có khả năng hoạt động tốt hơn, đáng tin cậy hơn và ít tốn kém hơn cho mọi người.

Khoảng thời gian chín tháng được tăng tốc nhờ các mô hình OpenAI

Jalapeño được đồng phát triển từ thiết kế ban đầu đến sản xuất băng chuyền chỉ trong chín tháng và chương trình tăng tốc AI tùy chỉnh thể hiện điều mà chúng tôi tin là chu kỳ phát triển ASIC nhanh nhất từng đạt được trong các chất bán dẫn tiên tiến hiệu suất cao. Tốc độ đó phản ánh sự hợp tác phát triển phần cứng-phần mềm sâu sắc với các nhóm kỹ thuật của OpenAI, chuyên môn triển khai silicon của Broadcom và việc sử dụng các mô hình OpenAI để tăng tốc các phần của quá trình thiết kế và tối ưu hóa.

Các mô hình tương tự được cung cấp cho người dùng đang giúp cải thiện cơ sở hạ tầng được sử dụng để chạy các mô hình trong tương lai. Nếu AI có thể giúp các kỹ sư thiết kế chip tốt hơn nhanh hơn, thì nó có thể giảm chi phí điện toán trong toàn ngành và giúp dân chủ hóa quyền truy cập vào AI tiên tiến.

Xây dựng nền tảng đa thế hệ cùng đối tác

Jalapeño là bước đầu tiên trong nền tảng điện toán nhiều thế hệ được thiết kế để triển khai lần đầu vào cuối năm 2026 và mở rộng trong những năm tới, kết hợp các bộ tăng tốc do OpenAI thiết kế với các công nghệ triển khai, mạng và kết nối silicon Broadcom; và chuyên môn về bo mạch, giá đỡ và hệ thống của Celestica.

Làm cho AI tiên tiến có sẵn rộng rãi hơn

Mục đích của công việc này rất đơn giản: inference là nơi AI tiếp cận con người. Mọi cải tiến về chi phí, tốc độ và độ tin cậy đều có thể hiển thị dưới dạng câu trả lời ChatGPT nhanh hơn, tác vụ Codex có thể thực hiện nhiều bước hơn với ít thời gian chờ đợi hơn, sản phẩm API có chi phí xây dựng rẻ hơn hoặc khả năng truy cập đáng tin cậy hơn khi nhu cầu cao.

Dân chủ hóa AI có nghĩa là cung cấp các mô hình tiên tiến, đáng tin cậy và đủ giá cả phải chăng để nhiều người sử dụng hàng ngày hơn. Jalapeño giúp OpenAI biến nhiều cơ sở hạ tầng của mình thành trí thông minh hữu ích cho sinh viên, nhà phát triển, doanh nghiệp nhỏ, nhà nghiên cứu, doanh nghiệp và bất kỳ ai đang cố gắng học hỏi, sáng tạo hoặc giải quyết các vấn đề khó khăn.