Những điều cần biết về chi phí tích hợp AI

Với sự phát triển của trí tuệ nhân tạo, một sai lầm dễ gặp ở các doanh nghiệp là tập trung vào ý nghĩa chiến lược hơn là chi phí triển khai.

Trong thực tế, chi phí tích hợp trí tuệ nhân tạo đan xen phức tạp vào toàn bộ quy trình xây dựng và thực hiện chiến lược của doanh nghiệp.

Bối cảnh phức tạp của chi phí trí tuệ nhân tạo tạo sinh (Generative AI Costs)

1. Inference Cost (tạm dịch: Chi phí dự đoán)

Để sử dụng trí tuệ nhân tạo tạo sinh (Generative AI), chúng ta cần hiểu rõ về chi phí liên quan đến việc sử dụng các mô hình ngôn ngữ lớn (LLM) để sinh ra nội dung. Mỗi trường hợp mà bạn cung cấp đầu vào cho LLM cho đến đầu ra đều sử dụng tài nguyên điện toán.

Chi phí này được gọi là chi phí dự đoán và phụ thuộc vào lượng tài nguyên điện toán cần thiết để chạy các LLM.

Ví dụ: Chi phí dự đoán để tạo ra văn bản từ LLM như GPT-4 thường rơi vào khoảng $0.006 trên 1.000 token đầu ra cộng với $0.003 trên 1.000 token đầu vào.

Token là một nhóm từ, trong đó 1.000 token tương đương khoảng 750 từ. Chi phí để tạo hình ảnh từ mô hình hình ảnh lớn như DALL-E 2 có giá khoảng $0.18 cho mỗi hình ảnh.

Chi phí này có thể khác nhau tùy theo loại nội dung được sinh ra, ví dụ: văn bản hay hình ảnh, và kích thước của các LLM.

Chi phí dự đoán sẽ là một rào cản cho việc triển khai, đặc biệt đối với các doanh nghiệp cần tạo ra nhiều nội dung.

Nhưng cũng có một số cách giúp giảm chi phí dự đoán của AI tạo sinh như: chọn các LLM nhỏ hơn, sử dụng các LLM miễn phí, cải thiện và tối ưu quy trình dự đoán.

2. Fine-tuning Cost (tạm dịch: Chi phí tinh chỉnh)

Chi phí tinh chỉnh của AI tạo sinh phụ thuộc vào một số yếu tố, bao gồm: quy mô và độ phức tạp của mô hình, lượng dữ liệu được sử dụng để tinh chỉnh và số lượng giai đoạn (lặp lại) đào tạo.

Ví dụ: Theo OpenAI, để ước tính chi phí cho một công việc tinh chỉnh cụ thể, có thể sử dụng công thức:

[Chi phí cơ bản cho mỗi 1k token * Số lượng token trong tệp đầu vào * Số vòng lặp được máy học]

Đối với tệp có 100.000 token được đào tạo trong 3 vòng lặp trên GPT-3.5 Turbo, chi phí dự kiến ​​sẽ vào khoảng $2.40.

Có một số mẹo giúp giảm chi phí tinh chỉnh, như ‘Transfer learning’ (tạm dịch: học chuyển giao) sử dụng lại kiến ​​thức đã học được từ một nhiệm vụ khác nên yêu cầu tập dữ liệu nhỏ hơn và ‘Distributed training’ (tạm dịch: Đào tạo phân tán) đặc biệt là “chuyển giao học tập” và “đào tạo phân tán” sử dụng nhiều GPU hoặc CPU cùng lúc để giảm thời gian và chi phí đào tạo.

3. Prompt Engineering Cost

Prompt Engineering là quá trình cấu trúc văn bản sao cho mô hình trí tuệ nhân tạo như GPT có thể hiểu được và tạo đầu ra như mong muốn.

Để tạo ra những cấu trúc văn bản hiệu quả đỏi hỏi chi phí thiết kế và tinh chỉnh cao, bao gồm việc xác định cấu trúc, ngôn ngữ, thông tin cần thiết để mô hình tạo ra ngôn ngữ như mong muốn hoặc thực hiện công việc cụ thể.

Doanh nghiệp cần cân bằng giữa Prompt Engineering và Fine-tuning (Tinh chỉnh)/ Nếu bạn yêu cầu mức độ chính xác cao thì tinh chỉnh là phương pháp tốt nhất mặc dù chi phí cao hơn và tốn nhiều thời gian hơn.

4. Cloud Expense (tạm dịch: Chi phí đám mây)

Khi xem xét chi phí đám mây, quan trọng là không chỉ tập trung vào các chi phí lưu trữ cơ bản mà còn phải có cái nhìn toàn diện về kiến trúc đám mây tổng thể trong quá trình triển khai.

Để minh họa, trong lĩnh vực chăm sóc sức khỏe tại Hoa Kỳ, các cơ sở y tế không thể đơn giản chỉ tải dữ liệu bệnh nhân lên các vị trí từ xa. Trong những tình huống như vậy, việc mở rộng lưu trữ đám mây riêng tư cục bộ trở nên cần thiết khi xử lý dữ liệu lớn liên quan đến người dùng.

Hơn nữa, một số doanh nghiệp vẫn đang phân vân giữa đám mây công cộng, đám mây riêng tư và giải pháp đa đám mây.

Nghiên cứu của tác giả bài viết, Hugo Huang – Product Manager tại Canonial, chỉ ra rằng 70% nhà quản trị doanh nghiệp ưa thích chiến lược di dời đám mây, cách các hệ thống kế thừa được duy trì càng lâu càng tốt.

Tuy nhiên, phương pháp này có vẻ sẽ tiết kiệm chi phí nhưng cũng vô tinh làm tăng các chi phí liên quan về mức độ tương thích, có thể ảnh hưởng đến hiệu suất và làm tăng chi phí dài hạn.

5. Operation Costs (Chi phí vận hành)

Quản lý hoạt động học máy (hay còn gọi là Machine learning operations (MLOp)) là bộ các phương pháp được thiết kế cẩn thận để tối ưu hóa quy trình làm việc và tự động hóa triển khai máy học.

Mục tiêu của MLOps là giảm thiểu thời gian và chi phí cho việc triển khai và vận hành các mô hình máy học trong môi trường sản xuất.

Một vòng đời MLOps toàn diện bao gồm:

• Thu thập và xử lý dữ liệu: bước này bao gồm các công việc:  thu thập dữ liệu từ nhiều nguồn, làm sạch và chuẩn hóa dữ liệu, phân chia dữ liệu thành tập huấn luyện, kiểm tra và kiểm định, gán nhãn và mã hóa dữ liệu, trích xuất và lựa chọn các đặc trưng quan trọng.
• Xây dựng và huấn luyện mô hình: bước này nhằm tạo ra một mô hình ML phù hợp với bài toán cần giải quyết. Bước này có thể bao gồm các công việc như: lựa chọn thuật toán ML, thiết kế kiến trúc mô hình, lập trình code mô hình, thiết lập các tham số và siêu tham số, huấn luyện mô hình trên tập dữ liệu huấn luyện, kiểm tra và đánh giá mô hình trên tập dữ liệu kiểm tra và kiểm định.
• Triển khai và vận hành mô hình: bước này nhằm đưa mô hình ML vào hoạt động trong môi trường sản xuất, phục vụ cho các yêu cầu của người dùng và doanh nghiệp. Bước này có thể bao gồm các công việc như: đóng gói và xuất bản mô hình, thiết lập các nền tảng và cơ sở hạ tầng để chạy mô hình, tích hợp mô hình với các hệ thống khác, giám sát và theo dõi hiệu suất và hành vi của mô hình, cập nhật và bảo trì mô hình.

Cân nhắc thêm những chi phí tiềm tàng

1. Infrstructure Overhaul (Nâng cấp hạ tầng)

Các mô hình trí tuệ nhân tạo thường có nhu cầu dữ liệu rất lớn, đòi hỏi các giải pháp lưu trữ và quản lý dữ liệu hiệu quả và có khả năng mở rộng.

2. Data Security (Bảo mật dữ liệu)

Có một số lĩnh vực quan trọng đòi hỏi bảo mật cao, bao gồm ngăn chặn rò rỉ dữ liệu và sở hữu trí tuệ, giải quyết những rủi ro liên quan đến lan truyền nội dung độc hại, vi phạm bản quyền,… các dự án AI đòi hỏi chiến lược bảo mật được lên kế hoạch kỹ lưỡng ngay từ đầu.

3. Ethical Consideration (Yếu tố đạo đức)

Trí tuệ nhân tạo có thể vô tình duy trì và phổ biến những thiên kiến, sai lệch trong dữ liệu huấn luyện. Muốn giảm nhẹ những sai lệch này, đòi hỏi bộ dữ liệu đào tạo toàn diện, hệ thống quản trị mạnh và được theo dõi liên tục.

Tóm lại, doanh nghiệp có thể điều hướng sự phức tạp nhưng cũng đầy biến động của trí tuệ nhân tạo tạo sinh bằng cách tiếp cận cân bằng hài hòa giữa sự đổi mới với việc thận trọng về tài chính. Đây là chìa khóa cho một hành trình bền vững và có tác động.