Mặt trái của sự bùng nổ ứng dụng RAG

Cạm bẫy ‘đơn giản’ và ‘dễ bắt đầu’

"Tạo ứng dụng AI chatbot chỉ trong 5 phút", không quá khó để bắt gặp những bài hướng dẫn trong thời đại bùng nổ LLM. Như mọi làn sóng công nghệ khác, vô vàn lời mời gọi hấp dẫn về lập trình xuất hiện tràn lan, tạo cho đám đông cảm giác ‘đơn giản’ và ‘dễ bắt đầu’.

Thế nhưng thực tế sự hào hứng, dễ dàng và nhanh chóng thấy được giải pháp chạy thử chỉ là bước đầu tiên trong một hành trình còn rất dài để hoàn thiện giải pháp. Tôi hay cảm thán hiệu ứng này bằng câu làm nhanh thì dễ nhưng làm đúng thì không dễ.

Tất nhiên, khi một kĩ thuật mới ra đời sẽ kéo theo một cuộc cạnh tranh đến từ các bộ thư viện, framework mã nguồn mở, giúp các lập trình viên giải quyết phần lớn các vấn đề có thể gặp phải. Mặt trái của việc này không chỉ là lệ thuộc vào framework, từ cơn sốt LLM chúng ta còn dễ dàng nhìn thấy rất nhiều ứng dụng RAG con nít: trả lời linh tinh, không chính xác, bị khai thác vào mục đích khác, hiệu quả không như kì vọng.

Điều này sẽ tạo ra các kết quả xấu như:

• Tăng cao chi phí cloud mà không đạt hiệu quả như kì vọng
• Chán nản, mệt mỏi cho các bạn kĩ sư
• Mất chi phí cơ hội, đánh mất thời gian vàng triển khai AI

Nói vui một chút thì sau chuyển đổi số là chuyển đổi AI và chuyển đổi xanh, các khó khăn khi chuyển đổi là như nhau nhưng trong chuyển đổi AI thì cạm bẫy công nghệ còn lớn hơn vì sự ngáo AI lan rộng.

RAG thôi là chưa đủ

Vậy thì cần phải quan tâm điều gì? Tôi sẽ bỏ qua vấn đề về hallucination vì nó là vấn đề hiển nhiên và chúng ta đã sang năm thứ 3 của GenAI rồi.

Đánh giá kỹ về chất lượng của dữ liệu, tri thức và vai trò quản lý cập nhật

Đúng vậy, ngày nay thậm chí một bạn sinh viên ngành CNTT cũng có thể dễ dàng dựng ra một hệ thống RAG-chat khai thác vào một kho tài liệu tri thức nào đó. Chưa bàn về những thách thức mang tính kĩ sư như lựa chọn chunk size, định dạng văn bản, hình chụp chữ viết tay thì yếu tố đúng đắn của dữ liệu và quy trình để đảm bảo nó đúng đắn liệu đã tồn tại chưa?

Nhiều lần khi tôi hỏi chuyện gì sẽ xảy ra khi tồn tại 2 documents có nội dung mâu thuẫn nhau thì hầu hết các nhà phát triển đều cho rằng con người ở đó để việc này không thể xảy ra. Hay khi tôi hỏi về yếu tố một việc từng đúng và sau một thời gian không còn đúng nữa thì sao, ví dụ bạn có một tài liệu ghi rằng chi phí để mua một ly cà phê là 30,000 VND thì liệu 3 năm sau con số đó có còn đúng?

Chưa cần bàn đến thách thức của các hệ thống Change Data Capture, chi phí để đổ dữ liệu vào cơ sở dữ liệu vector là không hề nhỏ. Tương tự như các dự án về data platform, lời nguyền garbage in, garbage out vẫn linh nghiệm. Chi phí để làm sạch và làm giàu dữ liệu có thể vượt quá kì vọng về giá trị đem lại và tạo ra sự thất vọng khi triển khai.

Báo cáo về độ chính xác và chất lượng của câu trả lời

Suy nghĩ một chút về software 1.0, chúng ta kiểm thử phần mềm dựa trên câu chuyện 1+1 = 2 là đúng, nhưng với RAG-chat thì đội ngũ đảm bảo chất lượng sẽ đánh giá như thế nào? Bạn nghĩ sao về việc bạn phải trả tiền cho output theo token nhưng không thể biết liệu đáp án đó có chất lượng không?

Khi tiến hành cải thiện câu prompt, dựa vào đâu để đánh giá được hiệu quả, đặc biệt là ở môi trường production? Nếu như không quá đặc thù thì có thể một bản sao được hứa hẹn đã nặc danh hóa sẽ được đánh giá lại, hoặc có khi đội phát triển sẽ đọc toàn bộ mọi tương tác của người dùng.

Yếu tố quan trọng không kém chính là chi phí. Bạn cần nuôi đội ngũ, xây giải pháp có hỗ trợ A/B testing cho bộ prompt, quản lý phiên bản bộ prompt và độ hiệu quả được đánh giá một cách hệ thống. Đến đây bạn có chắc là chi phí này đáng với giá trị kì vọng của giải pháp không?

Tích hợp hệ thống và quy hoạch tổng thể

Có một thời gian, trục tích hợp là một vấn đề chiến lược với mọi doanh nghiệp, nhiều công sức được bỏ ra để duy trì một kiến trúc vững chắc, mạch lạc. Ngày nay, nhờ đặc quyền dự án trọng điểm và quan trọng về AI mà việc lấy dữ liệu cũng như tích hợp API cho các hệ thống AI hồn nhiên, ngây thơ góp phần tạo ra nhiều technical debt cho tương lai hệ thống doanh nghiệp.

Giữa các hệ thống RAG-chat hay cả các hệ thống agent sẽ có rất nhiều thành phần công nghệ giống nhau như theo dõi chi phí, hệ thống quản lý phiên bản của prompt,... Hiếm có doanh nghiệp nào có thể thiết lập được tiêu chuẩn từ đầu bởi sự bùng nổ đa dạng về tech stack và cách chạy silo của các dự án.

Quả bom bảo mật

Một trong những sai lầm quen thuộc khi xây dựng RAG-chat đó là cho rằng user nào cũng là CEO của công ty nên luôn có thể truy cập vào mọi loại thông tin. Việc phân quyền và tránh để lộ thông tin nhạy cảm là một thách thức lớn.

Như một lẽ tự nhiên, người dùng tin cậy và chia sẻ thông tin với các ứng dụng AI như một partner mà quên rằng thông tin họ đưa ra là nhạy cảm hay có quy định bảo mật. Vì việc thực hiện các rào cản kĩ thuật số để đảm bảo an toàn vẫn còn khó khăn nên hầu hết các doanh nghiệp sẽ thực thi các quy định mang xu hướng răn đe, cấm đoán trong việc sử dụng các sản phẩm AI bên ngoài.

Đối với các giải pháp AI, có thể bắt đầu với câu chuyện SOC-2. Nhưng đối với các giải pháp nội bộ, quá trình change management tốn kém hơn bạn nghĩ, ví dụ như việc nhân viên đồng thuận cho phép sử dụng dữ liệu và việc công ty dựa trên dữ liệu sử dụng AI để đánh giá.

An toàn để sử dụng, nhưng thế nào là an toàn, và an toàn cho ai?

Mô hình vận hành

Cũng như bao giải pháp khi chuyển từ build sang ops, tất cả các công việc vận hành với ứng dụng RAG cũng giống các ứng dụng khác và còn có nhiều yêu cầu hơn nữa. Các câu hỏi cần đặt ra là:

• Yêu cầu đó là gì? Liệu đã nằm trong kế hoạch ban đầu chưa?
• Chi phí cho đội ngũ vận hành đã được lên kế hoạch và phù hợp với giá trị hiệu quả chưa?

Không chỉ có câu chuyện chi phí token tăng dựng đứng với lượng sử dụng, vấn đề performance, latency cũng sẽ thách thức hơn rất nhiều so với các hệ thống truyền thống.

Chi phí AI hiện tại cho cả phần cứng lẫn phần mềm vẫn không hề rẻ. Các công việc về tái đánh giá kiến trúc, lựa chọn các vendor mới, lập kế hoạch capacity sẽ cần phải thực hiện đều đặn và đòi hỏi nguồn lực tay nghề cao hơn.

Để RAG không là rác

Như mọi công nghệ mới, expertise gap và áp lực time-to-market sẽ luôn tạo ra một làn sóng sớm nở chóng tàn. Hãy chắc chắn rằng bạn đã nắm được hết các vấn đề trên khi bắt tay vào việc lên kế hoạch.

AI có rất nhiều tác động tới môi trường, tới cộng đồng và cả sự hạnh phúc của kĩ sư. Hãy có trách nhiệm với những gì mà bạn xây dựng.