Công cụ xây dựng ứng dụng của OpenMind là gì và nó hoạt động như thế nào?

openmind Công ty này đang xây dựng các công cụ nhằm giảm bớt sự phức tạp trong việc phát triển phần mềm cho máy móc tự hành. Trọng tâm của nỗ lực này là OM1, một hệ điều hành mã nguồn mở được thiết kế cho robot và các thiết bị thông minh khác. Công ty thường mô tả OM1 như một nền tảng robot kiểu Android, nghĩa là một môi trường chạy chung giúp trừu tượng hóa sự khác biệt về phần cứng trong khi cho phép các nhà phát triển tập trung vào hành vi và logic.

Mới đây, OpenMind đã giới thiệu Công cụ xây dựng ứng dụng OpenMindMột công cụ cấu hình trực quan trong cổng thông tin dành cho nhà phát triển của hãng, cho phép các nhà phát triển tạo, sửa đổi và triển khai các ứng dụng robot mà không cần viết mã cho các tác vụ thông thường. Thông báo được đưa ra thông qua tài khoản X chính thức của công ty, kèm theo một video minh họa ngắn cho thấy sản phẩm đang được sử dụng.

Bài viết này giải thích OpenMind App Builder là gì, cách thức hoạt động ở cấp độ kỹ thuật và vị trí của nó trong hệ sinh thái OM1 rộng lớn hơn.

Sứ mệnh rộng lớn hơn của OpenMind là gì?

Mục tiêu của OpenMind là cho phép các máy móc tự hành hoạt động thông qua các tiêu chuẩn chung và phần mềm mô-đun. OM1 được cấp phép theo giấy phép MIT và được phát triển công khai trên GitHub, nơi nó đã thu hút hàng nghìn lượt đánh dấu sao và đóng góp từ cộng đồng. Hệ điều hành này được thiết kế để hỗ trợ nhiều loại robot, bao gồm robot hình người, robot bốn chân như dòng Unitree Go và các nền tảng nghiên cứu di động như TurtleBot.

 Công ty được Pi Network Ventures hậu thuẫn cũng là một cốt lõi Fabric là đơn vị đóng góp cho Fabric Foundation, một tổ chức tập trung vào các tiêu chuẩn về phối hợp máy móc tự động và định danh trên chuỗi. Fabric thúc đẩy các đặc tả kỹ thuật như ERC 7777, định nghĩa cách mô tả và trao đổi hành vi của robot. App Builder được định vị như một giao diện thực tiễn trên nền tảng các hệ thống cơ bản này.

OpenMind App Builder là gì?

OpenMind App Builder là giao diện trực quan không cần lập trình hoặc chỉ cần ít lập trình để cấu hình hành vi của robot trên OM1. Người dùng truy cập giao diện này thông qua cổng thông tin dành cho nhà phát triển OpenMind sau khi tạo tài khoản. Thay vì tự viết các tệp cấu hình, các nhà phát triển xây dựng ứng dụng bằng cách lắp ráp các nút trực quan đại diện cho các chế độ hoạt động của robot và xác định cách các chế độ đó kết nối với nhau.

Mỗi ứng dụng được biểu diễn dưới dạng sơ đồ khối. Các nút tương ứng với các trạng thái hành vi như chào hỏi, điều hướng hoặc lập bản đồ. Các chuyển đổi giữa các nút xác định thời điểm và cách thức robot chuyển từ hành vi này sang hành vi khác. Cấu hình kết quả được lưu lại và có thể được triển khai trực tiếp lên phần cứng tương thích thông qua cổng thông tin.

Các khái niệm và thuật ngữ cốt lõi

Để hiểu được Trình tạo ứng dụng, cần phải nắm vững một số khái niệm của OM1.

Chế độ

Chế độ là một trạng thái hành vi riêng biệt. Ví dụ, một robot có thể có chế độ chào đón, chế độ điều hướng và chế độ ghi nhớ. Mỗi chế độ xác định mô hình ngôn ngữ nào được sử dụng, cảm biến nào đang hoạt động, hành động nào được cho phép và ngữ cảnh nền có sẵn.

Các nút và chuyển tiếp

Trong trình chỉnh sửa trực quan, mỗi chế độ xuất hiện dưới dạng một nút. Các chuyển đổi là các liên kết có hướng giữa các nút. Một chuyển đổi bao gồm các điều kiện xác định khi nào robot chuyển từ chế độ này sang chế độ khác. Các nhà phát triển có thể chỉ định rằng một lệnh bằng giọng nói sẽ kích hoạt sự chuyển đổi từ hành vi chờ sang điều hướng.

Đầu vào, hành động và bối cảnh

Đầu vào đại diện cho các nguồn cảm biến hoặc dữ liệu như micro, camera hoặc nguồn cấp dữ liệu trực tuyến. Hành động đại diện cho các đầu ra như... phong trào Các lệnh, tổng hợp giọng nói hoặc ghi vào bộ nhớ. Các thông tin nền cung cấp ngữ cảnh liên tục, chẳng hạn như vị trí GPS hoặc trạng thái điều hướng.

Móc vòng đời

Mỗi chế độ đều bao gồm các hook vòng đời, trong đó có lời nhắc hệ thống cho mô hình ngôn ngữ. Điều này cho phép các nhà phát triển kiểm soát cách mô hình hoạt động trong một chế độ nhất định bằng cách sử dụng các hướng dẫn bằng ngôn ngữ tự nhiên được lưu trữ như một phần của cấu hình.

Công cụ App Builder hoạt động như thế nào trong thực tế?

Video minh họa được công bố cùng với thông báo cho thấy toàn bộ quy trình làm việc từ khâu bắt đầu đến khi triển khai.

Lựa chọn robot

Khi nhà phát triển mở Trình tạo ứng dụng, bước đầu tiên là chọn một máy từ thanh bên. Thao tác này liên kết cấu hình với một hồ sơ robot cụ thể, bao gồm các cảm biến và hành động được hỗ trợ. OM1 cung cấp khả năng trừu tượng hóa phần cứng thông qua một lớp chuyên dụng, cho phép tái sử dụng cùng một cấu hình cấp cao trên các máy tương tự.

Xây dựng các chế độ trực quan

Sau khi chọn robot, giao diện sẽ hiển thị sơ đồ quy trình ban đầu. Các nhà phát triển có thể thêm các chế độ mới bằng cách nhấp vào biểu tượng dấu cộng. Mỗi chế độ mới sẽ mở một bảng chỉnh sửa để xác định các tham số.

Trong bảng điều khiển này, nhà phát triển chọn mô hình ngôn ngữ từ danh sách thả xuống. Các tùy chọn được hỗ trợ bao gồm nhiều mô hình thương mại và mã nguồn mở. Tiếp theo, các đầu vào được thêm vào, chẳng hạn như nhận dạng giọng nói tự động để điều khiển bằng giọng nói hoặc nguồn cấp dữ liệu camera cho hình ảnh. Sau đó, các hành động được chọn, chẳng hạn như điều hướng hoặc xuất giọng nói. Các thông tin nền như GPS hoặc ngữ cảnh điều hướng cũng có thể được bật.

Tất cả các thay đổi được lưu ngay lập tức và giao diện sẽ cập nhật để phản ánh cấu hình hiện tại.

Xác định các giai đoạn chuyển tiếp

Sau khi các chế độ được tạo, quá trình chuyển đổi được xác định bằng cách kéo một đường kết nối từ nút này sang nút khác. Thao tác này sẽ mở trình chỉnh sửa quy tắc, nơi các điều kiện được chỉ định. Các điều kiện có thể tham chiếu đến đầu vào, trạng thái nội bộ hoặc các tín hiệu khác. Ví dụ, một quy tắc chuyển đổi có thể quy định rằng một lệnh thoại được nhận dạng sẽ khiến robot rời khỏi chế độ chờ và chuyển sang chế độ điều hướng.

Tính năng tự động định dạng sẽ sắp xếp lại khung vẽ để giữ cho sơ đồ luôn dễ đọc khi nó được mở rộng.

Triển khai

Khi quá trình cấu hình hoàn tất, nhà phát triển có thể triển khai trực tiếp từ giao diện. Cấu hình được tải lên robot thông qua cổng thông tin OpenMind và được áp dụng mà không cần chuyển file thủ công. Đối với các nhóm sử dụng OM1 cục bộ hoặc trong các quy trình sản xuất, cùng một cấu hình có thể được triển khai bằng các công cụ dòng lệnh hoặc quy trình làm việc dạng container.

Các mẫu và linh kiện được hỗ trợ

Theo OpenMind, App Builder hiện hỗ trợ hơn sáu mô hình ngôn ngữ, hơn bốn mươi đầu vào, ba mươi hành động và hơn mười ngữ cảnh nền. Những con số này phản ánh thiết kế mô-đun của OM1, trong đó mỗi thành phần được triển khai dưới dạng một plugin.

Các mô hình ngôn ngữ có thể được thay đổi mà không cần viết lại logic ứng dụng. Tương tự, các đầu vào và hành động cũng có thể hoán đổi cho nhau, miễn là phần cứng cơ bản hỗ trợ chúng. Cách tiếp cận này cho phép các nhà phát triển nhanh chóng thử nghiệm các cấu hình khác nhau trong khi vẫn duy trì cấu trúc nhất quán.

Tích hợp với OM1 và quy trình làm việc dựa trên mã lập trình.

Mặc dù App Builder tập trung vào cấu hình trực quan, nhưng nó được thiết kế để tích hợp với nền tảng mã nguồn của OM1.

Các nhà phát triển có thể xuất cấu hình dưới dạng tệp có cấu trúc và lưu trữ chúng trong hệ thống kiểm soát phiên bản. Người dùng nâng cao có thể tạo các đầu vào và hành động tùy chỉnh bằng cách thêm các mô-đun Python vào các thư mục thích hợp trong kho lưu trữ OM1. Sau đó, các thành phần tùy chỉnh này sẽ xuất hiện trong giao diện Trình tạo ứng dụng để lựa chọn.

Để triển khai trên quy mô lớn hoặc trên các thiết bị biên như phần cứng Nvidia Jetson, OM1 hỗ trợ thiết lập dựa trên container. App Builder bổ sung cho các quy trình làm việc này bằng cách giảm thời gian dành cho cấu hình ban đầu và lặp lại.

Trừu tượng hóa phần cứng và tính di động

Một trong những mục tiêu thiết kế cốt lõi của OM1 là tính không phụ thuộc vào phần cứng. Trình tạo ứng dụng phản ánh điều này bằng cách chỉ hiển thị các hành vi cấp cao chứ không phải điều khiển động cơ cấp thấp. Ví dụ, nhà phát triển có thể cấu hình hành động điều hướng mà không cần chỉ định cách các khớp riêng lẻ di chuyển.

Sự trừu tượng này được thực hiện thông qua một lớp trừu tượng phần cứng kết nối các thao tác của OM1 với các bộ công cụ phát triển phần mềm dành riêng cho robot như ROS2 hoặc API của nhà cung cấp. Kết quả là, cùng một logic ứng dụng thường có thể được tái sử dụng trên các robot khác nhau với những thay đổi tối thiểu.

Hạn chế và cân nhắc

Công cụ App Builder được thiết kế để đơn giản hóa các tác vụ thông thường, nhưng nó không loại bỏ hoàn toàn nhu cầu về khả năng phán đoán của kỹ sư.

Một số nền tảng phần cứng có hỗ trợ hạn chế tùy thuộc vào khả năng tính toán. Bộ tính năng đầy đủ hiện có sẵn trên các hệ thống dựa trên Nvidia mới hơn, trong khi các nền tảng cũ hơn có thể yêu cầu sự thỏa hiệp. Môi trường chạy lõi của OM1 cũng hạn chế truy cập internet trực tiếp vì lý do an toàn và độ tin cậy, điều này ảnh hưởng đến cách sử dụng các API bên ngoài.

Đối với khả năng tự động hóa phức tạp, các nhà phát triển cần kết hợp cấu hình App Builder với mô phỏng, học tăng cường và thử nghiệm rộng rãi. Tài liệu của OpenMind nhấn mạnh việc bắt đầu với các hành vi đơn giản và xác thực chúng trong môi trường mô phỏng trước khi triển khai lên máy thật.

Kết luận

OpenMind App Builder là một công cụ cấu hình trực quan hoạt động trên nền tảng runtime OM1, giúp đơn giản hóa việc tạo và triển khai các ứng dụng robot. Bằng cách biểu diễn hành vi của robot dưới dạng các chế độ, chuyển đổi và các thành phần mô-đun, nó cho phép các nhà phát triển lắp ráp các ứng dụng chức năng mà không cần viết mã cho từng bước.

Giá trị của nó nằm ở việc giảm thiểu khó khăn trong quá trình thiết lập trong khi vẫn tương thích với các quy trình làm việc dựa trên mã lập trình. Đối với các nhóm xây dựng trên nền tảng OM1, App Builder cung cấp một cách thức có cấu trúc để thiết kế, kiểm thử và triển khai hành vi của robot trên các nền tảng phần cứng khác nhau. Thay vì thay thế phương pháp phát triển truyền thống, nó đóng vai trò như một giao diện giúp hệ thống cơ bản dễ tiếp cận và dễ hiểu hơn.

Nguồn:

• X Bài viếtThông báo về OpenMind App Builder 
• Cổng thông tin dành cho nhà phát triểnXây dựng ứng dụng trên OpenMind