Microsoft włączył w tym tygodniu nową funkcję „używania komputera” dla Copilot Studio, która pozwala agentom AI w interakcję ze stronami internetowymi i aplikacjami stacjonarnymi. Podobnie Operator Openai lub identycznie nazwany Claude’a „użycie komputera„Funkcja, firmy będą mogły korzystać z Copilot Studio do tworzenia agentów AI, którzy traktują strony internetowe i aplikacje komputerowe, tak jakby były to narzędzia do automatyzacji zadań.
„Używanie komputera umożliwia agentom interakcję z stronami internetowymi i aplikacjami komputerowymi, klikając przyciski, wybierając menu i wpisując pola na ekranie” Wyjaśnia Charles LamannęWiceprezes korporacyjny firmy Microsoft Business & Industry Copilot. „Pozwala to agentom obsługiwać zadania, nawet jeśli nie ma dostępnego interfejsu API do bezpośredniego połączenia z systemem. Jeśli dana osoba może korzystać z aplikacji, agent też może”.
Copilot Studio będzie w stanie tworzyć agentów AI, którzy mogą automatyzować wprowadzanie danych, przeprowadzać badania rynkowe, a nawet faktury przetwarzania. To nowe narzędzie wykryje nawet, gdy przyciski i ekrany zmieniają się w aplikacjach lub stronach internetowych i będą nadal działać bez niepowodzenia lub łamania, według Microsoft.
Microsoft dodał do siebie podobną funkcję, nazwane akcje Konsumencki Copilot na początku tego miesiąca. Działania można wykonywać w tle podczas pracy nad innymi zadaniami. Copilot może teraz robić takie rzeczy, jak rezerwacje restauracji książki, bilety na wydarzenia i zakupy w sklepach internetowych. Doświadczenie działań jest jednak ograniczone do wielu partnerów i wygląda na to, że Copilot Studio będzie mogła pracować z większą liczbą stron internetowych i aplikacji.