Детальная информация

Современные веб-агенты на основе LLM требуют десятков GPU уровня A100 для дообучения: порог, непреодолимый в академических условиях. В этой работе предлагается фреймворк WebAgent-RL+, который решает задачу иначе: языковая модель-планировщик заморожена и квантизована до 4 бит, а обучается только компактный PPO-исполнитель. Дополнительно фреймворк включает адаптивный куррикулум, выбирающий задачи по неопределённости оценки критика, и Reward Fusion: механизм, собирающий сигнал вознаграждения из ORM-оценки,DOM-верификацииипромежуточныхwaypoint-подцелей. Всё это позволяет вести обучение на одной потребительской видеокарте. Прототип собран из открытых компонентов. Браузерная среда: BrowserGym 0.14.3 поверх Playwright. Планировщик: Qwen3-8B в формате NF4. Обучение идёт на PyTorch 2.7 внутри Docker-контейнера с NVIDIA Container Toolkit. Код эксперимента занимает двенадцать Python-файлов. Тестирование проводилось на 28 задачах бенчмарка MiniWob++. Итоговая конфигурация на Qwen3-8B достигла success rate 70,3% в лучшем прогоне (seed=42). Устойчивость подтверждена мультисидной абляционной серией на Qwen2.5-7B-Instruct: 65,6 ± 2,6% (среднее по трём сидам; знак ± обозначает разброс по сидам, не доверительный интервал). Несглаженный максимум составил 68,8%. Для проверки вклада компонентов проведены абляции (от двух до трёх случайных инициализаций на конфигурацию) при сравнении на общем горизонте обучения. Решающий вклад даёт куррикулум: при его отключении success rate на горизонте падает с 34,8% до 21,9%, а обучение без приоритизации задач перестаёт прогрессировать после раннего освоения лёгких задач. Отключение Reward Fusion на success rate практически не отразилось (33,5% против 34,8%, в пределах шума), а конфигурация без иерархического планировщика осталась в пределах разброса по инициализациям (37,7%). Таким образом, на коротких задачах MiniWob++ значимый прирост обеспечивает приоритизация куррикулумом, тогда как вклад Reward Fusion и LLM-планировщика на данном бенчмарке подтвердить не удалось. В работе пять глав. Первая описывает теорию RL применительно к веб-средам и разбирает существующие подходы. Вторая вводит архитектуру фреймворка. Третья: реализация прототипа, от выбора стека до управления GPU-памятью. Четвёртая: эксперименты, метрики и абляции. Пятая: ограничения текущей версии и то, что планируется доработать.

Training web agents with RL typically demands clusters of 8+ A100 GPUs: hardware that most academic labs simply do not have. This thesis presents WebAgent-RL+, a framework that sidesteps the problem by freezing the LLM planner (4-bit quantized Qwen3-8B) and training only a lightweight PPO executor on top of it. Two additional mechanisms make learning feasible on a single consumer GPU: an adaptive curriculum that selects tasks based on critic uncertainty, and Reward Fusion, which blends ORM scores, DOM-level verification, and intermediate waypoint signals into a single dense reward. The prototype runs inside a Docker container with NVIDIA Container Toolkit. BrowserGym 0.14.3 and Playwright handle the browser environment; PyTorch 2.7 handles training. The entire codebase fits in twelve Python files. WebAgent-RL+ was evaluated on 28 MiniWob++ tasks. The final configuration on Qwen3-8B reached a success rate of 70.3% in its best run (seed=42). Robustness is supported by a multi-seed ablation series on Qwen2.5 7B-Instruct: 65.6 ± 2.6% (mean over three seeds; ± denotes seed-to-seed spread, not a confidence interval). The unsmoothed maximum was 68.8%. To isolate the contribution of each component, ablations were run with two to three random seeds per configuration and compared on a common training horizon. The curriculum proved decisive: removing it dropped success rate at the horizon from 34.8% to 21.9%, and without task prioritization learning stalled once the easy tasks were mastered. Removing Reward Fusion had virtually no effect on success rate (33.5% versus 34.8%, within noise), and the configuration without the hierarchical planner stayed within the seed-to-seed spread (37.7%). On the short MiniWob++ tasks, the measurable gain therefore comes from curriculum-based prioritization, while the contributions of Reward Fusion and the LLM planner could not be confirmed on this benchmark. The thesis is organized in fivechapters. Chapter 1 covers RL theory as it applies to web environments and surveys prior work. Chapter 2 introduces the framework architecture. Chapter 3 details the implementation, from the technology stack to GPU memory management. Chapter 4 reports experiments, metrics, and ablation results. Chapter 5 discusses current limitations and planned future work.