Олег Бобриков. От публичных бенчмарков к модельной стратегии:как выбирать LLM для продуктов компании https://peertube.lightnode.ru/videos/watch/d80e6847-4375-49c2-a6e2-6b088db15909 Публичные бенчмарки помогают увидеть общую картину, но плохо предсказывают, как модель поведёт себя в конкретном продукте. На реальных данных и task-specific метриках расстановка сил между моделями может заметно меняться: одни хуже работают с доменной терминологией, другие не выдерживают нужный формат ответа, третьи дают приемлемое качество, но выигрывают по стоимости или снижают зависимость от внешнего провайдера. В докладе расскажу, как мы в 2ГИС оцениваем и сравниваем LLM на задачах продуктовых сервисов — от классификации и извлечения фактов до function calling и SQL generation. Покажу, как учитывать не только качество, но и стоимость, ограничения по sensitive data, self-hosted сценарии и инфраструктурные риски. Обсудим, как разрабатывать внутренний benchmark-сервис и как он помогает принимать решения о выборе, замене и сочетании моделей, а также формировать модельную стратегию для большого числа сервисов. Презентация - https://disk.360.yandex.ru/d/Bc66vSL4h7x_SQ Сайт - https://16.codefest.ru Sat, 01 Aug 2026 13:36:22 GMT https://validator.w3.org/feed/docs/rss2.html PeerTube - https://peertube.lightnode.ru Олег Бобриков. От публичных бенчмарков к модельной стратегии:как выбирать LLM для продуктов компании https://peertube.lightnode.ru/client/assets/images/icons/icon-96x96.png https://peertube.lightnode.ru/videos/watch/d80e6847-4375-49c2-a6e2-6b088db15909 All rights reserved, unless otherwise specified in the terms specified at https://peertube.lightnode.ru/about and potential licenses granted by each content's rightholder.