Картинки из интернета надёжнее: web_search с imageQuery, attach_media с запасными ссылками

- web_search с imageQuery сам собирает прямые ссылки на картинки: со страниц выдачи и из Wikimedia Commons
  (бесплатно, без ключа) — агенту не нужно выбирать страницы и ходить по ним
- attach_media принимает список ссылок и count: битые пропускает и берёт следующие — без лишних шагов модели;
  MAX_AGENT_STEPS снова 5
- Как показать вложение (фото/видео/GIF/аудио/файл, лимит фото 10 МБ) решает бот по MIME-типу, сервис про Telegram не знает
- Инструменты регистрируются по id; общие imageAlt, uniqueByUrl, errorMessage; fetchPageImages в libs
- Короче результат поиска: без дублирующего списка источников, до 8 картинок, подписи до 100 символов;
  страницы — до 1 МБ и 8 секунд, из srcset — вариант около 1280 px

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
yunogasai
2026-10-13 23:22:46 +02:00
parent 5fd7b794a6
commit cce3fca94b
18 changed files with 375 additions and 193 deletions

View File

@@ -1,3 +1,5 @@
import { truncate } from "./telegram-format.js";
export interface PageImage {
url: string;
/** Подпись: alt картинки или og:image:alt; пусто, если сайт её не дал. */
@@ -13,6 +15,12 @@ export interface PageImages {
/** Мельче этого по ширине или высоте — иконки и кнопки, не картинки. */
const MIN_IMAGE_SIDE = 100;
/** Telegram сжимает фото до ~1280 px: вариант крупнее — лишние мегабайты. */
const TARGET_WIDTH = 1280;
/** Подпись картинки уходит модели в каждом следующем шаге — короткая. */
const MAX_ALT_LENGTH = 100;
/** Служебная графика сайта — по слову в пути («/img/logo.png», «grey-placeholder.png») — и SVG, которые Telegram не показывает. */
const DECOR_PATH = /(?:^|[/_.-])(?:logo|icons?|favicon|sprite|spacer|pixel|blank|placeholder|tracking|badge|button)(?:[/_.-]|$)|\.svg$/i;
@@ -29,6 +37,13 @@ const decodeEntities = (value: string): string =>
const clean = (value: string): string => decodeEntities(value).replace(/\s+/g, " ").trim();
/** Подпись картинки из HTML или текста: без тегов и сущностей, не длиннее MAX_ALT_LENGTH. */
export const imageAlt = (html: string): string => truncate(clean(html.replace(/<[^>]*>/g, " ")), MAX_ALT_LENGTH);
/** Без повторов по ссылке; из повторов остаётся первый. */
export const uniqueByUrl = <T extends { url: string }>(items: T[]): T[] =>
items.filter((item, index) => items.findIndex((other) => other.url === item.url) === index);
/** Атрибуты тега: имена в нижнем регистре, значения без кавычек и HTML-сущностей. */
const attributesOf = (tag: string): Record<string, string> =>
Object.fromEntries(
@@ -41,9 +56,9 @@ const attributesOf = (tag: string): Record<string, string> =>
const tagsOf = (html: string, name: string): Record<string, string>[] =>
[...html.matchAll(new RegExp(`<${name}\\b[^>]*>`, "gi"))].map(([tag]) => attributesOf(tag));
/** Самый крупный вариант из srcset («a.jpg 480w, b.jpg 1080w»). */
const largestFromSrcset = (srcset: string): string | undefined =>
srcset
/** Вариант из srcset («a.jpg 480w, b.jpg 1080w»): самый мелкий от TARGET_WIDTH, а если таких нет — самый крупный. */
const fromSrcset = (srcset: string): string | undefined => {
const candidates = srcset
.split(",")
.map((candidate) => {
const [url = "", size = ""] = candidate.trim().split(/\s+/);
@@ -51,7 +66,10 @@ const largestFromSrcset = (srcset: string): string | undefined =>
return { url, size: parseFloat(size) || 0 };
})
.filter((candidate) => candidate.url)
.sort((a, b) => b.size - a.size)[0]?.url;
.sort((a, b) => a.size - b.size);
return (candidates.find((candidate) => candidate.size >= TARGET_WIDTH) ?? candidates.at(-1))?.url;
};
/** Абсолютная ссылка на картинку; undefined — для data:, не-http и служебной графики. */
const imageUrl = (raw: string | undefined, pageUrl: string): string | undefined => {
@@ -87,7 +105,7 @@ const contentImages = (html: string): { src?: string; alt: string }[] =>
tagsOf(html, "img")
.filter((img) => !isTiny(img))
.map((img) => ({
src: largestFromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
src: fromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
alt: img.alt ?? img.title ?? "",
}));
@@ -101,16 +119,14 @@ export const extractPageImages = (html: string, pageUrl: string, limit: number):
const candidates = [...previewImages(html, metas), ...contentImages(html)].flatMap(({ src, alt }) => {
const url = imageUrl(src, pageUrl);
return url ? [{ url, alt }] : [];
return url ? [{ url, alt: imageAlt(alt) }] : [];
});
const unique = candidates.filter((image, index) => candidates.findIndex((other) => other.url === image.url) === index);
const title = clean(html.match(/<title\b[^>]*>([\s\S]*?)<\/title>/i)?.[1] ?? "");
return {
title: metaContent(metas, ["og:title"])[0] || title,
description: metaContent(metas, ["og:description", "description"])[0] ?? "",
images: unique.slice(0, limit),
images: uniqueByUrl(candidates).slice(0, limit),
};
};