Поиск в интернете и вложения: агент находит картинки и прикрепляет их к ответу

- web_search: серверный поиск OpenRouter (openrouter:web_search, для Gemini — Google Search) в отдельном агенте Mastra
  без памяти; основному агенту — сводка со ссылками, она остаётся у него до конца ответа. WEB_SEARCH=false — выключить
- page_images: картинки со страницы (og:image, крупные <img> с alt), без иконок, логотипов и заглушек
- attach_media / attach_file: вложения по ссылке (фото, GIF, видео, аудио, файлы) и файлы, составленные агентом;
  сборщик в requestContext, байты не попадают в результаты инструментов и Memory
- Бот шлёт вложения после текста: фото и видео альбомом, не принял Telegram как медиа — файлом; пишет в архив
- libs/public-fetch: скачивание ссылок модели только из публичного интернета (без внутренней сети и редиректов туда),
  до 20 МБ и 15 секунд
- Ключи инструментов совпадают с id из промптов (модель видела readChatMessages, а промпт звал read_chat_messages)
- MAX_AGENT_STEPS 6: поиск → картинки страницы → прикрепить → ответ

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
yunogasai
2026-10-13 23:04:20 +02:00
parent 55fe845565
commit 5fd7b794a6
21 changed files with 810 additions and 23 deletions

116
src/libs/html-images.ts Normal file
View File

@@ -0,0 +1,116 @@
export interface PageImage {
url: string;
/** Подпись: alt картинки или og:image:alt; пусто, если сайт её не дал. */
alt: string;
}
export interface PageImages {
title: string;
description: string;
images: PageImage[];
}
/** Мельче этого по ширине или высоте — иконки и кнопки, не картинки. */
const MIN_IMAGE_SIDE = 100;
/** Служебная графика сайта — по слову в пути («/img/logo.png», «grey-placeholder.png») — и SVG, которые Telegram не показывает. */
const DECOR_PATH = /(?:^|[/_.-])(?:logo|icons?|favicon|sprite|spacer|pixel|blank|placeholder|tracking|badge|button)(?:[/_.-]|$)|\.svg$/i;
const NAMED_ENTITIES: Record<string, string> = { amp: "&", quot: '"', apos: "'", lt: "<", gt: ">", nbsp: " " };
const decodeEntities = (value: string): string =>
value.replace(/&(#x[\da-f]+|#\d+|[a-z]+);/gi, (entity, code: string) => {
if (code[0] !== "#") return NAMED_ENTITIES[code.toLowerCase()] ?? entity;
const codePoint = code[1]?.toLowerCase() === "x" ? parseInt(code.slice(2), 16) : Number(code.slice(1));
return codePoint > 0 && codePoint <= 0x10ffff ? String.fromCodePoint(codePoint) : entity;
});
const clean = (value: string): string => decodeEntities(value).replace(/\s+/g, " ").trim();
/** Атрибуты тега: имена в нижнем регистре, значения без кавычек и HTML-сущностей. */
const attributesOf = (tag: string): Record<string, string> =>
Object.fromEntries(
[...tag.matchAll(/([\w:-]+)\s*=\s*(?:"([^"]*)"|'([^']*)'|([^\s"'>]+))/g)].map(([, name, ...values]) => [
name!.toLowerCase(),
clean(values.find((value) => value !== undefined) ?? ""),
]),
);
const tagsOf = (html: string, name: string): Record<string, string>[] =>
[...html.matchAll(new RegExp(`<${name}\\b[^>]*>`, "gi"))].map(([tag]) => attributesOf(tag));
/** Самый крупный вариант из srcset («a.jpg 480w, b.jpg 1080w»). */
const largestFromSrcset = (srcset: string): string | undefined =>
srcset
.split(",")
.map((candidate) => {
const [url = "", size = ""] = candidate.trim().split(/\s+/);
return { url, size: parseFloat(size) || 0 };
})
.filter((candidate) => candidate.url)
.sort((a, b) => b.size - a.size)[0]?.url;
/** Абсолютная ссылка на картинку; undefined — для data:, не-http и служебной графики. */
const imageUrl = (raw: string | undefined, pageUrl: string): string | undefined => {
const url = raw && URL.canParse(raw, pageUrl) ? new URL(raw, pageUrl) : undefined;
if (!url || (url.protocol !== "http:" && url.protocol !== "https:") || DECOR_PATH.test(url.pathname)) return undefined;
return url.href;
};
/** Размер из атрибута меньше порога — иконка. Нет атрибута — не знаем, оставляем. */
const isTiny = (img: Record<string, string>): boolean =>
[img.width, img.height].some((side) => side !== undefined && parseInt(side) > 0 && parseInt(side) < MIN_IMAGE_SIDE);
const metaContent = (metas: Record<string, string>[], keys: string[]): string[] =>
metas.filter((meta) => keys.includes(meta.property ?? meta.name ?? "")).map((meta) => meta.content ?? "");
/** Главная картинка страницы: её показывают в превью ссылок (Open Graph, Twitter Cards, image_src). */
const previewImages = (html: string, metas: Record<string, string>[]): { src?: string; alt: string }[] => {
const alt = metaContent(metas, ["og:image:alt", "twitter:image:alt"])[0] ?? "";
const fromMeta = metaContent(metas, ["og:image", "og:image:url", "og:image:secure_url", "twitter:image", "twitter:image:src"]);
const fromLink = tagsOf(html, "link")
.filter((link) => link.rel?.toLowerCase() === "image_src")
.map((link) => link.href);
return [...fromMeta, ...fromLink].map((src) => ({ src, alt }));
};
/** Картинки из текста страницы, в том числе с ленивой загрузкой (data-src) и srcset. */
const contentImages = (html: string): { src?: string; alt: string }[] =>
tagsOf(html, "img")
.filter((img) => !isTiny(img))
.map((img) => ({
src: largestFromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
alt: img.alt ?? img.title ?? "",
}));
/**
* Картинки со страницы по её HTML: сначала превью (og:image и т. п.), потом из текста.
* Иконки, SVG, data:-картинки и повторы отбрасываем.
*/
export const extractPageImages = (html: string, pageUrl: string, limit: number): PageImages => {
const metas = tagsOf(html, "meta");
const candidates = [...previewImages(html, metas), ...contentImages(html)].flatMap(({ src, alt }) => {
const url = imageUrl(src, pageUrl);
return url ? [{ url, alt }] : [];
});
const unique = candidates.filter((image, index) => candidates.findIndex((other) => other.url === image.url) === index);
const title = clean(html.match(/<title\b[^>]*>([\s\S]*?)<\/title>/i)?.[1] ?? "");
return {
title: metaContent(metas, ["og:title"])[0] || title,
description: metaContent(metas, ["og:description", "description"])[0] ?? "",
images: unique.slice(0, limit),
};
};