Поиск в интернете и вложения: агент находит картинки и прикрепляет их к ответу
- web_search: серверный поиск OpenRouter (openrouter:web_search, для Gemini — Google Search) в отдельном агенте Mastra без памяти; основному агенту — сводка со ссылками, она остаётся у него до конца ответа. WEB_SEARCH=false — выключить - page_images: картинки со страницы (og:image, крупные <img> с alt), без иконок, логотипов и заглушек - attach_media / attach_file: вложения по ссылке (фото, GIF, видео, аудио, файлы) и файлы, составленные агентом; сборщик в requestContext, байты не попадают в результаты инструментов и Memory - Бот шлёт вложения после текста: фото и видео альбомом, не принял Telegram как медиа — файлом; пишет в архив - libs/public-fetch: скачивание ссылок модели только из публичного интернета (без внутренней сети и редиректов туда), до 20 МБ и 15 секунд - Ключи инструментов совпадают с id из промптов (модель видела readChatMessages, а промпт звал read_chat_messages) - MAX_AGENT_STEPS 6: поиск → картинки страницы → прикрепить → ответ Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
116
src/libs/html-images.ts
Normal file
116
src/libs/html-images.ts
Normal file
@@ -0,0 +1,116 @@
|
||||
export interface PageImage {
|
||||
url: string;
|
||||
/** Подпись: alt картинки или og:image:alt; пусто, если сайт её не дал. */
|
||||
alt: string;
|
||||
}
|
||||
|
||||
export interface PageImages {
|
||||
title: string;
|
||||
description: string;
|
||||
images: PageImage[];
|
||||
}
|
||||
|
||||
/** Мельче этого по ширине или высоте — иконки и кнопки, не картинки. */
|
||||
const MIN_IMAGE_SIDE = 100;
|
||||
|
||||
/** Служебная графика сайта — по слову в пути («/img/logo.png», «grey-placeholder.png») — и SVG, которые Telegram не показывает. */
|
||||
const DECOR_PATH = /(?:^|[/_.-])(?:logo|icons?|favicon|sprite|spacer|pixel|blank|placeholder|tracking|badge|button)(?:[/_.-]|$)|\.svg$/i;
|
||||
|
||||
const NAMED_ENTITIES: Record<string, string> = { amp: "&", quot: '"', apos: "'", lt: "<", gt: ">", nbsp: " " };
|
||||
|
||||
const decodeEntities = (value: string): string =>
|
||||
value.replace(/&(#x[\da-f]+|#\d+|[a-z]+);/gi, (entity, code: string) => {
|
||||
if (code[0] !== "#") return NAMED_ENTITIES[code.toLowerCase()] ?? entity;
|
||||
|
||||
const codePoint = code[1]?.toLowerCase() === "x" ? parseInt(code.slice(2), 16) : Number(code.slice(1));
|
||||
|
||||
return codePoint > 0 && codePoint <= 0x10ffff ? String.fromCodePoint(codePoint) : entity;
|
||||
});
|
||||
|
||||
const clean = (value: string): string => decodeEntities(value).replace(/\s+/g, " ").trim();
|
||||
|
||||
/** Атрибуты тега: имена в нижнем регистре, значения без кавычек и HTML-сущностей. */
|
||||
const attributesOf = (tag: string): Record<string, string> =>
|
||||
Object.fromEntries(
|
||||
[...tag.matchAll(/([\w:-]+)\s*=\s*(?:"([^"]*)"|'([^']*)'|([^\s"'>]+))/g)].map(([, name, ...values]) => [
|
||||
name!.toLowerCase(),
|
||||
clean(values.find((value) => value !== undefined) ?? ""),
|
||||
]),
|
||||
);
|
||||
|
||||
const tagsOf = (html: string, name: string): Record<string, string>[] =>
|
||||
[...html.matchAll(new RegExp(`<${name}\\b[^>]*>`, "gi"))].map(([tag]) => attributesOf(tag));
|
||||
|
||||
/** Самый крупный вариант из srcset («a.jpg 480w, b.jpg 1080w»). */
|
||||
const largestFromSrcset = (srcset: string): string | undefined =>
|
||||
srcset
|
||||
.split(",")
|
||||
.map((candidate) => {
|
||||
const [url = "", size = ""] = candidate.trim().split(/\s+/);
|
||||
|
||||
return { url, size: parseFloat(size) || 0 };
|
||||
})
|
||||
.filter((candidate) => candidate.url)
|
||||
.sort((a, b) => b.size - a.size)[0]?.url;
|
||||
|
||||
/** Абсолютная ссылка на картинку; undefined — для data:, не-http и служебной графики. */
|
||||
const imageUrl = (raw: string | undefined, pageUrl: string): string | undefined => {
|
||||
const url = raw && URL.canParse(raw, pageUrl) ? new URL(raw, pageUrl) : undefined;
|
||||
|
||||
if (!url || (url.protocol !== "http:" && url.protocol !== "https:") || DECOR_PATH.test(url.pathname)) return undefined;
|
||||
|
||||
return url.href;
|
||||
};
|
||||
|
||||
/** Размер из атрибута меньше порога — иконка. Нет атрибута — не знаем, оставляем. */
|
||||
const isTiny = (img: Record<string, string>): boolean =>
|
||||
[img.width, img.height].some((side) => side !== undefined && parseInt(side) > 0 && parseInt(side) < MIN_IMAGE_SIDE);
|
||||
|
||||
const metaContent = (metas: Record<string, string>[], keys: string[]): string[] =>
|
||||
metas.filter((meta) => keys.includes(meta.property ?? meta.name ?? "")).map((meta) => meta.content ?? "");
|
||||
|
||||
/** Главная картинка страницы: её показывают в превью ссылок (Open Graph, Twitter Cards, image_src). */
|
||||
const previewImages = (html: string, metas: Record<string, string>[]): { src?: string; alt: string }[] => {
|
||||
const alt = metaContent(metas, ["og:image:alt", "twitter:image:alt"])[0] ?? "";
|
||||
|
||||
const fromMeta = metaContent(metas, ["og:image", "og:image:url", "og:image:secure_url", "twitter:image", "twitter:image:src"]);
|
||||
|
||||
const fromLink = tagsOf(html, "link")
|
||||
.filter((link) => link.rel?.toLowerCase() === "image_src")
|
||||
.map((link) => link.href);
|
||||
|
||||
return [...fromMeta, ...fromLink].map((src) => ({ src, alt }));
|
||||
};
|
||||
|
||||
/** Картинки из текста страницы, в том числе с ленивой загрузкой (data-src) и srcset. */
|
||||
const contentImages = (html: string): { src?: string; alt: string }[] =>
|
||||
tagsOf(html, "img")
|
||||
.filter((img) => !isTiny(img))
|
||||
.map((img) => ({
|
||||
src: largestFromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
|
||||
alt: img.alt ?? img.title ?? "",
|
||||
}));
|
||||
|
||||
/**
|
||||
* Картинки со страницы по её HTML: сначала превью (og:image и т. п.), потом из текста.
|
||||
* Иконки, SVG, data:-картинки и повторы отбрасываем.
|
||||
*/
|
||||
export const extractPageImages = (html: string, pageUrl: string, limit: number): PageImages => {
|
||||
const metas = tagsOf(html, "meta");
|
||||
|
||||
const candidates = [...previewImages(html, metas), ...contentImages(html)].flatMap(({ src, alt }) => {
|
||||
const url = imageUrl(src, pageUrl);
|
||||
|
||||
return url ? [{ url, alt }] : [];
|
||||
});
|
||||
|
||||
const unique = candidates.filter((image, index) => candidates.findIndex((other) => other.url === image.url) === index);
|
||||
|
||||
const title = clean(html.match(/<title\b[^>]*>([\s\S]*?)<\/title>/i)?.[1] ?? "");
|
||||
|
||||
return {
|
||||
title: metaContent(metas, ["og:title"])[0] || title,
|
||||
description: metaContent(metas, ["og:description", "description"])[0] ?? "",
|
||||
images: unique.slice(0, limit),
|
||||
};
|
||||
};
|
||||
Reference in New Issue
Block a user