- web_search с imageQuery сам собирает прямые ссылки на картинки: со страниц выдачи и из Wikimedia Commons (бесплатно, без ключа) — агенту не нужно выбирать страницы и ходить по ним - attach_media принимает список ссылок и count: битые пропускает и берёт следующие — без лишних шагов модели; MAX_AGENT_STEPS снова 5 - Как показать вложение (фото/видео/GIF/аудио/файл, лимит фото 10 МБ) решает бот по MIME-типу, сервис про Telegram не знает - Инструменты регистрируются по id; общие imageAlt, uniqueByUrl, errorMessage; fetchPageImages в libs - Короче результат поиска: без дублирующего списка источников, до 8 картинок, подписи до 100 символов; страницы — до 1 МБ и 8 секунд, из srcset — вариант около 1280 px Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
133 lines
6.3 KiB
TypeScript
133 lines
6.3 KiB
TypeScript
import { truncate } from "./telegram-format.js";
|
||
|
||
export interface PageImage {
|
||
url: string;
|
||
/** Подпись: alt картинки или og:image:alt; пусто, если сайт её не дал. */
|
||
alt: string;
|
||
}
|
||
|
||
export interface PageImages {
|
||
title: string;
|
||
description: string;
|
||
images: PageImage[];
|
||
}
|
||
|
||
/** Мельче этого по ширине или высоте — иконки и кнопки, не картинки. */
|
||
const MIN_IMAGE_SIDE = 100;
|
||
|
||
/** Telegram сжимает фото до ~1280 px: вариант крупнее — лишние мегабайты. */
|
||
const TARGET_WIDTH = 1280;
|
||
|
||
/** Подпись картинки уходит модели в каждом следующем шаге — короткая. */
|
||
const MAX_ALT_LENGTH = 100;
|
||
|
||
/** Служебная графика сайта — по слову в пути («/img/logo.png», «grey-placeholder.png») — и SVG, которые Telegram не показывает. */
|
||
const DECOR_PATH = /(?:^|[/_.-])(?:logo|icons?|favicon|sprite|spacer|pixel|blank|placeholder|tracking|badge|button)(?:[/_.-]|$)|\.svg$/i;
|
||
|
||
const NAMED_ENTITIES: Record<string, string> = { amp: "&", quot: '"', apos: "'", lt: "<", gt: ">", nbsp: " " };
|
||
|
||
const decodeEntities = (value: string): string =>
|
||
value.replace(/&(#x[\da-f]+|#\d+|[a-z]+);/gi, (entity, code: string) => {
|
||
if (code[0] !== "#") return NAMED_ENTITIES[code.toLowerCase()] ?? entity;
|
||
|
||
const codePoint = code[1]?.toLowerCase() === "x" ? parseInt(code.slice(2), 16) : Number(code.slice(1));
|
||
|
||
return codePoint > 0 && codePoint <= 0x10ffff ? String.fromCodePoint(codePoint) : entity;
|
||
});
|
||
|
||
const clean = (value: string): string => decodeEntities(value).replace(/\s+/g, " ").trim();
|
||
|
||
/** Подпись картинки из HTML или текста: без тегов и сущностей, не длиннее MAX_ALT_LENGTH. */
|
||
export const imageAlt = (html: string): string => truncate(clean(html.replace(/<[^>]*>/g, " ")), MAX_ALT_LENGTH);
|
||
|
||
/** Без повторов по ссылке; из повторов остаётся первый. */
|
||
export const uniqueByUrl = <T extends { url: string }>(items: T[]): T[] =>
|
||
items.filter((item, index) => items.findIndex((other) => other.url === item.url) === index);
|
||
|
||
/** Атрибуты тега: имена в нижнем регистре, значения без кавычек и HTML-сущностей. */
|
||
const attributesOf = (tag: string): Record<string, string> =>
|
||
Object.fromEntries(
|
||
[...tag.matchAll(/([\w:-]+)\s*=\s*(?:"([^"]*)"|'([^']*)'|([^\s"'>]+))/g)].map(([, name, ...values]) => [
|
||
name!.toLowerCase(),
|
||
clean(values.find((value) => value !== undefined) ?? ""),
|
||
]),
|
||
);
|
||
|
||
const tagsOf = (html: string, name: string): Record<string, string>[] =>
|
||
[...html.matchAll(new RegExp(`<${name}\\b[^>]*>`, "gi"))].map(([tag]) => attributesOf(tag));
|
||
|
||
/** Вариант из srcset («a.jpg 480w, b.jpg 1080w»): самый мелкий от TARGET_WIDTH, а если таких нет — самый крупный. */
|
||
const fromSrcset = (srcset: string): string | undefined => {
|
||
const candidates = srcset
|
||
.split(",")
|
||
.map((candidate) => {
|
||
const [url = "", size = ""] = candidate.trim().split(/\s+/);
|
||
|
||
return { url, size: parseFloat(size) || 0 };
|
||
})
|
||
.filter((candidate) => candidate.url)
|
||
.sort((a, b) => a.size - b.size);
|
||
|
||
return (candidates.find((candidate) => candidate.size >= TARGET_WIDTH) ?? candidates.at(-1))?.url;
|
||
};
|
||
|
||
/** Абсолютная ссылка на картинку; undefined — для data:, не-http и служебной графики. */
|
||
const imageUrl = (raw: string | undefined, pageUrl: string): string | undefined => {
|
||
const url = raw && URL.canParse(raw, pageUrl) ? new URL(raw, pageUrl) : undefined;
|
||
|
||
if (!url || (url.protocol !== "http:" && url.protocol !== "https:") || DECOR_PATH.test(url.pathname)) return undefined;
|
||
|
||
return url.href;
|
||
};
|
||
|
||
/** Размер из атрибута меньше порога — иконка. Нет атрибута — не знаем, оставляем. */
|
||
const isTiny = (img: Record<string, string>): boolean =>
|
||
[img.width, img.height].some((side) => side !== undefined && parseInt(side) > 0 && parseInt(side) < MIN_IMAGE_SIDE);
|
||
|
||
const metaContent = (metas: Record<string, string>[], keys: string[]): string[] =>
|
||
metas.filter((meta) => keys.includes(meta.property ?? meta.name ?? "")).map((meta) => meta.content ?? "");
|
||
|
||
/** Главная картинка страницы: её показывают в превью ссылок (Open Graph, Twitter Cards, image_src). */
|
||
const previewImages = (html: string, metas: Record<string, string>[]): { src?: string; alt: string }[] => {
|
||
const alt = metaContent(metas, ["og:image:alt", "twitter:image:alt"])[0] ?? "";
|
||
|
||
const fromMeta = metaContent(metas, ["og:image", "og:image:url", "og:image:secure_url", "twitter:image", "twitter:image:src"]);
|
||
|
||
const fromLink = tagsOf(html, "link")
|
||
.filter((link) => link.rel?.toLowerCase() === "image_src")
|
||
.map((link) => link.href);
|
||
|
||
return [...fromMeta, ...fromLink].map((src) => ({ src, alt }));
|
||
};
|
||
|
||
/** Картинки из текста страницы, в том числе с ленивой загрузкой (data-src) и srcset. */
|
||
const contentImages = (html: string): { src?: string; alt: string }[] =>
|
||
tagsOf(html, "img")
|
||
.filter((img) => !isTiny(img))
|
||
.map((img) => ({
|
||
src: fromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
|
||
alt: img.alt ?? img.title ?? "",
|
||
}));
|
||
|
||
/**
|
||
* Картинки со страницы по её HTML: сначала превью (og:image и т. п.), потом из текста.
|
||
* Иконки, SVG, data:-картинки и повторы отбрасываем.
|
||
*/
|
||
export const extractPageImages = (html: string, pageUrl: string, limit: number): PageImages => {
|
||
const metas = tagsOf(html, "meta");
|
||
|
||
const candidates = [...previewImages(html, metas), ...contentImages(html)].flatMap(({ src, alt }) => {
|
||
const url = imageUrl(src, pageUrl);
|
||
|
||
return url ? [{ url, alt: imageAlt(alt) }] : [];
|
||
});
|
||
|
||
const title = clean(html.match(/<title\b[^>]*>([\s\S]*?)<\/title>/i)?.[1] ?? "");
|
||
|
||
return {
|
||
title: metaContent(metas, ["og:title"])[0] || title,
|
||
description: metaContent(metas, ["og:description", "description"])[0] ?? "",
|
||
images: uniqueByUrl(candidates).slice(0, limit),
|
||
};
|
||
};
|