Files
boltun-ai/src/libs/html-images.ts
yunogasai cce3fca94b Картинки из интернета надёжнее: web_search с imageQuery, attach_media с запасными ссылками
- web_search с imageQuery сам собирает прямые ссылки на картинки: со страниц выдачи и из Wikimedia Commons
  (бесплатно, без ключа) — агенту не нужно выбирать страницы и ходить по ним
- attach_media принимает список ссылок и count: битые пропускает и берёт следующие — без лишних шагов модели;
  MAX_AGENT_STEPS снова 5
- Как показать вложение (фото/видео/GIF/аудио/файл, лимит фото 10 МБ) решает бот по MIME-типу, сервис про Telegram не знает
- Инструменты регистрируются по id; общие imageAlt, uniqueByUrl, errorMessage; fetchPageImages в libs
- Короче результат поиска: без дублирующего списка источников, до 8 картинок, подписи до 100 символов;
  страницы — до 1 МБ и 8 секунд, из srcset — вариант около 1280 px

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 23:22:46 +02:00

133 lines
6.3 KiB
TypeScript
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

import { truncate } from "./telegram-format.js";
export interface PageImage {
url: string;
/** Подпись: alt картинки или og:image:alt; пусто, если сайт её не дал. */
alt: string;
}
export interface PageImages {
title: string;
description: string;
images: PageImage[];
}
/** Мельче этого по ширине или высоте — иконки и кнопки, не картинки. */
const MIN_IMAGE_SIDE = 100;
/** Telegram сжимает фото до ~1280 px: вариант крупнее — лишние мегабайты. */
const TARGET_WIDTH = 1280;
/** Подпись картинки уходит модели в каждом следующем шаге — короткая. */
const MAX_ALT_LENGTH = 100;
/** Служебная графика сайта — по слову в пути («/img/logo.png», «grey-placeholder.png») — и SVG, которые Telegram не показывает. */
const DECOR_PATH = /(?:^|[/_.-])(?:logo|icons?|favicon|sprite|spacer|pixel|blank|placeholder|tracking|badge|button)(?:[/_.-]|$)|\.svg$/i;
const NAMED_ENTITIES: Record<string, string> = { amp: "&", quot: '"', apos: "'", lt: "<", gt: ">", nbsp: " " };
const decodeEntities = (value: string): string =>
value.replace(/&(#x[\da-f]+|#\d+|[a-z]+);/gi, (entity, code: string) => {
if (code[0] !== "#") return NAMED_ENTITIES[code.toLowerCase()] ?? entity;
const codePoint = code[1]?.toLowerCase() === "x" ? parseInt(code.slice(2), 16) : Number(code.slice(1));
return codePoint > 0 && codePoint <= 0x10ffff ? String.fromCodePoint(codePoint) : entity;
});
const clean = (value: string): string => decodeEntities(value).replace(/\s+/g, " ").trim();
/** Подпись картинки из HTML или текста: без тегов и сущностей, не длиннее MAX_ALT_LENGTH. */
export const imageAlt = (html: string): string => truncate(clean(html.replace(/<[^>]*>/g, " ")), MAX_ALT_LENGTH);
/** Без повторов по ссылке; из повторов остаётся первый. */
export const uniqueByUrl = <T extends { url: string }>(items: T[]): T[] =>
items.filter((item, index) => items.findIndex((other) => other.url === item.url) === index);
/** Атрибуты тега: имена в нижнем регистре, значения без кавычек и HTML-сущностей. */
const attributesOf = (tag: string): Record<string, string> =>
Object.fromEntries(
[...tag.matchAll(/([\w:-]+)\s*=\s*(?:"([^"]*)"|'([^']*)'|([^\s"'>]+))/g)].map(([, name, ...values]) => [
name!.toLowerCase(),
clean(values.find((value) => value !== undefined) ?? ""),
]),
);
const tagsOf = (html: string, name: string): Record<string, string>[] =>
[...html.matchAll(new RegExp(`<${name}\\b[^>]*>`, "gi"))].map(([tag]) => attributesOf(tag));
/** Вариант из srcset («a.jpg 480w, b.jpg 1080w»): самый мелкий от TARGET_WIDTH, а если таких нет — самый крупный. */
const fromSrcset = (srcset: string): string | undefined => {
const candidates = srcset
.split(",")
.map((candidate) => {
const [url = "", size = ""] = candidate.trim().split(/\s+/);
return { url, size: parseFloat(size) || 0 };
})
.filter((candidate) => candidate.url)
.sort((a, b) => a.size - b.size);
return (candidates.find((candidate) => candidate.size >= TARGET_WIDTH) ?? candidates.at(-1))?.url;
};
/** Абсолютная ссылка на картинку; undefined — для data:, не-http и служебной графики. */
const imageUrl = (raw: string | undefined, pageUrl: string): string | undefined => {
const url = raw && URL.canParse(raw, pageUrl) ? new URL(raw, pageUrl) : undefined;
if (!url || (url.protocol !== "http:" && url.protocol !== "https:") || DECOR_PATH.test(url.pathname)) return undefined;
return url.href;
};
/** Размер из атрибута меньше порога — иконка. Нет атрибута — не знаем, оставляем. */
const isTiny = (img: Record<string, string>): boolean =>
[img.width, img.height].some((side) => side !== undefined && parseInt(side) > 0 && parseInt(side) < MIN_IMAGE_SIDE);
const metaContent = (metas: Record<string, string>[], keys: string[]): string[] =>
metas.filter((meta) => keys.includes(meta.property ?? meta.name ?? "")).map((meta) => meta.content ?? "");
/** Главная картинка страницы: её показывают в превью ссылок (Open Graph, Twitter Cards, image_src). */
const previewImages = (html: string, metas: Record<string, string>[]): { src?: string; alt: string }[] => {
const alt = metaContent(metas, ["og:image:alt", "twitter:image:alt"])[0] ?? "";
const fromMeta = metaContent(metas, ["og:image", "og:image:url", "og:image:secure_url", "twitter:image", "twitter:image:src"]);
const fromLink = tagsOf(html, "link")
.filter((link) => link.rel?.toLowerCase() === "image_src")
.map((link) => link.href);
return [...fromMeta, ...fromLink].map((src) => ({ src, alt }));
};
/** Картинки из текста страницы, в том числе с ленивой загрузкой (data-src) и srcset. */
const contentImages = (html: string): { src?: string; alt: string }[] =>
tagsOf(html, "img")
.filter((img) => !isTiny(img))
.map((img) => ({
src: fromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
alt: img.alt ?? img.title ?? "",
}));
/**
* Картинки со страницы по её HTML: сначала превью (og:image и т. п.), потом из текста.
* Иконки, SVG, data:-картинки и повторы отбрасываем.
*/
export const extractPageImages = (html: string, pageUrl: string, limit: number): PageImages => {
const metas = tagsOf(html, "meta");
const candidates = [...previewImages(html, metas), ...contentImages(html)].flatMap(({ src, alt }) => {
const url = imageUrl(src, pageUrl);
return url ? [{ url, alt: imageAlt(alt) }] : [];
});
const title = clean(html.match(/<title\b[^>]*>([\s\S]*?)<\/title>/i)?.[1] ?? "");
return {
title: metaContent(metas, ["og:title"])[0] || title,
description: metaContent(metas, ["og:description", "description"])[0] ?? "",
images: uniqueByUrl(candidates).slice(0, limit),
};
};