Картинки из интернета надёжнее: web_search с imageQuery, attach_media с запасными ссылками
- web_search с imageQuery сам собирает прямые ссылки на картинки: со страниц выдачи и из Wikimedia Commons (бесплатно, без ключа) — агенту не нужно выбирать страницы и ходить по ним - attach_media принимает список ссылок и count: битые пропускает и берёт следующие — без лишних шагов модели; MAX_AGENT_STEPS снова 5 - Как показать вложение (фото/видео/GIF/аудио/файл, лимит фото 10 МБ) решает бот по MIME-типу, сервис про Telegram не знает - Инструменты регистрируются по id; общие imageAlt, uniqueByUrl, errorMessage; fetchPageImages в libs - Короче результат поиска: без дублирующего списка источников, до 8 картинок, подписи до 100 символов; страницы — до 1 МБ и 8 секунд, из srcset — вариант около 1280 px Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -1,3 +1,5 @@
|
||||
import { truncate } from "./telegram-format.js";
|
||||
|
||||
export interface PageImage {
|
||||
url: string;
|
||||
/** Подпись: alt картинки или og:image:alt; пусто, если сайт её не дал. */
|
||||
@@ -13,6 +15,12 @@ export interface PageImages {
|
||||
/** Мельче этого по ширине или высоте — иконки и кнопки, не картинки. */
|
||||
const MIN_IMAGE_SIDE = 100;
|
||||
|
||||
/** Telegram сжимает фото до ~1280 px: вариант крупнее — лишние мегабайты. */
|
||||
const TARGET_WIDTH = 1280;
|
||||
|
||||
/** Подпись картинки уходит модели в каждом следующем шаге — короткая. */
|
||||
const MAX_ALT_LENGTH = 100;
|
||||
|
||||
/** Служебная графика сайта — по слову в пути («/img/logo.png», «grey-placeholder.png») — и SVG, которые Telegram не показывает. */
|
||||
const DECOR_PATH = /(?:^|[/_.-])(?:logo|icons?|favicon|sprite|spacer|pixel|blank|placeholder|tracking|badge|button)(?:[/_.-]|$)|\.svg$/i;
|
||||
|
||||
@@ -29,6 +37,13 @@ const decodeEntities = (value: string): string =>
|
||||
|
||||
const clean = (value: string): string => decodeEntities(value).replace(/\s+/g, " ").trim();
|
||||
|
||||
/** Подпись картинки из HTML или текста: без тегов и сущностей, не длиннее MAX_ALT_LENGTH. */
|
||||
export const imageAlt = (html: string): string => truncate(clean(html.replace(/<[^>]*>/g, " ")), MAX_ALT_LENGTH);
|
||||
|
||||
/** Без повторов по ссылке; из повторов остаётся первый. */
|
||||
export const uniqueByUrl = <T extends { url: string }>(items: T[]): T[] =>
|
||||
items.filter((item, index) => items.findIndex((other) => other.url === item.url) === index);
|
||||
|
||||
/** Атрибуты тега: имена в нижнем регистре, значения без кавычек и HTML-сущностей. */
|
||||
const attributesOf = (tag: string): Record<string, string> =>
|
||||
Object.fromEntries(
|
||||
@@ -41,9 +56,9 @@ const attributesOf = (tag: string): Record<string, string> =>
|
||||
const tagsOf = (html: string, name: string): Record<string, string>[] =>
|
||||
[...html.matchAll(new RegExp(`<${name}\\b[^>]*>`, "gi"))].map(([tag]) => attributesOf(tag));
|
||||
|
||||
/** Самый крупный вариант из srcset («a.jpg 480w, b.jpg 1080w»). */
|
||||
const largestFromSrcset = (srcset: string): string | undefined =>
|
||||
srcset
|
||||
/** Вариант из srcset («a.jpg 480w, b.jpg 1080w»): самый мелкий от TARGET_WIDTH, а если таких нет — самый крупный. */
|
||||
const fromSrcset = (srcset: string): string | undefined => {
|
||||
const candidates = srcset
|
||||
.split(",")
|
||||
.map((candidate) => {
|
||||
const [url = "", size = ""] = candidate.trim().split(/\s+/);
|
||||
@@ -51,7 +66,10 @@ const largestFromSrcset = (srcset: string): string | undefined =>
|
||||
return { url, size: parseFloat(size) || 0 };
|
||||
})
|
||||
.filter((candidate) => candidate.url)
|
||||
.sort((a, b) => b.size - a.size)[0]?.url;
|
||||
.sort((a, b) => a.size - b.size);
|
||||
|
||||
return (candidates.find((candidate) => candidate.size >= TARGET_WIDTH) ?? candidates.at(-1))?.url;
|
||||
};
|
||||
|
||||
/** Абсолютная ссылка на картинку; undefined — для data:, не-http и служебной графики. */
|
||||
const imageUrl = (raw: string | undefined, pageUrl: string): string | undefined => {
|
||||
@@ -87,7 +105,7 @@ const contentImages = (html: string): { src?: string; alt: string }[] =>
|
||||
tagsOf(html, "img")
|
||||
.filter((img) => !isTiny(img))
|
||||
.map((img) => ({
|
||||
src: largestFromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
|
||||
src: fromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src,
|
||||
alt: img.alt ?? img.title ?? "",
|
||||
}));
|
||||
|
||||
@@ -101,16 +119,14 @@ export const extractPageImages = (html: string, pageUrl: string, limit: number):
|
||||
const candidates = [...previewImages(html, metas), ...contentImages(html)].flatMap(({ src, alt }) => {
|
||||
const url = imageUrl(src, pageUrl);
|
||||
|
||||
return url ? [{ url, alt }] : [];
|
||||
return url ? [{ url, alt: imageAlt(alt) }] : [];
|
||||
});
|
||||
|
||||
const unique = candidates.filter((image, index) => candidates.findIndex((other) => other.url === image.url) === index);
|
||||
|
||||
const title = clean(html.match(/<title\b[^>]*>([\s\S]*?)<\/title>/i)?.[1] ?? "");
|
||||
|
||||
return {
|
||||
title: metaContent(metas, ["og:title"])[0] || title,
|
||||
description: metaContent(metas, ["og:description", "description"])[0] ?? "",
|
||||
images: unique.slice(0, limit),
|
||||
images: uniqueByUrl(candidates).slice(0, limit),
|
||||
};
|
||||
};
|
||||
|
||||
Reference in New Issue
Block a user