import { truncate } from "./telegram-format.js"; export interface PageImage { url: string; /** Подпись: alt картинки или og:image:alt; пусто, если сайт её не дал. */ alt: string; } export interface PageImages { title: string; description: string; images: PageImage[]; } /** Мельче этого по ширине или высоте — иконки и кнопки, не картинки. */ const MIN_IMAGE_SIDE = 100; /** Telegram сжимает фото до ~1280 px: вариант крупнее — лишние мегабайты. */ const TARGET_WIDTH = 1280; /** Подпись картинки уходит модели в каждом следующем шаге — короткая. */ const MAX_ALT_LENGTH = 100; /** Служебная графика сайта — по слову в пути («/img/logo.png», «grey-placeholder.png») — и SVG, которые Telegram не показывает. */ const DECOR_PATH = /(?:^|[/_.-])(?:logo|icons?|favicon|sprite|spacer|pixel|blank|placeholder|tracking|badge|button)(?:[/_.-]|$)|\.svg$/i; const NAMED_ENTITIES: Record = { amp: "&", quot: '"', apos: "'", lt: "<", gt: ">", nbsp: " " }; const decodeEntities = (value: string): string => value.replace(/&(#x[\da-f]+|#\d+|[a-z]+);/gi, (entity, code: string) => { if (code[0] !== "#") return NAMED_ENTITIES[code.toLowerCase()] ?? entity; const codePoint = code[1]?.toLowerCase() === "x" ? parseInt(code.slice(2), 16) : Number(code.slice(1)); return codePoint > 0 && codePoint <= 0x10ffff ? String.fromCodePoint(codePoint) : entity; }); const clean = (value: string): string => decodeEntities(value).replace(/\s+/g, " ").trim(); /** Подпись картинки из HTML или текста: без тегов и сущностей, не длиннее MAX_ALT_LENGTH. */ export const imageAlt = (html: string): string => truncate(clean(html.replace(/<[^>]*>/g, " ")), MAX_ALT_LENGTH); /** Без повторов по ссылке; из повторов остаётся первый. */ export const uniqueByUrl = (items: T[]): T[] => items.filter((item, index) => items.findIndex((other) => other.url === item.url) === index); /** Атрибуты тега: имена в нижнем регистре, значения без кавычек и HTML-сущностей. */ const attributesOf = (tag: string): Record => Object.fromEntries( [...tag.matchAll(/([\w:-]+)\s*=\s*(?:"([^"]*)"|'([^']*)'|([^\s"'>]+))/g)].map(([, name, ...values]) => [ name!.toLowerCase(), clean(values.find((value) => value !== undefined) ?? ""), ]), ); const tagsOf = (html: string, name: string): Record[] => [...html.matchAll(new RegExp(`<${name}\\b[^>]*>`, "gi"))].map(([tag]) => attributesOf(tag)); /** Вариант из srcset («a.jpg 480w, b.jpg 1080w»): самый мелкий от TARGET_WIDTH, а если таких нет — самый крупный. */ const fromSrcset = (srcset: string): string | undefined => { const candidates = srcset .split(",") .map((candidate) => { const [url = "", size = ""] = candidate.trim().split(/\s+/); return { url, size: parseFloat(size) || 0 }; }) .filter((candidate) => candidate.url) .sort((a, b) => a.size - b.size); return (candidates.find((candidate) => candidate.size >= TARGET_WIDTH) ?? candidates.at(-1))?.url; }; /** Абсолютная ссылка на картинку; undefined — для data:, не-http и служебной графики. */ const imageUrl = (raw: string | undefined, pageUrl: string): string | undefined => { const url = raw && URL.canParse(raw, pageUrl) ? new URL(raw, pageUrl) : undefined; if (!url || (url.protocol !== "http:" && url.protocol !== "https:") || DECOR_PATH.test(url.pathname)) return undefined; return url.href; }; /** Размер из атрибута меньше порога — иконка. Нет атрибута — не знаем, оставляем. */ const isTiny = (img: Record): boolean => [img.width, img.height].some((side) => side !== undefined && parseInt(side) > 0 && parseInt(side) < MIN_IMAGE_SIDE); const metaContent = (metas: Record[], keys: string[]): string[] => metas.filter((meta) => keys.includes(meta.property ?? meta.name ?? "")).map((meta) => meta.content ?? ""); /** Главная картинка страницы: её показывают в превью ссылок (Open Graph, Twitter Cards, image_src). */ const previewImages = (html: string, metas: Record[]): { src?: string; alt: string }[] => { const alt = metaContent(metas, ["og:image:alt", "twitter:image:alt"])[0] ?? ""; const fromMeta = metaContent(metas, ["og:image", "og:image:url", "og:image:secure_url", "twitter:image", "twitter:image:src"]); const fromLink = tagsOf(html, "link") .filter((link) => link.rel?.toLowerCase() === "image_src") .map((link) => link.href); return [...fromMeta, ...fromLink].map((src) => ({ src, alt })); }; /** Картинки из текста страницы, в том числе с ленивой загрузкой (data-src) и srcset. */ const contentImages = (html: string): { src?: string; alt: string }[] => tagsOf(html, "img") .filter((img) => !isTiny(img)) .map((img) => ({ src: fromSrcset(img.srcset ?? img["data-srcset"] ?? "") ?? img["data-src"] ?? img["data-original"] ?? img.src, alt: img.alt ?? img.title ?? "", })); /** * Картинки со страницы по её HTML: сначала превью (og:image и т. п.), потом из текста. * Иконки, SVG, data:-картинки и повторы отбрасываем. */ export const extractPageImages = (html: string, pageUrl: string, limit: number): PageImages => { const metas = tagsOf(html, "meta"); const candidates = [...previewImages(html, metas), ...contentImages(html)].flatMap(({ src, alt }) => { const url = imageUrl(src, pageUrl); return url ? [{ url, alt: imageAlt(alt) }] : []; }); const title = clean(html.match(/]*>([\s\S]*?)<\/title>/i)?.[1] ?? ""); return { title: metaContent(metas, ["og:title"])[0] || title, description: metaContent(metas, ["og:description", "description"])[0] ?? "", images: uniqueByUrl(candidates).slice(0, limit), }; };