=== 网址采集 ===
Contributors: gaochaola.com
Tags: navigation, crawler, onenav, scraper, links
Requires at least: 5.5
Tested up to: 6.6
Requires PHP: 7.4
Stable tag: 1.4.1
License: GPLv2 or later

抓取公开导航页面，自动提取站点名称、真实访问地址、简介与图标，人工复核后批量发布至 OneNav 导航，也可输出为普通 WordPress 文章。

== Description ==

网址采集（Url Crawl）是一款面向 WordPress + OneNav 的导航站批量采集入库工具。

= 主要功能 =

* 兼容普通外链，同时识别 data-url / data-href / data-link 导航卡片数据属性
* 自动跟进「加载更多」、next-page、rel=next 类型分页，完整抓取多页数据
* 支持二级采集链路：分类卡片 → 详情页 → go 跳转页 → 获取真实目标网址
* 智能过滤页头、页脚、联系方式等无关链接，只保留有效导航卡片
* 自动抓取站点标题、简介、远程图标，发布前支持手动编辑修改内容
* 自动检测 OneNav sites 自定义内容类型，优先使用 sites + favorites 分类体系
* 可写入 OneNav 专属字段：_sites_link、_sites_sescribe、_thumbnail
* 两种发布模式：OneNav 导航站点 / 标准 WordPress 普通文章
* 重复网址策略可选：直接跳过，或更新已有数据条目
* 按每 10 条为一批次分批发布，实时输出运行日志，避免服务器超时
* 图标处理：优先使用来源地址，站点 favicon 作为备选，支持下载图标保存到本地媒体库
* 发布队列持久化存储于 WordPress 数据库，支持手动单批执行，也可设置定时自动运行
* 队列面板直观统计：待处理、已发布、已更新、已跳过、失败条目数量
* 高度可配置：自定义文章类型、分类体系、网址/简介/自定义元字段、发布状态、默认分类、执行批次速率
* 支持来源站点分类与本站分类多行自动映射，批量归类数据
* 对接阿里百炼、DeepSeek 以及所有兼容 OpenAI Chat Completions 接口的大模型，用于生成、改写网址简介

== Installation ==

1. WordPress 后台进入：插件 → 安装插件 → 上传插件
2. 上传 gaochaola-urlcrawl-1.4.1.zip 压缩包并启用
3. 插件启用后，后台左侧菜单打开「网址采集」进入操作界面

== Usage ==

1. 填入公开导航网站首页或者分类页面链接，点击开始抓取
2. 核对抓取结果：站点名称、简介、网址、图标，剔除不需要的条目
3. 选择发布目标：OneNav 网站 或者 普通文章，再指定目标分类
4. 进入「完整设置」保存发布字段、批量执行节奏、分类映射、大模型接口等配置
5. 勾选需要处理的数据，保存至数据组，在数据组内点击直接发布完成批量入库

== Changelog ==

= 1.4.1 =
* 修复后台菜单回调函数未定义导致的 call_user_func_array 报错
* 全部代码前缀重命名为 gaochaola_urlcrawl，隔离旧插件
* 作者信息改为 gaochaola.com，菜单名称改为「网址采集」
* 修复正则分隔符冲突导致 go 跳转链接丢失的问题
* 修复站点名称混入简介文本的问题
