关于匠芯云链

传承千年匠心，智联文化未来

项目基本简介

匠芯云链智能非遗文化讲解助手基于ERNIE-4.5-VL多模态大模型和自主训练的PP-HGNetV2-B6模型（识别30类非遗技艺，准确率89.73%），结合RAG检索增强和知识图谱技术，实现非遗图像精准识别、专业讲解生成和智能问答功能。创新点在于将多模态AI与传统文化深度融合，通过知识图谱提供文化关联性，助力非物质文化遗产的数字化传承与普及。系统提供两种识别方式：ERNIE-4.5-VL通用识别和PaddleX专业非遗识别，满足不同场景需求。

核心技术

  • 多模态识别：ERNIE-4.5-VL-28B-A3B-Paddle
  • 专业识别模型：PP-HGNetV2-B6（准确率89.73%）
  • 知识增强：RAG检索增强生成技术
  • 知识关联：基于NetworkX的知识图谱
  • 文本处理：TF-IDF、FAISS向量数据库

核心功能

  • 非遗图像识别：精准识别非遗技艺类型
  • 专业讲解生成：提供深度文化解读
  • 知识图谱展示：可视化文化关联性
  • 智能问答：回答用户各类非遗问题
  • 非遗浏览：系统化展示非遗项目

项目创意

创意思考过程

我们的创意源于两个关键观察：一方面，中国拥有丰富多彩的非物质文化遗产，但年轻一代对传统文化的了解和兴趣正在减少；另一方面，大语言模型和多模态AI技术正在迅速发展，为文化传承提供了新的可能性。作为热爱传统文化的大学生，我们希望利用所学的AI技术知识，搭建一座连接传统与现代的桥梁。

在一次参观地方非遗展览时，我们发现游客对展品充满好奇，但由于缺乏专业讲解，往往只能走马观花。这让我们思考：如果能有一个智能助手，通过拍照就能识别非遗项目并提供专业讲解，同时回答游客的各种问题，将会大大提升文化传播效果。这一思考促使我们决定开发匠芯云链智能非遗文化讲解助手。值得一提的是，我们团队仅用两周时间就完成了整个项目的开发，包括模型训练、系统设计和功能实现。

创新点

自主训练的非遗识别模型

基于PaddleX平台训练的PP-HGNetV2-B6模型，针对30类中国代表性非遗技艺进行专门优化，识别准确率达89.73%

多模态交互

结合图像识别和自然语言处理，用户可通过拍照和对话两种方式探索非遗文化

知识图谱支持

构建非遗知识图谱，展示非遗项目之间的关联性，提供更全面的文化背景

RAG检索增强

通过检索增强生成技术，确保AI回答的专业性和准确性

个性化体验

根据用户兴趣和问题深度，提供不同层次的文化解读

双引擎识别系统

结合ERNIE-4.5-VL和PP-HGNetV2-B6两种模型，实现通用识别和专业识别的互补

社会价值

文化传承价值

  • 通过数字技术记录和保存非遗知识，防止传统技艺失传
  • 建立非遗数字档案，为后代留下宝贵的文化记忆
  • 降低传统文化的认知门槛，吸引更多年轻人了解非遗
  • 搭建老中青三代的文化交流桥梁

技术创新价值

  • 将最新的多模态AI技术应用于文化遗产领域
  • 探索大模型在专业领域知识服务的有效方法
  • 构建高质量的非遗图像数据集，填补行业空白
  • 建立结构化的非遗知识图谱，促进知识共享

教育与社会价值

  • 为学校提供生动的传统文化教学工具
  • 提升文化场所的智能化服务水平
  • 增强公众对传统文化的认同感和自豪感
  • 促进不同地域文化的相互了解和尊重