AI数据架构师

岗位职责：

1. 数据体系构建与优化
• 负责构建和完善企业数据体系，整合多源数据，包括但不限于业务系统数据、用户行为数据、第三方数据等，确保数据的完整性与准确性，为模型训练提供各类训练数据。
• 根据不同领域场景大模型落地需求，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施。
2. 数据处理与分析
• 运用 ETL 等工具和技术，进行数据抽取、清洗、转换和加载，确保数据质量，为数据分析和建模提供高质量的数据。
• 针对业务需求，进行数据挖掘与分析，构建数据分析模型，负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护。
• 与算法团队紧密协作，抽象研发需求，对训练数据进行定义和处理。
3. 数据平台开发与维护
• 参与大数据平台的设计与开发，结合企业业务特点，搭建分布式大数据技术平台，实现数据的高效存储、实时查询与处理。
• 负责大数据系统的日常管理与维护，及时处理系统故障与问题，保障数据平台的稳定运行，为企业数据应用提供可靠的技术支持。

任职要求：

任职要求

1. 硕士及以上学历，计算机、人工智能等专业优先；优异者条件可适当放宽。
2. 具备3年以上数据处理或模型训练工作经验，熟练掌握文本、多模态等非结构化数据处理方法，精通数据清洗、特征提取和数据增强等技术，能够解决数据工作中各种问题。
3. 精通Python、Java等至少一种编程语言，熟悉常用的数据处理、文本处理和图像处理库，能够高效地实现数据清洗和处理的算法和流程。
4. 具备丰富的数据湖开发经验（Hudi、Iceberg、Hive等），并且对数据计算相关技术框架有深入的实践和理解（Spark、Flink、Hadoop、Ray）。
5. 了解大模型基座，熟悉SFT、Prompt等微调技术，熟悉Milvus等向量数据库。
6. 主导过大模型或离在线场景下的数据平台建设，有海量图片、视频数据平台建设或大数据开源框架开发经验者优先

【职位类别】研发技术类
【招聘项目】日常招聘
【所属公司】TCL工业研究院