工作经历
2017 年至今 xx 公司 数据开发&Java 开发
- 数据开发,编写常用 python 工具类,降低开发难度。
- 参与公司大数据服务平台的搭建及相关功能的开发。
- 使用 spring+springboot+mybatis 架构,迭代以及维护大数据部门的后端项目。
项目经历
数据服务平台
- 参与设计搭建数据服务平台,实现业务数据的采集与输出功能,为公司提供数据服务。
功能模块
- 权限验证:使用 spring security+redis 实现账户的登录与权限控制。
- 权限管理:迭代开发权限管理模块,使用 mybatis 与数据库实现交互,并对权限进行持久化存储,使用 redis 存储用户权限并实时更新权限。
- 报表数据下载:设计与开发报表数据下载,实现百万级数据定制化异步下载。
- 考勤报表:通过 excel 数据清洗、报表预计算、报表权限控制等功能实现定制化考勤报表展示
- Excel 接入:实现自定义 excel 模板、校验规则、清洗规则、自定义入库、邮件通知等功能,利用 redis 缓存过程数据,mybatis 实现持久化存储,支持数据部门各类数据入库。
- 业务数据接入:支持非技术人员简单配置模板实现业务数据校验、清洗、入库。Redis 缓存规则、mybatis 持久化到数据库、habse 存储原始数据
数据开发
- 通过 python 开发脚本,邮件发送报表数据为运营部门提供支持。
- 通过 python 开发脚本,参与数据仓库搭建。
- 编写常用 python 工具类包,统一开发风格以及提高代码复用率
- 利用 python+datax 实现大数据量同步
专业技能
- 熟练掌握 java 的基本特性和语法,掌握 mybatis,springboot,springmvc 等开发框架
- 精通掌握 mysql 语法,能进行复杂 sql 的编写,以及常用的 sql 性能优化
- 掌握 redis,hive 等数据库
- 熟练掌握 python3 的基本特性和语法
- 熟悉常用 linux 命令
- 了解 c 、scala 等语言
- 了解 datax 数据同步工具
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://ex.noerr.eu.org/t/673404
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.