克利斯朵夫女人，法国图卢兹的开发者
克利斯朵夫 is 可用 for hire
Hire 克利斯朵夫

克利斯朵夫女人

验证专家  in 工程

数据工程开发人员

Location
图卢兹,法国
至今成员总数
2021年4月23日

克利斯朵夫是一名aws认证的数据工程师，拥有构建企业数据平台的丰富Experience. 他在设计和构建云原生数据管道方面有很强的技能, 数据的湖泊, 数据仓库解决方案. 团队精神、善良和好奇心是驱动克利斯朵夫的基本价值观.

工程数据大数据架构数据迁移SQLPostgreSQL数据库Spark数据管道ETLAmazon S3 (AWS S3)亚马逊网络服务(AWS)数据库设计Scala起程拓殖Python数据构建工具 SqoopAWS数据管道

Portfolio

Dashlane
Apache气流, Redshift，数据构建工具(dbt)， AWS Glue, 亚马逊雅典娜, Spark...
大陆
亚马逊网络服务(AWS)、Amazon S3 (AWS S3)、Amazon Elastic MapReduce (EMR)...
Airbus
Hadoop, Spark, Apache蜂巢, Oozie, Apache Sqoop, Scala, Python, Talend...

Experience

SQL - 12年火花- 7年数据工程- 7年ETL - 7年数据管道——7年数据湖- 6年Apache气流- 2年

Availability

兼职

首选的环境

亚马逊网络服务(AWS), Spark, SQL, 数据管道, ETL, 数据的湖泊, 起程拓殖, Apache气流, 数据构建工具(dbt), Python

最神奇的...

...我参加的职业挑战是大陆 (Carino)的国际ML比赛。, 我在法国排名第一.

工作Experience

高级数据工程师

2021年至今
Dashlane
  • 作为一个新的云原生数据平台的设计和实现的关键贡献者, 替换遗留数据堆栈.
  • 构建大量基于aws的数据管道，从各种来源获取数据, 准备他们, 并将它们加载到数据仓库中.
  • 实现了一个基于Cloudwatch的监视和警报堆栈, SNS, Lamba, 和松弛, 确保数据管道的质量. 该堆栈包括数据质量检查、管道状态报告和Slack通知.
  • 在Redshift上使用DBT构建数据模型，从数据中提取商业价值，并通过Tableau仪表板将其提供给管理和营销团队.
  • 将数据从关系型数据库(SQL Server和MySQL)迁移到Redshift数据仓库.
  • 构建了复杂的流媒体管道，每天接收超过1亿个事件.
技术:Apache气流, Redshift，数据构建工具(dbt)， AWS Glue, 亚马逊雅典娜, Spark, 亚马逊运动, 起程拓殖, Amazon S3 (AWS S3), 亚马逊监测, Amazon弹性容器服务(Amazon ECS), SQL Server 2016, Python 3, AWS数据库迁移服务(DMS), Airbyte, 数据建模, 工程数据, 持续集成(CI), 数据库, 亚马逊网络服务(AWS), Agile, 数据迁移, 数据的湖泊, 数据架构, 数据库模式设计, Microsoft SQL Server, SQL DML, Python, PySpark, 数据管道, 管道

高级数据工程师

2018 - 2021
大陆
  • 参与设计和开发一个供所有内部团队共享的新数据平台, search, 探索数据集.
  • 设计了车队管理和车辆跟踪解决方案. 云原生和事件驱动的解决方案可扩展到数百万辆汽车.
  • 担任AWS架构和数据管道设计的企业专家. 我负责审核和建议团队.
  • 基于Kafka构建高度可扩展的数据管道, 火花流, Spark, No-SQL, 和S3组件.
  • 为用户和第三方客户端进行身份验证和授权的安全栈设计和部署. 基于OAuth2和mTLS.
  • 为数据库和数据仓库系统执行复杂的数据建模.
技术:亚马逊网络服务(AWS)、Amazon S3 (AWS S3)、Amazon Elastic MapReduce (EMR), 亚马逊雅典娜, Spark, Apache卡夫卡, SQL, PostgreSQL, MongoDB, NoSQL, MQTT, Kubernetes, Docker, 工程数据, 持续集成(CI), 亚马逊监测, Amazon弹性容器服务(Amazon ECS), 数据库, 数据管道, 管道

高级数据工程师

2016 - 2018
Airbus
  • 在空中客车的主要数据平台Skywise上担任数据摄取团队的技术主管.
  • 构建ETL管道，每天摄取和处理数tb的数据.
  • 工业化和自动化新的数据摄取管道的构建和部署. 将新管道的开发时间除以10.
  • 作为中心架构团队的一部分，为处理数据平台的其他团队提供最佳实践和指导.
  • 开发了一个NLP应用程序，用于检测和过滤摄取数据中的个人信息.
Hadoop技术:, Spark, Apache蜂巢, Oozie, Apache Sqoop, Scala, Python, Talend, Elasticsearch, 机器学习, Scikit-learn, 亚马逊网络服务(AWS), 数据库, Modeling, 数据建模, 管道

大数据架构师

2015 - 2016
Airbus
  • 在空客Hadoop平台的试点项目中担任技术架构师. 负责项目的建筑档案. 空客授予该项目.
  • 设计并参与了空中客车制造工厂问题预测解决方案的开发.
  • 为空中客车公司的六个项目评估大数据技术的效益. 与企业所有者和技术团队举行演讲和研讨会.
  • 使用Spark和Hadoop开发了多个原型. 创建了一个原型来检测飞机的异常飞行路径.
Hadoop技术:, 亚马逊网络服务(AWS), Spark, Python, API架构, Security, Apache蜂巢

技术主管

2007 - 2014
凯捷
  • 在几个客户的关键Java和Jakarta EE项目中担任技术主管, 比如SFR, Orange, ACOSS, 国防部, 和公司.
  • 发现了许多不同的技术环境，并获得了软件开发和解决方案设计方面的重要Experience.
  • 适应各种技术环境和组织, 包括作为外派人员与印度离岸团队一起工作两个月.
  • 为重大技术危机提供专业知识，并参与关键项目.
技术:Java, JEE, Java应用服务器，SQL, PostgreSQL, Oracle, PKI, Jenkins

Dashlane的新数据平台

http://www.dashlane.com
作为一个五人数据工程团队的高级数据工程师, 我设计并搭建了一个现代化的数据平台, 替换旧的.
新的数据平台基于AWS无服务器服务, 以及像气流这样的现代技术, DBT, 和Airbyte.
新平台每天获取超过1亿个事件和1TB的数据.
它带有持续部署(起程拓殖和Gitlab CI)。, 实时监控和警报(Cloudwatch和Slack), 低运营成本(无服务器服务的按使用付费定价).

实时数据管道计算数以百万计的车辆收费

在大陆, 我们建立了一个收费解决方案，负责收集数百万辆汽车的位置，并根据地理定价规则计算收费.

我设计并参与了主要管道的开发，负责收费. 它基于Kafka, 火花流, Spark SQL, Go微服务，PostgreSQL和S3. 我们设法构建了一个容错且水平可扩展的管道. 达到高水平的质量, 我们在CI/CD上做了很大的努力, 包括所有的基础架构代码, 自动单元测试, 持续集成测试.

空中客车数据平台(Skywise)数据采集

http://aircraft.airbus.com/en/services/enhance/skywise
我参与了空客主数据平台的前期建设. 作为数据采集团队的技术负责人, 我构建了一个解决方案，使我们的团队能够在一天内配置和部署新的数据采集管道.

我们处理各种数据源(ERP, Aircraft, partner, HR, Finance, production plants等).)，每天摄取超过5TB的数据.

语言

Scala, SQL, Python, Python 3, SQL DML, Java, T-SQL (Transact-SQL)

框架

火花,Hadoop

Tools

起程拓殖, 亚马逊雅典娜, Apache气流, AWS Glue, 亚马逊监测, Amazon Elastic MapReduce (EMR), MQTT, Amazon弹性容器服务(Amazon ECS), Oozie, Java应用服务器, Jenkins, Apache Sqoop

范例

ETL，数据库设计，OLAP, API架构，敏捷，持续集成(CI)，数据科学

平台

亚马逊网络服务(AWS), Jupyter笔记本, Apache卡夫卡, Kubernetes, Docker, JEE, Talend, Oracle, Airbyte, AWSλ

Storage

数据管道, 数据的湖泊, Amazon S3 (AWS S3), PostgreSQL, 数据库, Redshift, JSON, MongoDB, NoSQL, Apache蜂巢, Elasticsearch, Microsoft SQL Server, SQL Server 2016

Other

工程数据, 数据迁移, 亚马逊运动, 数据架构, 大数据架构, 数据库模式设计, Schemas, 管道, 数据构建工具(dbt), Security, 企业架构, AWS数据库迁移服务(DMS), 数据建模, Modeling, 集成, 数据分析, Amazon RDS, 人工智能(AI), 机器学习, PKI, Metabase

库/ api

PySpark, Scikit-learn

2005 - 2007

计算机工程硕士学位

佐治亚理工学院，亚特兰大大学-亚特兰大，乔治亚州，美国

2003 - 2006

计算机科学工程师学位

centralesup， Grande École工程-巴黎，法国

2021年2月至今

认证Kubernetes应用开发人员(CKAD)

Linux基金会

2019年12月至今

AWS认证解决方案架构师-专业

亚马逊网络服务

2019年11月至今

AWS认证大数据-专业

亚马逊网络服务

2017年8月至今

Spark和Hadoop开发者认证(CCA175)

Cloudera

2014年9月至今

IAF认证建筑师

凯捷

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

分享你的需求

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

选择你的才能

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

开始招聘