Arthur Flores Duarte, Florianópolis开发商-巴西圣卡塔琳娜州
Arthur is available for hire
Hire Arthur

Arthur Flores Duarte

Verified Expert  in Engineering

Software Developer

Location
Florianópolis -巴西圣卡塔琳娜州
Toptal Member Since
June 18, 2020

亚瑟在IT公司工作了将近20年, 过去十年专注于数据分析, 具有扎实的数据工程背景, data analysis, and BI. 熟悉市场上主要的数据仓库, such as Snowflake, BigQuery, and Redshift, 他在SQL中使用dbt执行项目, Python, Airflow, and Fivetran. 此外，培养与工作团队和客户的良好关系, Arthur is very committed, adaptable, and creative.

Data VisualizationData AnalysisData ModelingData EngineeringAnalyticsSQLDatabasesRelational DatabasesANSI SQLOracle SQL商业智能(BI)PL/SQLSnowflakeBI ReportsData AnalyticsKlaviyo APIMicrosoft Dynamics CRMDashboard

Portfolio

Parade
Redshift, Looker，数据构建工具(dbt)， Airtable, Shopify, Fivetran...
Appex Group, Inc.
雪花，数据仓库，数据仓库设计，数据工程...
SimplyWise
振幅，红移，Python，数据构建工具(dbt)， Tableau, Amazon S3 (AWS S3)...

Experience

SQL - 10 years数据可视化- 5年Python - 3 years数据构建工具(dbt) - 3年Data Engineering - 3 yearsSnowflake - 3 yearsETL - 3 yearsLooker - 1 year

Availability

Part-time

Preferred Environment

SQL, Amazon Web Services (AWS)， Snowflake, Python, Data Build Tool (dbt)， Apache Airflow

The most amazing...

...我设计和制作的东西:一个数据架构，帮助公司使用Snowflake快速做出数据驱动的决策, dbt, Fivetran, Airflow, Python, and Looker.

Work Experience

Data Analytics Engineer

2023 - PRESENT
Parade
  • 开发和维护Looker仪表板、模型和时间表.
  • 使用dbt Cloud构建和维护dbt数据模型.
  • 内置Looker自动化，将数据与Airtable和Slack集成.
  • 排除来自Stitch和Fivetran的与不同数据源相关的数据摄取问题:Facebook广告, Google Ads, TikTok Ads, Shopify, Klavyio, Airtable, PostgreSQL, and Google Analytics.
  • 回答来自不同领域(如收入)的数据票请求, marketing, growth, product inventory, and influencers.
  • 管理和监控亚马逊Redshift集群数据仓库.
Technologies: Redshift, Looker，数据构建工具(dbt)， Airtable, Shopify, Fivetran, Stitch Data, Dbt Cloud, Klaviyo, Amplitude

Snowflake Data Engineer

2022 - 2023
Appex Group, Inc.
  • 与新的数据团队合作，为公司设计并构建新的数据架构, 帮助自动化数据摄取, modeling, and visualization.
  • 实现了用于数据建模的dbt(数据构建工具)，并培训了数据分析师如何正确使用它.
  • 设置从多个数据源到Snowflake数据仓库的Fivetran连接器.
  • 实现气流dag (MWAA)来运行和测试dbt模型，并使用API调用自定义数据摄取.
  • 使用dbt测试和气流在提取的源中构建数据质量检查控件.
Technologies: 雪花，数据仓库，数据仓库设计，数据工程, Data Build Tool (dbt), Apache Airflow, GitHub, Fivetran, Looker, Data Architecture, Data Modeling, Amazon Web Services (AWS), SQL, Python

Data Engineer

2022 - 2022
SimplyWise
  • 设计并构建数据架构，以帮助公司做出数据驱动的决策.
  • 集成多个数据源，如Apple Search, Google Ads, MySQL, 振幅和红移数据仓库.
  • 配置数据集成服务，如Fivetran和Stitch，以收集不同的数据源.
  • 开发了一个Python数据管道来读取和解析JSON文件, upload them to Amazon S3, 并将它们加载到红移表中.
  • 安装并配置数据构建工具，通过ELT数据建模执行数据转换.
  • 使用Tableau Online构建仪表板和报表.
Technologies: 振幅，红移，Python，数据构建工具(dbt)， Tableau, Amazon S3 (AWS S3), Amazon EC2, Fivetran, Stitch Data, SQL, ELT, ETL, Data Pipelines, Data Engineering, Data Architecture

Analytics Engineer

2020 - 2022
205 Data Lab
  • 在一家美国公司100%远程工作, 作为分析工程师为旧金山湾的数据客户提供服务.
  • 使用Python和Excel VBA脚本创建自动自定义数据报告.
  • 使用复杂的SQL脚本从Presto DB和Snowflake中提取报告数据.
  • 使用数据构建工具通过ELT过程转换和建模原始数据.
  • 为Prefect Cloud开发Python脚本，用于自动化和编排数据报告.
  • 在Snowflake和Salesforce之间集成数据，使用Bulk API生成报告.
技术:Excel VBA，数据构建工具(dbt)， Prefect, Python, Snowflake, Salesforce, Tray.io, SQL，数据建模，BI报表

Data Engineer

2020 - 2020
Projeto 22
  • 兼职做过数据工程师, 为汽车销售公司WebMotors的新数据湖项目支持数据小组.
  • 支持提供AWS资源的数据工程团队:EC2, S3, VPC, RDS使用Aurora PostgreSQL, and Redshift.
  • 开发Cloud Formation模板，自动提供AWS资源.
  • 部署了一个Apache NIFI集群，使用Zookeeper和NIFI Registry进行数据摄取处理.
  • 集成AWS DMS(数据迁移服务)，将SQL Server和Aurora MySQL中的表映射到拼花文件中的S3桶.
  • 采用Apache气流和EMR集群支持复杂数据处理.
  • 为服务器和应用程序监控构建CloudWatch警报.
  • 使用Lambda和Boto3根据调度自动停止/启动EC2和RDS实例, reducing costs.
  • 为多种目的开发Python脚本，例如数据库压力测试.
技术:亚马逊网络服务(AWS), Apache Airflow, PostgreSQL, 关系数据库服务(RDS), 亚马逊虚拟私有云(VPC), Amazon S3 (AWS S3), Amazon EC2

Data Analyst

2019 - 2020
Spin
  • 在Google BigQuery上使用复杂的SQL查询分析数据.
  • 使用Mode analytics的仪表板为管理人员提供数据分析报告.
  • 定义业务指标以支持和确定公司okr.
  • 为不同领域(如增长)提供监测和决策支持报告, product, and operations.
  • 使用Python和Jupyter Notebook进行滑板车的地理空间分析并生成地图图表.
  • 支持A/B测试，分析产品特性的采用情况.
技术:dashboard, Amplitude, Jupyter Notebook, Python, Mode Analytics, BigQuery, SQL

解决方案集成架构师

2018 - 2019
Optiva Inc.
  • 作为全球专业服务团队(英语和西班牙语团队)的一员，100%远程工作.
  • 为不同国家的电信客户集成和配置DCRM和门户.
  • 编写系统集成测试, user acceptance tests, test scenarios, configuration handbooks, user training, 以及欧博体育app下载文档.
  • 分析来自不同CRM环境的数据, 使用VLOOKUP等公式将数据导出并比较到Excel中，以排除缺少配置参数的故障.
技术:Microsoft Dynamics CRM, Microsoft SQL Server

数据分析师|技术主管

2011 - 2018
Wedo Technologies
  • 处理大量数据. 应用数据分析技术，发现电信系统之间的收入泄漏和趋势.
  • 将多个电信系统集成到RAID ETL工具中, 读取不同数据源(Oracle), SQL Server, Excel, CSV, ASN1), 包含电信事件和客户数据.
  • Performed Oracle DB, SQL performance tuning, procedures using PL/SQL, 编写Python和Shell脚本.
  • 提供系统分析和解决方案设计文档, 范围和体系结构定义, 以及销售方面的技术建议.
  • Designed user reports, dashboards, 和关键绩效指标，以支持数据驱动的决策和识别收入泄漏.
  • 监督单元测试、集成测试、UAT和产品发布. 完成对客户和团队的技术和功能培训.
  • 在不同项目中提供技术领导和项目管理.
  • 为不同国家的电信客户做过各种项目, such as Brazil, Chile, and Peru.
Technologies: PL/SQL, 商业智能(BI), ETL, Python, Shell, Unix, Microsoft SQL Server, Oracle

Developer

2009 - 2011
Seventh
  • 参与视频监控软件的Delphi编程(MVC，面向对象).
  • 集成不同类型的设备，如IP摄像机和视频编码器.
  • 领导使用CGI、SOAP、HTTP、TCP和RTSP进行网络协议集成.
  • 使用Wireshark进行反向工程协议. 解码视频和音频使用VLC库.
技术:网络协议，TCP/IP, Delphi

Trainee | System Analyst

2004 - 2007
Alliance Consutoria
  • 使用Uniface语言- compuware开发软件.
  • 集成数据库，包括Oracle、SQL Server、DB2.
  • 对使用敏捷方法的开发做出贡献.
  • 参与CMMI二级项目实施.
技术:Microsoft SQL Server, Oracle

Toptal客户端的数据分析师

为某汽车共享公司设计地理空间仪表板(地图), 显示与定义的停车位相关的用户采用和行为变化.

使用SQL和Google BigQuery地理空间库提取数据. 仪表板是使用Mode、Python和Jupyter Notebook制作的.

金融科技公司数据工程师

设计并构建数据架构，以帮助公司做出数据驱动的决策. 我整合了多个数据源，比如Apple Search, Google Ads, MySQL, 和振幅到AWS Redshift数据仓库.

配置数据集成服务(如Fivetran和Stitch)来收集不同的数据源，并使用Python开发数据管道来读取和解析JSON文件, 将它们上传到AWS S3并加载到Redshift表中. 我安装并配置了DBT(数据构建工具)来执行数据
转换(ELT数据建模)，并使用Tableau Online设计仪表板和报表.

New Data Architecture

我支持公司分两个阶段为数据摄取自动化构建新的数据架构, 将所有数据存储在一个数据仓库中，并支持数据分析团队专注于业务智能方面.

In the first stage, 我们使用Fivetran将数据尽快提供给数据分析师，并将其存储在Snowflake中.

In the second stage, 我们使用Airflow构建了定制连接器，并使用dbt和SQL实现了更有组织的数据建模.

Languages

雪花，SQL, Python, Delphi, Excel VBA

Paradigms

商业智能(BI)，多维建模，ETL，数据库设计

Storage

Oracle SQL, PL/SQL, Databases, Relational Databases, ANSI SQL, Oracle RDBMS, Amazon S3 (AWS S3), Microsoft SQL Server, Oracle PL/SQL, Redshift, JSON, Data Pipelines, SQL Server 2012, MySQL, PostgreSQL

Other

Data Engineering, Data Build Tool (dbt), Dashboards, Data Visualization, Data Analysis, Analytics, Visualization, Data Modeling, Fivetran, 电讯业务支援系统(BSS), Revenue Assurance, 关键绩效指标(kpi), BI Reports, Data Analytics, Google BigQuery, Mode Analytics, ELT, Data Architecture, 商业智能(BI)平台, ETL Tools, Data Warehousing, Data Warehouse Design, Performance Tuning, TCP/IP, Network Protocols, Amplitude, 关系数据库服务(RDS), Prefect, Shell Scripting, Dynamics CRM 365, IT Project Management, Software Engineering, Query Optimization, Airtable, Dbt Cloud

Libraries/APIs

Tray.io, Pandas, NumPy

Tools

Apache Airflow, BigQuery, Microsoft Excel, Looker, GitHub, Microsoft Dynamics CRM, Shell, 亚马逊虚拟私有云(VPC), Microsoft Power BI, Jupyter, Tableau, Stitch Data

Platforms

Oracle, Amazon Web Services (AWS), Amazon EC2, Salesforce, Unix, Windows, Jupyter Notebook, Shopify, Klaviyo

2011 - 2012

项目管理工商管理硕士

funda o Getulio Vargas (FGV) -弗洛里亚诺波利斯，南卡罗来纳州，巴西

2002 - 2007

计算机工程学士学位

巴西圣保罗大学圣伯纳多坎波分校

Collaboration That Works

How to Work with Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

Share your needs

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

Choose your talent

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring