數據團隊守護神-DQT｜Mark Yang｜PyCon APAC 2022

PyCon APAC 2022｜一般演講 Talks｜國泰金控 Cathay Financial Holdings / 美光科技 Micron 冠名贊助

✏️ 共筆 Note：https://hackmd.io/@pycontw/rJrRUaQJs 🖐🏻 Slido：https://app.sli.do/event/gFHqR4nX2VJNiGfcJBXvg8 💬 語言 Language：中文演講/英文投影片 Chinese talk w. English slides 🎯 層級 Level：入門 Novice 🔎 分類 Category：應用 Application

💡 摘要 Abstract 💡 在這個大數據時代，數據量也是與日俱增，如何確保 Data Quality（資料品質）成為各企業的重要課題，在這個 Talk 中，我們會簡介什麼是資料品質以及國泰金控的目前正在發展的 Data Quality Tool，最後介紹 Data Quality Tool 的未來發展。

🪄 說明 Description 🪄 敝公司作為金控業的龍頭，台灣金融數位轉型的領頭羊，手中握有巨量的數據，每天使用這些數據為我們的客戶提供更好的服務，如何確保資料的品質成為重要的課題。這場Talk將會介紹什麼是 Data Quality，我們 Lab 自主研發的 Data Quality Tool 現況以及 Data Quality Tool 未來的發展。目前 Data Quality Tool 使用 PySpark 作為核心運算引擎，以因應巨量資料處理，而使用者僅需會 SQL 語法，即可輕鬆上手； 而未來我們也會將 Data Sketch 演算法，ML 等相關技術應用在資料品質這個領域，以期待Data Quality Tool 成為全集團的資料團隊守護神，保護我們不會取得 Dirty Data，產生 Dirty Result。

🚀 講者介紹 About Speaker - Mark Yang 🚀 目前服務於國泰數數發的資料科學研研發科，是個 Python 初學者。 以前不懂事，都在寫 Scala；現在長大了，開始學 Python。請大家多多指教！！

#pycontw #pyconapac2022 #python #dataquality #pyspark #datasketch

Follow “PyCon Taiwan” ⭐️ Official Website: https://tw.pycon.org ⭐️ Facebook: https://www.facebook.com/pycontw ⭐️ Instagram: https://www.instagram.com/pycontw ⭐️ Twitter: https://twitter.com/PyConTW ⭐️ LinkedIn: https://www.linkedin.com/company/pycontw ⭐️ Blogger: https://pycontw.blogspot.com ... https://www.youtube.com/watch?v=O575nmw8QP8