NIA Data Story - Movie) 0. intro
한국지능정보사회진흥원(NIA) 요청으로 데이터 스토리를 작성했습니다. 1971-2020, 50년간 국내 개봉작을 데이터의 형태로 경험했습니다. 시각화 코드를 조금 자세히 풀어서 전달드리고자 합니다. 1. “빅”데이터 검수 문제 통합 데이터 지도 최근 전에 없이 국가적인 단위에서 데이터 수집 사업이 수행되었습니다. 앞으로 다가올 데이터 기반 사회를 위
Home
2D distribution
2차원 공간의 데이터 분포를 표현합니다. 많이 사용하는 기능이면서도 막상 쓰려면 디테일에 발목을 잡힙니다. Matplotlib, seaborn에 이어 mpl-scatter-density도 알아봅니다. 1. 2D data distribution 데이터가 2차원으로 분포하는 경우는 매우 흔합니다. N차원으로 분포하는 데이터의 두 차원만 떼어 보여주는 경우도
material property visualization
초심자를 위한 소재 물성 시각화 tutorial입니다. 여러 물질의 friction stress와 elastic modulus 데이터를 읽어들이고, 이들의 연산 결과를 막대 그래프로 표현하고 강조하는 과정입니다. 1. 논문 데이터 추출 Yoshida et al, Acta Materialia, “Effect of elemental combination o
solar radiation - time and space
한국에너지기술연구원은 천리안 위성 기반 전국 전일사량 데이터를 제공합니다. 천리안 1호 위성 데이터는 2012년 1월부터 2019년 12월까지, 천리안 2호 위성 데이터는 2019년 9월부터 2020년 8월까지 데이터를 제공합니다. 이 데이터 중 천리안 1호 데이터를 받아 분석합니다. 1. 데이터 다운로드 공공데이터포털 신재생자원지도 데이터: 태양자원
modifying seaborn violin plot
Seaborn violin plot은 아름답습니다. 매끈한 곡선은 데이터의 분포를 직관적으로 알게 해 줍니다. color와 palette 매개변수로 violin plot의 색을 지정할 수 있습니다. 그러나 특정 violin plot만 색을 바꾸어 강조하는 방법은 잘 알려져있지 않습니다. 1. 예제 데이터 seaborn의 tips 데이터셋을 사용합니다.1
데이터 분석, 의심에서 전달까지
한국지능정보사회진흥원(NIA)에서 기회를 주셔서 발표를 하게 되었습니다. (21.10.08.) 통합 데이터 지도 활성화 노력의 일환입니다. 아직 부족한 점이 있을 수도 있지만 적극적으로 피드백을 구하며 점진적으로 보완하고 있습니다. 많이 활용하시고 피드백을 주시면 서로 좋을 것 같습니다. 그리고 어제 AI Frenz에서 또다시 기회를 주셨네요. (
Population by gender and age
Matplotlib 객체지향 방식은 훌륭합니다. 객체를 섬세하게 제어할 수 있고, 시각화 함수를 만들기도 좋습니다. 데이터 정리부터 객체지향 방식으로 그림을 그리는 예제를 만들어 보았습니다. 1. 목표 우리나라 인구 데이터로부터 이런 그림을 그릴 것입니다. 한번 그리고 말 것이 아닙니다. 시나 도 이름을 입력하면 데이터만 바뀐 같은 형식의 그림을 찍
pytorch & sklearn pipeline
저는 tabular data를 다룹니다. 간혹 딥러닝을 하고 싶지만 표준화등 전처리도 해야 합니다. 범주형 변수를 인코딩해서 feature importance도 보고 싶습니다. skorch(sklearn + pytorch)를 사용하면 가능합니다. 1. skorch = sklearn + pytorch skorch documentationskorch tu
Full moon
지난 추석, 간만에 긴장을 풀었습니다. 가끔 취미로 그림을 그리고는 하는데 python으로는 안그렸네요. 자다가 문득 코드가 떠올라 보름달을 그렸습니다. 1. 보름달은? 보름달이 어떻게 생겼는지 모르는 사람은 없을 겁니다. 검은 밤 하늘에 떠 있는 하얀 동그라미로 단순화할 수 있습니다. 토끼가 방아를 찧고 있는 듯한 모양이 있지만 잠시 잊기로 합니다
3D curved surfaces
자주 있는 일은 아니지만 3차원 곡면을 그릴 때가 있습니다. 어떤 분은 원자를 표현하느라, 또는 쇠구슬을 표현하느라 구가 필요할지도 모릅니다. 저는 업무상 태양이 하늘에 떠 있는 지점을 고민할 때가 많아서 반구가 필요합니다. 과거에는 원자의 3차원 에너지를 표현하느라 이런 그림이 필요했습니다. 1. 데이터 준비 wikipedia: Spherical co