본문 바로가기

전체 글59

데이터 클리닝 및 전처리 작업 C언어를 이용한 데이터 클리닝 토양에서 이산화탄소 호흡이 발생하는 현상을 자동으로 측정해 주는 장비로부터 발생한 raw 데이터를 파싱 하여 원하는 통계 값이 계산된 새로운 데이터를 text 파일로 출력하는 프로그램을 C언어로 개발했었다. 처음에는 Python으로 하려고 했었는데, 내가 맨 처음에 가장 많은 시간을 들여서 배운 언어가 C언어이다 보니 파이썬으로 작업하는 것이 불편하게 느껴져서 결국은 C언어로 개발하게 되었다. 그런데 이 작업을 하면서 참 많은 시행착오를 겪었다. 자동으로 측정된 데이터에는 일정한 규칙에 위배되는 이상한 값이 들어가 있는 경우, 데이터가 측정되다가 멈춘 경우 등 여러 가지 예외 사항들이 있었다. 특히 숫자만 있어야 하는 부분에 문자가 섞여 들어간 부분, 특정 행에서의 데이터가.. 2022. 4. 23.
데이터 사이언스 온라인 학회 참관 2020년에 온라인으로 개최된 ODSC 학회 2020년은 코로나의 한 해였다. 당시 나는 미국에 유학 중이었는데 한 번도 온라인으로 학회를 참석한 적이 없었지만 코로나로 인해 국가 비상사태가 선포된 2020년 3월 이후로는 원래 발표 예정인 학회마저도 취소되고 다른 학회는 온라인으로 전환되는 분위기였다. 그래서인지 OPEN DATA SCIENCE Conference (ODSC)에서도 온라인으로 학회를 개최했다. 이 학회는 산업, 의료 등의 분야에서 적용되는 데이터 사이언스 기술에 대한 발표뿐만 아니라 관심 있는 사람들을 대상으로 유료 강좌도 준비한다. ODSC West Virtual Conference는 2020년 10월 27일부터 10월 30일까지 4일에 걸쳐 개최되었으며 40개의 트레이닝 세션, 40.. 2022. 4. 22.
동물 보호시설에서의 유기묘, 유기견 스트레스 저감 방안 분석 사례 동물행동 학회에서 발표된 동물복지 연구 Animal Behavior Society (ABS, 동물행동 학회)는 1964년에 최초로 창립되어 지금까지 이어져 오고 있다. 동물의 행동에도 사회적 행동, 행동 유전학, 신경/내분비 메커니즘, 포식/취식 행동, 동물 간의 의사소통 등의 연구주제를 다루는데 동물 복지에 관한 연구 내용도 다뤄지고 있다. 그동안 나는 개인적으로 동물들의 순수 행동 분야를 연구했었는데 점차 동물 복지에 관심을 갖게 되어 2020년에 이 학회에서 주로 동물들의 복지를 증진시키기 위해 어떤 연구들이 진행되었는지 주로 알아보았다. 동물 보호시설 주변 소음이 고양이의 행동과 복지에 주는 영향 연구자: Bailey H Eagan, David Fraser 유기묘 등 누군가가 돌봐주어야 하는 고양.. 2022. 4. 20.
(영화)Inside out: 우울한 감정도 소중히 사람의 마음이 여러 가지 인격체를 가진 캐릭터라면 어떨까 사람은 여러가지 감정을 갖고 있다. 영화 inside out에서는 사람이 기본적으로 갖고 있는 기쁨, 우울, 분노, 불안 등의 감정을 독립된 인격체인 것으로 가정하고 그들이 어떤 상황에서 어떻게 상호작용하는지 보여주는 신선한 시도를 한다. 순수한 시골 소녀 Riley의 마음속에는 기쁨, 우울, 까칠 (disgust), 소심, 분노라는 다섯 가지 감정 캐릭터가 존재하며 그 캐릭터가 핸들을 쥘 때 그 감정의 특성이 Riley의 행동으로 표출된다. 예를 들어 기쁨이란 감정이 핸들을 쥐면 Riley는 기쁜 행동을 하고, 분노라는 감정이 핸들을 쥐면 분노를 거침없이 표출한다. 이러다가 저녁 식사 자리에서 부모님께 혼이나기도 한다. 물론 사람의 감정은 이러한.. 2022. 4. 19.
통계분석 및 머신러닝을 이용한 새의 울음소리의 변화 분석 포식자가 나타났을 때, 먹이를 먹을 때에도 나는 “D” 울음소리 내가 해외에서 유학을 할 때 논문에 사용될 데이터를 얻기 위해 숲으로 현장조사를 나가면 종종 박새의 일종인 chickadee와 titmouse 가 먹이를 먹으면서 “D” 울음소리를 많이 내는 것을 관찰했다. 그런데 한 가지 흥미로운 사실은 그 새들은 포식자가 나타난 상황에서도 똑같은 “D” 울음소리를 반복적으로 발생시킨다는 것이다. “D” 울음소리는 그들이 낼 수 있는 여러 가지 울음소리 중 하나일 뿐, “A”, “B”, “C” 등 다른 울음소리도 있는데 정반대의 상황 (포식자가 있는 생존에 불리한 상황, 먹이가 있는 생존에 유리한 상황)에서 같은 “D” 울음소리를 반복적으로 발생시키는 것이 신기하게 느껴졌다. 그래서 그런 현상에서 아이디어.. 2022. 4. 19.
통계기법을 사용한 소음의 정도에 따른 조류의 행동 변화 분석 소음에 취약한 동물들 우리의 청각 기능이 정상인 이상, 어느 정도 소음의 영향을 받으면서 살아간다. 때로는 백색소음이 마음의 안정을 가져다 줄 때도 있지만 너무 시끄러운 소음은 우리를 힘들게 할 것이다. 만약 당신의 이웃이 자신의 집에서 큰 소리로 음악을 틀어 놓거나, 주변에서 공사 소리가 나거나, 비행기가 낮게 날면서 소리가 크게 나면 아마 당신은 최대한 이러한 상황을 피하고 싶고 집중력이 떨어져 행동이 달라질 수도 있다. 예를 들어 이웃에게 그만하라며 큰 소리를 칠 수도 있고 밥을 잘 먹지 못하고 귀를 틀어막을 수도 있다. 이것은 비단 인간에게만 해당되는 이야기는 아니며 동물도 인간 못지않게, 혹은 더 심하게 소음의 영향을 받으며 살아간다. 기존 연구에 의하면 인공 소음(자동차, 항공기, 공사, 야외.. 2022. 4. 19.
비개발자의 언어로 풀어 쓴 API 의 구조와 기능 비개발자가 개발자의 언어를 이해해야 하는 이유 나는 entry level의 데이터 분석가로, 아직 프로그래밍과 IT에 대한 지식이 해박하지 못한 편이다. 이런 상태에서 IT 조직에서 개발자들에게 프로그램 개발 혹은 데이터베이스에 대해 요구사항을 이야기하면 그들은 내가 모르는 IT 용어를 사용하여 서로 커뮤니케이션에 어려움을 겪었다. 예를 들어, 개발자들이 ‘트리거를 발생시킨다’, ‘프런트엔드’, ‘백엔드’, ‘CSS’, ‘API’의 용어를 사용하여 나에게 무언가 설명할 때 이런 용어들은 어디선가 들어봤지만 내가 따로 공부를 하지 않고서는 정확하게 알 수 없는 용어들이었다. 그래서 이런 지식을 쌓기 위해 어떻게 공부를 해야 할지 나름대로 생각해봤으나 IT의 세계는 생각보다 너무나 넓고 방대했다. 그러던 중.. 2022. 4. 18.
긍정확언, 감사합니다 5만번 말하기가 가져다 준 선물 2019년은 시련의 한 해 2019년은 여러모로 나에게 힘든 일이 많았다. 2019년 초 겨울에는 추운 겨울에 야외에서 데이터를 모으느라 육체적, 정신적으로 몹시 고단했고 집에서 쉴 때에도 벽을 짚고 다녀야 할 정도로 몸이 쇠약해져 있었다. 특히 나는 대학원에서 연구를 하기 위해서는 야외에 나가서 현장 조사를 통해 데이터를 모아야 하는데, 힘들게 조사를 가도 데이터가 모이지 않는 날도 있었다. 가장 힘들었던 때는 감기에 생리통이 겹쳤는데도 엄청 추운 날 양팔과 양다리에 핫팩을 붙이고 연구 지역인 숲 속에 가서 데이터를 모을 수밖에 없었던 날이다. 지금 돌이켜보면 오직 정신력으로만 버틸 수 있었던 것 같다. 걸어 다닐 때 너무 아파서 좀비처럼 신음하며 걸어 다녔다. 데이터 모으는 일뿐만 아니라 대학원에서 .. 2022. 4. 17.
반응형

티스토리툴바