ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 2024-03-10
    스파르타/WIL(Weekly I Learned) 2024. 3. 10. 22:48
    • **FACTS(사실, 객관)** : 이번 일주일 동안 있었던 일, 내가 한 일
      크게 프로젝트 하면서 있던 일들이 이번주의 전부이다
      조금 더 세세하게 나누면 팀장으로써 팀을 리드하는 역할, 주식 데이터를 yfinance 모듈을 이용해서 데이터 가져오기,
      to_gbq를 이용해서 google bigquery에 데이터를 적재해주었고, 그것을 태블로로 연결하여 가져와서 사용하였다,
      prophet모델을 어느정도 공부하고, 문서와 깃허브에서 코드도 뜯어서 보았고, 사용하여 예측하고 평가도 해보았으며, 하이퍼 파라미터도 튜닝해보았다, 그리고 태블로에 시각화하기 위해 약간의 데이터들을 쓰기 편한 형태로 가공해서 적재하는 과정도 많이 해주었다, 또 태블로를 통해 여러 가지를 시각화하여 대시보드도 구성해주었다
    • **FEELINGS(느낌, 주관)** : 나의 감정적인 반응, 느낌
      팀장을 제대로 하는 것은 처음인데, 신경쓸 것이 많아서 힘든 면도 있고 정신없었지만, 그만큼 보람도 있고, 내가 원하는 대로 이끌기도 편한 점도 느끼고, 팀원들이 잘 협조해준 덕분에 만족할 결과물이 나올 것 같아서 좋았다,
      그리고 prophet라이브러리에 대한 구조와 작동방식등에 대해 어느정도 알게 되었고 라이브러리의 구조가(라이브러리마다 많이 다를 수 있겠지만) 대강 어느 식으로 구성되는지 알 수 있어서 처음엔 어려웠지만 어느정도 알고난 뒤로는 약간 뿌듯함을 느꼇다, 또 파이프라인 하는 것의 대한 어느정도의 감을 느꼈고, 태블로를 이용할 때는 데이터를 미리 잘 가공해줘야 활용하기 편하다는 것을 절실히 느꼈다, 태블로는 cloud는 뭔가 불편한 점이 많다고 느꼈으며 xoqmffhdesktop을 괜히 많이 쓰는게 아니라고 느꼈다, 원래는 태블로를 통해 대시보드 만드는 것을 크게 자세히 안해볼 생각이였는데 막상하니 엑셀 공부할 때처럼 모르던 기능이나 방식을 알게 됨으로 좋았다
    • **FINDINGS(배운 것)** : 그 상황으로부터 내가 배운 것, 얻은 것
      팀장으로써 어떻게 팀원들을 어떻게 리드해야할지 약간은 배운 것 같았으며, 또 프로젝트를 진행할 때 튜터님께 조언을 많이 구함으로써 어떤 프로세스를 거쳐야하는지 잘은 아니지만 어느정도 감은 잡은 것 같다(비록 이번에는 서툴고 매번 신경쓰기 어려워서 제대로 적용하지 못하였지만 말이다). 또 야후파이넌스의 주식 데이터를 패키지를 통해 쉽게 가져오는 법을 알게 되었으며, google bigquery에 인증해두고 설정하여 데이터를 적재하는 방법과 코드를 알게 되었다, 그리고 태블로에 데이터 원본(또는 소스)을 연결하는 방식들에 대해 알게 되었으며, 다양한 그래프를 만드는 방법과 각 기능, 용어들에 대해 다수 알게 되었다, 또 대시보드 구현하는 기능에 대해 여러 알게 되었으며, prophet에 대하여도 어느정도 이해하게되었다(아쉬운 것은 주식데이터에 대한 이해가 부족하여 어떻게 파라미터를 조절하여 예측해주는 것이 보다 정확하게 예측하는지는 알지못하는 점이 아쉽다)그리고 데이터를 적재할 때 어떤 형태로 가공해줘야할지 등 데이터 엔지니어의 역할을 약간이나마 체감하게 되었다(단순 가공해서 올리는 것 뿐만아니라 태블로에 연결하는 데이터 소스도 내가 다시 필요한 부분만 정리하여 연결해주는 등 관리해주었다), 그리고 라이브러리의 구성을 어떤 방식으로 구현할 수 있는지에 대해 감을 더 잡은 느낌이다, 그리고 전체적으로 태블로를 이용해서 대시보드를 구성해주는 방법을 알게 되었다
    • **FUTURE(미래)** : 배운 것을 미래에는 어떻게 적용할 지
      앞으로 팀장의 역할을 맡아도 이번과 전보다 더 잘 맡아서 이끌어나갈 수 있을 것이다, 프로젝트를 보다 체계적으로 좋은 방향으로 계획세워 진행해 갈 수 있을 것이다, 주식 데이터를 가져와야할 일이 생기면 바로 가져다 쓸 수 있을 것이다(물론 yfinance가 또 다시 막히지 않는다면 말이다, 과거에 막혀서 쓸 수 없던 적이 있었다고 한다), google bigquery를 DB로써 사용할 수 있을 것이다(다만 따로 결제하지 않는다면 70일정도만 더 가능하다, 무료로 이용할 수 있는 요금도 제한이 있기는한데 거의 쓰이지 않아서 감소가 거의 되지 않아 이정도 할때는 신경쓰지 않아도 될 것 같다, 유료로 전환해도 사용량만큼만 지불하면되서 줄줄 새는 것만 조심해서 잘 단속하면 크게 무리없이 쓸 수는 있을 것 같다), DB에 데이터를 적합한 형태로 가공해서 파이프라인을 구축하는 일을 보다 잘 할 수 있을 것이다, 태블로를 통해 대시보드를 구축할 수 있을 것이다, prophet을 통해서 시계열을 예측할 수 있을 것이다.

    이번주는 프로젝트에 매우 많은 시간을 팀원들과 함께 쓰느라 따로 기록을 많이 못하였다 그래서 기억나는 부분만 비교적 간단히 적어주었다

    '스파르타 > WIL(Weekly I Learned)' 카테고리의 다른 글

    2024-03-24  (0) 2024.03.24
    2024-03-17  (0) 2024.03.17
    2024-03-03  (0) 2024.03.03
    2024-02-25(수정필요)  (0) 2024.02.25
    2024-02-18  (0) 2024.02.19
Designed by Tistory.