2024/08 28

pinball loss란

Qualitile Prediction을 위해 사용되는 Loss function 50퍼 미만인 분위수의 경우 분위수가 작아질수록 예측값이 실제값보다큰 경우 loss가 커지지만작은 경우 loss는 작아진다즉 50% 미만 분위수에 대한 예측값이 실제값보다 낮도록 학습이 될 것임분위수가 낮아질수록 더 낮은 예측값을 얻게 될 가능성이 크도록 학습 될 것임 50퍼 초과인 분위수의 경우분위수가 커질수록 예측값이 실제값보다큰 경우 loss가 작아지지만작은 경우 loss는 커진다즉 50% 초과 분위수에 대한 예측값이 실제값보다 높도록 학습이 될 것임분위수가 높아질수록 더 높은 예측값을 얻게 될 가능성이 크도록 학습 될 것임

etc 2024.08.29

github dependabot

repo에 커밋을 날렸는데, 풀리퀘가 5개정도 생성되어있더라고요 dependabot이라는 친구가 지속적으로 dependencies 문제로 풀리퀘를 날리고 있음을 확인할 수 있다  What is Dependabot?dependabot은 repository의 종속성들을 확인해 보안 이슈가 발생하는 것을 관리해주는 도구repository의 Setting의 Code security and analysis 탭에서 쉽게 Enable / Disable 가능하다 어떻게 해결?pr merge하면 됨 ⇒ 하지만 버전 업데이트가 프로젝트에 미치는 영향 파악해야 함의존성의 의존성에서 문제가 발생했을 때, 자동으로 업그레이드 하지 못함수동으로 충돌을 해결하는 방법이 있다지금은 dependabot pr들이 자동 merge가 안되..

etc 2024.08.29

[논문] Gaze360: Physically Unconstrained Gaze Estimation in the Wild

ICCV 2019  ·  Petr Kellnhofer, Adria Recasens, Simon Stent, Wojciech Matusik, Antonio Torralba💡 초록Gaze360 = 강력한 3D 시선 추정을 위한 대규모 gaze-tracking dataset & method기존 모델에 시간 정보를 포함하여 estimate of gaze uncertainty를 직접 출력하도록 확장ablation study 통해 성능 입증, gaze benchmark datasets과 교차 평가슈퍼마켓 환경에서 고객의 주의 추정하는 응용 프로그램 시연💡 서론2D 신체 자세 및 얼굴 추적과 같은 관련 인간 모델링 문제 ⇒ 비약적인 발전gaze estimation ⇒ large, diverse annotated ..

etc 2024.08.29

오일러각

북동천(NEU: North-East-Up) 좌표계를 사용합니다. 이는 일반적으로 지리적 방향을 기반으로 하는 좌표계로, '북쪽(North)'이 X축, '동쪽(East)'이 Y축, '상향(Up)'이 Z축입니다.https://ko.wikipedia.org/wiki/오일러_각오일러 각에서 자세를 표현할 때, 좌표계의 회전 순서는 먼저 Z축(Yaw), 그 다음 Y축(Pitch), 마지막으로 X축(Roll) 주변으로 정의됩니다.Yaw(요): Z축 주위의 회전, 주로 방위각을 나타냅니다.Pitch(피치): Y축 주위의 회전, 위아래 각도를 나타냅니다.Roll(롤): X축 주위의 회전, 좌우 기울기를 나타냅니다.롤 각도의 범위는 ±180도입니다.피치 각도의 범위는 ±90도로 제한됩니다. 피치가 ±90도를 넘어가면, ..

etc 2024.08.29

IMU (Internal Measurement Unit)

💡 개념관성 측정 장치(Inertial Measurement Unit)**가속도 센서(Acceleration Sensor), 각속도 센서(Gyroscope, 자이로스코프)**로 이루어져 있으며(6축) + 지자기센서까지 포함하기도(9축)자이로스코프: 각속도(rad/s)를 측정하고 시간당 몇도(degree)를 회전했는지가속도계: 가속도(m/s^2)를 측정하고 초기값을 계산할 때 중력 가속도를 분해하여 얼마나 기울어졌는지지자기 센서: 자북을 기준으로 자기선속의 세기를 측정하여 자북을 기준으로 얼마나 틀어졌는지 💡 가속도 센서물체에 작용하는 가속력과 진동력, 충격력 등 동적 힘 발생 시 가속도의 변화(단위: m/s^2) 순간적으로 감지속도를 적분하여 물체의 진행 방향에 대한 속도를 계산시간에 따라 오차 누적..

etc 2024.08.29

LLaVA-OneVision (opensource VLM)

LLaVA-NeXT의 다음 버전인 LLaVA-OneVision이 나왔다고 들었다.https://github.com/LLaVA-VL/LLaVA-NeXT GitHub - LLaVA-VL/LLaVA-NeXTContribute to LLaVA-VL/LLaVA-NeXT development by creating an account on GitHub.github.com LLM에 대해 아는게 거의 없지만 논문을 읽어보기로 했다 LLaVA 관련 논문 리뷰들llava 관련 글 1llava 관련 글 2llava-next 관련 글 1llava-next 관련 글 2 목표- aims to fill gap by demonstrating state-of-the-art performance across a broad range of..

AI/LLM 2024.08.15

openai whisper - STT model

https://github.com/openai/whisper GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak SupervisionRobust Speech Recognition via Large-Scale Weak Supervision - openai/whispergithub.com openai 에서 만든 STT 모델. 챗지피티의 음성인식 기능도 이거 기반으로 구현되었다고 함주 관심사인 한국어 성능은 large model의 경우 word error rate가 5퍼 정도밖에 안된다물론 cpu에서, 가볍고 빠른 속도를 얻고 싶기에 fast-whisper(https://github.com/SYSTRAN/faster-whisper) ..

speech 2024.08.15

OpenVoice - TTS model

https://github.com/myshell-ai/OpenVoice GitHub - myshell-ai/OpenVoice: Instant voice cloning by MyShell.Instant voice cloning by MyShell. Contribute to myshell-ai/OpenVoice development by creating an account on GitHub.github.comhttps://arxiv.org/pdf/2312.01479  오픈소스 TTS 모델 중 그나마 쓸만해보이는 모델 (보다는 프레임워크에 가까운..) Flexible Voice Style Control (emotion, accent, rhythm, pauses, )Zero-Shot Cross-Lingual V..

speech 2024.08.14