시그모이드

[Continuous/SAC] 1D Hovering Drone: 고도를 유지하려는 드론 (PID 제어를 AI로 대체하는 컨셉)

1D Hovering Drone + SAC (고도 유지 제어)로봇 제어의 핵심인 PID 제어를 강화학습으로 대체하는 시나리오입니다. 연속 행동 공간(Thrust)을 다루므로 SAC가 적합합니다.물리 모델: F=ma → a=mThrust−Gravity​상태: 현재 높이(y), 수직 속도(vy​)목표: 높이 1.0 유지import gymfrom gym import spacesimport numpy as npimport torchimport torch.nn as nnimport torch.optim as optimimport torch.nn.functional as Ffrom torch.distributions import Normalimport matplotlib.pyplot as plt# ---------..

[Discrete/PPO] Dynamic Grid World: 움직이는 장애물을 피해 목표로 가는 로봇 (동적 환경 계획)

1. Dynamic Grid World + PPO (동적 장애물 회피)단순한 미로 찾기가 아니라, 움직이는 장애물(Patrolling Obstacle)을 피해야 하므로 타이밍을 학습해야 합니다. 로봇 내비게이션 기초와 연결됩니다. import gymfrom gym import spacesimport numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torch.distributions import Categoricalimport matplotlib.pyplot as pltimport matplotlib.patches as patches# ----------------..

Behavior Cloning (모방 학습)

문제 개요배경: 강화학습은 초기에 탐색 비용이 많이 듭니다. 로봇 팔을 무작위로 휘두르면 고장 날 수 있죠. 그래서 **사람이 조종한 데이터(Expert Demo)**를 미리 학습시켜 초기 성능을 확보합니다.목표: CartPole-v1 환경에서, 사전에 수집된 '전문가 데이터(State, Action)'를 사용하여 지도 학습(Supervised Learning) 방식으로 정책 네트워크를 학습시키시오.조건:데이터 생성: 학습된 DQN 모델을 이용해 에피소드 5개 분량의 (state, action) 쌍을 수집하시오. (코드에 포함)학습: 수집된 데이터를 DataLoader로 만들고, CrossEntropyLoss를 사용하여 새 네트워크를 학습시키시오.평가: 모방 학습된 모델로 게임을 실행하여 점수를 출력하시..

OpenAI Gym 인터페이스를 따르는 Custom Environment 구현

문제 개요상황: 회사에서 자체 개발한 로봇 시뮬레이터가 있다고 가정합니다. 이를 강화학습 에이전트가 학습할 수 있도록 OpenAI Gym(gym.Env) 인터페이스로 래핑(Wrapping)해야 합니다.목표: 5x5 Grid World 환경을 Class로 구현하시오.필수 구현 메서드:__init__: Action Space(이산), Observation Space(Box 또는 Discrete) 정의.reset: 에이전트를 시작 위치로 초기화하고 첫 상태 반환.step(action): 행동을 받아 다음 상태, 보상, 종료 여부, 정보 반환.render: 현재 상태를 텍스트로 출력.환경 규칙:맵: 5x5 (0: 빈곳, 1: 장애물, 2: 목표)보상: 목표 도달(+10), 장애물 충돌(-5), 일반 이동(-0...

2D Grid Map에서의 A* 최단 경로 탐색

문제 개요환경: 0(이동 가능)과 1(장애물)로 구성된 N×M 2차원 그리드 맵.목표: 시작점(Start)에서 목표점(Goal)까지 충돌 없이 도달하는 최단 경로 좌표 리스트 반환.제약: 4방향(상하좌우) 이동만 허용 (대각선 이동 불가 가정).핵심 평가 항목:Heuristic 함수 설계: 맨해튼 거리(Manhattan Distance) 등을 적절히 사용하여 탐색 효율을 높였는가?자료구조 활용: Priority Queue (최소 힙)를 사용하여 $O(1)$로 최소 비용 노드를 꺼낼 수 있는가?예외 처리: 도달 불가능한 경우나 맵 밖으로 나가는 경우를 처리했는가?import heapq# -----------------------------------# 1. Heuristic Function# -------..

CartPole-v1 환경에서의 강화학습 에이전트 구현

# 기본 강화학습 환경 및 시각화 도구 설치pip install gym==0.26.2 gym[classic_control] torch numpy matplotlib 문제 개요환경: OpenAI Gym의 CartPole-v1목표: 카트 위에 세워진 막대가 넘어지지 않도록 중심을 잡는 에이전트 학습.성공 기준: 최근 100 에피소드의 평균 점수가 195점 이상 도달 시 조기 종료(Early Stopping) 및 모델 저장.DQN 필수 구현 요구사항Replay Buffer 구현: deque 등을 사용하여 경험(Experience)을 저장하고 랜덤 배치로 샘플링하는 클래스를 직접 구현하시오.Q-Network 모델링: PyTorch를 사용하여 입력(State)에 대한 행동(Action) 가치를 출력하는 신경망을 ..

서론이탈리아 요리의 정수는 바로 파스타 소스에 있습니다. 단순해 보이는 재료들이 어떻게 그토록 깊고 풍부한 맛을 만들어내는지, 그 비밀을 알아보겠습니다. 정통 이탈리아 가정에서 세대를 이어 전해져 내려온 파스타 소스 제조법을 통해, 여러분도 집에서 레스토랑 수준의 완벽한 파스타를 만들 수 있습니다.이탈리아 파스타 소스의 기본 철학이탈리아 요리의 핵심은 '신선하고 좋은 재료를 최소한으로 가공하여 본연의 맛을 살리는 것'입니다. 파스타 소스 역시 이 철학을 그대로 따릅니다. 복잡한 양념이나 인공 조미료에 의존하지 않고, 몇 가지 신선한 재료만으로도 놀라운 맛을 창조해냅니다.소스 선택의 기본 원칙파스타 형태에 따른 소스 매칭: 긴 파스타에는 오일 베이스나 크림 소스, 짧은 파스타에는 토마토 소스나 라구 소스계..

미니멀 라이프의 진정한 의미 이해하기미니멀 라이프는 단순히 물건을 적게 소유하는 것을 의미하지 않습니다. 진정한 미니멀 라이프는 자신에게 정말 중요한 것에 집중하기 위해 불필요한 것들을 제거하는 삶의 철학입니다. 이는 물질적 소유뿐만 아니라 시간, 에너지, 관계, 그리고 생각의 영역까지 포함하는 포괄적인 개념입니다.현대 사회에서 우리는 끊임없이 더 많은 것을 소유하고, 더 많은 일을 하며, 더 많은 관계를 유지해야 한다는 압박을 받고 있습니다. 하지만 이러한 과도한 축적은 오히려 우리의 삶을 복잡하게 만들고, 진정으로 중요한 것들로부터 우리의 주의를 분산시킵니다.미니멀 라이프를 실천하는 것은 의식적인 선택의 과정입니다. 무엇을 소유할지, 무엇에 시간을 투자할지, 어떤 관계를 유지할지에 대해 신중하게 결정..

현대인들의 수면 문제는 단순히 개인의 문제를 넘어서 사회적 이슈로 대두되고 있습니다. 스마트폰과 각종 디지털 기기에 둘러싸인 일상 속에서 양질의 수면을 취하는 것은 점점 더 어려워지고 있죠. 하지만 침실 환경을 체계적으로 개선한다면 누구나 깊고 편안한 잠을 잘 수 있습니다.수면의 중요성과 환경의 역할수면은 우리 몸의 회복과 재생을 담당하는 핵심 시간입니다. 뇌는 잠을 자는 동안 하루 종일 축적된 독소를 제거하고, 기억을 정리하며, 호르몬 분비를 조절합니다. 이러한 중요한 과정들이 원활하게 이루어지려면 적절한 환경이 뒷받침되어야 합니다.세계보건기구(WHO)에 따르면 성인은 하루 7-9시간의 수면이 필요하며, 수면의 질은 양만큼이나 중요합니다. 침실 환경이 수면의 질에 미치는 영향은 생각보다 훨씬 크며, 작..

안녕하세요! 요즘 AI와 대화하는 시대가 되었는데, 여러분은 챗GPT를 얼마나 잘 활용하고 계신가요? 똑같은 질문을 해도 어떻게 물어보느냐에 따라 답변의 퀄리티가 천차만별이라는 걸 아시나요? 오늘은 챗GPT와 더 효과적으로 소통할 수 있는 프롬프트 활용법을 알려드릴게요!프롬프트가 뭐길래?프롬프트는 쉽게 말해 AI에게 내리는 명령어예요. 마치 친구에게 부탁할 때도 구체적으로 말해야 원하는 결과를 얻는 것처럼, AI에게도 명확하고 구체적인 지시를 해야 좋은 답변을 받을 수 있어요.예를 들어 비교해볼까요?나쁜 예: "요리 알려줘"좋은 예: "30분 안에 만들 수 있는 한국인 입맛에 맞는 파스타 레시피를 초보자도 따라할 수 있게 단계별로 알려줘"차이가 확실히 느껴지시죠?효과적인 프롬프트 작성 5단계1단계: 역할..