Cloud-Migrator v0.3.0 release #11
Comments
yunkon-kim
assigned yunkon-kim and powerkimhub and unassigned yunkon-kim and powerkimhub
|
@yunkon-kim
메가존이 필요한 것 요약
|
cb-spider
cm-grasshopper
Related Issue: cloud-barista/cm-grasshopper#4 예로 telegraf 를 설치하려고 할때 apache2 를 설치한다고 할 경우 설치하고자 하는 목록중에 httpd, apache, apache2 중 하나가 매칭 될 경우 패키지 매니저를 통해 설치가 진행될 수 있도록 하는 방안으로 진행하려고 합니다 사용자 스크립트도 비슷한 방식으로 등록 가능할 것으로 보입니다.
|
|
안녕하세요.
해당 링크에 spider 의 price info 관련 지원 현황 정보가 나와있습니다. AZURE 와 IBM 의 경우 일부 spec 정보를 미지원하는 이슈가 있습니다. |
|
안녕하세요! @yunkon-kim cloud-migrator 3.0 release 와 관련하여 작성해주신 Cloud-Migrator v0.3.0 연동 시나리오에서 cm-ant 에 대한 내용이 누락되어 질문드립니다.
v0.3.0 연동 시나리오 관점에서 상기 두가지 사항에 대한 확정 부탁드립니다. 현재 ant 에서 가능한 기능을 바탕으로 제안 가능한 시나리오는 2가지 흐름입니다. 1. 가격 추정 시나리오 1.1 사용자 컴퓨팅 인프라 마이그레이션 시 목표 추천 모델 스펙을 바탕으로 인프라 추정 가격 정보 수집 및 조회 자세한 흐름은 다음과 같은 흐름으로 예상됩니다. 1.1.1 추천 모델 스펙으로 인프라 추정 가격 정보 수집 ( spider 시스템 호출을 통하여 ant 에 가격 정보를 수집, 사용자가 입력하는 정보는 없을 것으로 예상) 1.2.1 마이그레이션 된 컴퓨팅 인프라 사용 비용 정보 수집 ( spider 시스템 호출을 통하여 ant 에 비용 정보를 수집) 가격 추정 api 에서 현재는 수집과 조회가 호출 순서가 정해진 api 로 분리되어 있습니다. 시나리오에서 수집과 조회의 과정은 웹 콘솔 상에서 사용자의 개입 없이 연속된 api 호출을 통해 발생하는 방식을 고려하고 있습니다. 2. 성능 검증 시나리오 2.1 마이그레이션 완료 후 마이그레이션 된 인프라에 사용자 지정 성능 검증 시나리오를 바탕으로 성능 검증 수행, 결과 조회 자세한 흐름은 다음과 같은 흐름으로 예상됩니다. 2.1.1 마이그레이션 완료 후 마이그레이션 된 인프라에 성능 검증 metrics 수집을 위한 에이전트 설치 (옵션) 감사합니다. |
|
@hippo-an (@seokho-son double-check 부탁 드립니다.) 안녕하세요. 자세히 이슈를 공유해 주셔서 감사합니다. 먼저, 통합 대상에 대해 말씀드리니 참고 하시면 될 것 같습니다.
다음은 자세히 설명해 주신 "가격 추정 시나리오"를 기존 시나리오에 적용해본 (안) 입니다. 아울러, 등록/조회를 수행하는 서브시스템들의 관계를 명확히 하고자 문의를 드립니다. 아래 Q1, Q2, ... 으로 표기한 부분에 대해 확인 부탁드립니다.
추가로 용어들이 아래와 같이 이해하면 될까요? 개인적으로 애매하다는 생각이 들어 확인 차 문의드렸습니다. 마지막으로, 지난 회의에서 "CM-Ant의 Scope은 차기 워크샵에서 논의/협의 필요"한 것으로 정리되었습니다. |
|
@yunkon-kim 명확한 답변 감사합니다. 질문 사항에 대한 답변입니다. Q1. Butterfly에서 Ant로 함께 가격 추정 정보를 등록을 요청(with 목표 모델 (스펙?))하면, 이후 조회 성능을 위해 Ant가 Spider API를 호출하는 흐름인지요?
Q2. Butterfly에서 Ant에 등록된 가격 정보를 조회하는 것일까요?
Q3. Butterfly에서 Ant로 비용 정보 등록을 요청(with params: migration ID, cost resources 등)하면, 이후 조회 성능을 위해 Ant가 Tumblebug/Spider API 중 어느 것을 호출하는지요?
Q4. Butterfly에서 Ant에 등록된 사용 비용을 조회 하는 것 일까요?
등록보단 수집으로 표현하는게 의미 전달이 명확했을 것 같네요. 수집으로 정정하도록 하겠습니다. 아울러 용어에 대해 이해하신 바가 맞습니다. |
|
@hippo-an 확인해 주셔서 감사합니다! 본문에 아래 시나리오를 추가했고요. 기존과 구분하기 위해 별도의 시나리오로 추가해 두었습니다.
|
|
Cloud-Migrator v0.3.0 통합 및 릴리스를 위한 Sequence Diagrams을 공유 드립니다.
하지만, 여전히 보완이 필요한 부분들이 있습니다. 담당 파트를 검토해보시고, 개선이 필요한 부분에 대해 의견과 도움을 부탁 드립니다. 🤗 개선/보완 사항들은 PR로 올려주시면 좋을 것 같습니다. (참고) 추후, Cloud-Migrator v0.3.0 통합 및 릴리스 일정을 재 조정하여 공유 드리겠습니다. 감사합니다. |
|
@yunkon-kim cloudbaristaorg/cb-spider:0.10.0 cloudbaristaorg/cm-beetle:edge 그리고, cb-mapui와 mc-data-manager는 필수로 필요한 서브 시스템은 아니라서 cm-mayfly에서 구축할 필요가 없어 보여서 docker compose의 기본 구축에서 제거를 고려 중입니다.
참고로, 위 두 시스템은 기본 구축에서는 제외 예정이지만 필요한 경우를 대비해 별도로 설치 및 실행할 수 있도록 별도의 도커 컴포즈 파일(docker-compose-sub.yaml)을 제공하려고 생각 중이기는 합니다. |
|
정리해 주셔서 감사합니다. 테스트를 위해서는 위에 기재해 주신 버전으로 진행해주시고요. 최종적으로는 cb-xxx은 0.10.x, cm-xxx 0.3.x 버전들을 구동하는 형태로 cm-mayfly 릴리스 진행하여 주시기 바랍니다. cb-mapui의 경우 별다른 이슈가 없으시다면 기본 구축에 포함하여 주시기 바랍니다. |
|
@dev4unet @hippo-an (cc. @MZC-CSC @ish-hcc @powerkimhub @seokho-son @sykim-etri @innodreamer) 서브시스템 버전 현황을 공유드립니다. (📍 변경 표시) 이후 통합 및 릴리스 작업에 참고하시기 바랍니다. cloudbaristaorg/cb-spider:0.10.0 csescsta/cm-butterfly-api:edge 메인테이너분들께 안내 말씀 드립니다.
|
@yunkon-kim cloudbaristaorg/cm-butterfly-api:0.2.2 상기 도커 이미지가 v0.3.0 배포 형상이 될 버전(수정사항이 없는 경우)입니다. CM-Mayfly 의 v0.3.0 릴리즈 이전 테스트에 사용될 이미지 버전 또한 위와 같을 것으로 예상합니다. |
|
@dev4unet @hippo-an (cc. @MZC-CSC @ish-hcc @powerkimhub @seokho-son @sykim-etri @innodreamer) Cloud-Migrator v0.3.0 통합 및 릴리스와 관련한 최종 스케줄을 공유드립니다.
Important
변경된 서브시스템 버전 현황을 공유드립니다. 이후 통합 및 릴리스 작업에 참고하시기 바랍니다. 📍 변경 표시, ☑️ 완료 표시 cloudbaristaorg/cb-spider:0.10.0 메인테이너분들께 안내 말씀 드립니다.
|
|
@ish-hcc @powerkimhub @seokho-son @sykim-etri @innodreamer @dev4unet @hippo-an @MZC-CSC (cc. @dongjae) Mayfly를 통한 Cloud-Migrator platform 구동 및 portal 접속 현황을 공유드립니다. 전체 테스트를 위해 2가지 문의드립니다.
위 사항 파악 후, 기존에 안내드렸던 사용자 시나리오 대로 테스트를 진행하면서 필요한 사항들을 문의드리도록 하곘습니다.
(현황 참고) Cloud-Migrator platform portal 접속 및 로그인: http://localhost/auth/login Cloud-Migrator platform portal 메인 페이지: |
|
@yunkon-kim 웹 기반 간단한 테스트는 테스트 시나리오의 [세부 시나리오] 탭의 내용을 참고하시면 조금은 도움이 되리라 봅니다. |
|
@MZC-CSC 네, 감사합니다. 테스트 진행에 활용하도록 하곘습니다. |
|
@yunkon-kim @dev4unet @MZC-CSC |
|
cm-mayfly v0.2.8 릴리스했으며, cm-damselfly:0.2.2 버전이 적용되었으며, ./mayfly를 ./cm-mayfly로 잘 못 설명하고 있는 릴리스 문서와 README.md 내용 수정했습니다. (cloud-barista/cm-mayfly#43) https://github.com/cloud-barista/cm-mayfly/releases/tag/v0.2.8 |
|
@yunkon-kim @MZC-CSC Task Componet 목록에서 특정 Task Componet를 선택하고
소스내에 들어있는 lib/airflow/example/task_component 파일들이 아닙니다. 실제 Task Component는 GET http://127.0.0.1:8083/cicada/task_component/{Task_Component_ID} 를 통해서 조회되어야 합니다.
|
@ish-hcc
현재 시나리오 관점에서 흐름에 문제가 있는 부분은 아닌 것으로 생각되어 통합 이후에 수정 사항으로 리스트업 해서 진행하는 것으로 해도 괜찮을까요? |
|
@hippo-an 넵 시나리오 관점에서는 해당되지 않아 나중에 수정되어도 괜찮을 것 같습니다. 감사합니다! |
|
@yunkon-kim 노션 이슈가 Password 입력 이슈를 말씀하시는거면 저희쪽 실수네요^^;;; |
|
@MZC-CSC @yunkon-kim SSH 관련 이슈는 확인하여 수정중에 있습니다. 테스트를 진행하면서 발견된 버그가 있는거 같아서 말씀드립니다. Source Services 에서 Connections 에 보이는 항목 중
다시 말씀드리면
아래는 nfs-server를 선택하였다가 web-server를 선택하여 Collect Infra를 시도하였을때 Honeybee에서 보이는 로그입니다. |
|
@powerkimhub @innodreamer @seokho-son @hippo-an NCP VPC로 인프라 마이그레이션을 수행하는 과정에서 이슈가 있는 것으로 보여 문의를 드립니다. 분석해본 바로는 NCP VPC에 대해 추천된 VM spec과 VM image를 활용해 비용을 산정하는 과정에서 목표 인프라가 추천되었는데 Produc Family에 SVR이 없는 부분에 확인이 필요합니다. 혹시, 짚히는 부분이 있으시면 공유해 주시기 바랍니다.
[
{
"Name": "rehosted-ip-10-0-15-222",
"Description": "a recommended virtual machine",
"CommonSpec": "ncpvpc+kr+svr.vsvr.hicpu.c002.m004.net.hdd.b050.g002",
"CommonImage": "ncpvpc+kr+ubuntu20.04"
},
{
"Name":"rehosted-ip-10-0-3-192",
"Description": "a recommended virtual machine",
"CommonSpec": "ncpvpc+kr+svr.vsvr.hicpu.c002.m004.net.hdd.b050.g002",
"CommonImage": "ncpvpc+kr+ubuntu20.04"
}
]
(다음은 관련 Full log 입니다.) |
[추신]
|
|
@powerkimhub 감사합니다! 가격 정보 부분에 해당되는 내용으로 이해가 되고요. 인프라 추천, 생성/배포 시 사용하는 Spec 과는 구분되어지는 것으로 보입니다. 잘 이해한 것이 맞을까요? (위 내용이 맞다면) 통합 및 테스트 목표 항목이 "3종 CSP에 대해 컴퓨팅 인프라 마이그레이션"이고, AWS, Azure는 비용 예측 정보를 이미 확인한 상태이니 적절한 방향으로 선택하시면 될 것 같습니다.
|
|
로그를 보시면 현재는 ComputeInstance 로 product family 를 설정해 보내고 있습니다. 스파이더의 추상화를 적절히 활용했는데요. 스파이더 버전 업데이트에 맞춰 ncp 의 경우 product family 를 Server 로 명시하는 1안으로 진행하도록하겠습니다. |
|
@ish-hcc @powerkimhub @seokho-son @sykim-etri @innodreamer @dev4unet @hippo-an @MZC-CSC (cc. @dongjae) (현재 진행 상황으로 미루어 볼 때) 충분한 통합 및 테스트가 진행되었기 때문에 내일은 가볍게 버전 정보를 v0.3.0으로 수정 후 릴리스 찍으면 될 것 같습니다.
우선 통합 및 테스트를 완료하고, 공지 드리도록 하겠습니다. |
|
(cc. @hippo-an @powerkimhub ) cm-ant v0.2.8을 적용하여 인프라 마이그레이션 통합 테스트 수행 중에 "ProductFamily 'Server' is Not Included in the ProductFamily."가 나타났습니다. 유선상으로 계획 변경하여 2안으로 추진하고, 해당 사항은 이후에 해소하는 것으로 논의되었습니다.
(로그 참고) |
|
@ish-hcc @powerkimhub @seokho-son @sykim-etri @innodreamer @dev4unet @hippo-an @MZC-CSC (cc. @dongjae) 안녕하세요. Cloud-Migrator 플랫폼 v0.3.0 통합 테스트를 완료하였습니다 👏 서브시스템별 v0.3.0 릴리스 추진를 부탁드리며, 아래 항목들을 챙겨 주시기 바랍니다.
Tip
아래 버전을 참고하셔서 위에서 아래 순서대로 진행해 주시기 바랍니다.
|
|
현재 일부 버전이 추가로 edge 버전에서 테스트가 진행되고 있기에 최종 태깅된 아래 버전으로 cm-mayfly v0.2.9 버전을 릴리스 했습니다. 참고로, v0.2.9 버전에는 setup 커맨드와 간단한 사용 가이드 추가되었으며 tumblebug의 init과 비슷하다고 보면됩니다. 필요한 CSP들의 Credential 정보 등록이 끝났으면 loadassets 호출 |
|
@MZC-CSC 업데이트 현황을 공유해 주셔서 감사드립니다. 확인차 문의 드립니다. 공유해주신 내용과 관련하여 추가로 테스트해야 할 부분이 있을까요? 있으시면 v0.3.0 릴리스를 잠시 hold 하려고 합니다 :-) |
|
@yunkon-kim 통합 시나리오는 cb-tumblebug의 init 스크립트로 기본 리소스를 등록하는 방향으로 진행했기에 v0.3.0 통합의 핵심 기능 보다는 보조 기능이라서 추가된 기능은 무시하고 현재 상태로 v0.3.0 릴리스를 진행하면 될 것 같습니다. |
|
@MZC-CSC 넵! 확인 감사합니다. |
|
도커 이미지들이 모두 올라온 것을 확인해서 아래 버전으로 cm-mayfly v0.3.0 버전 릴리스했습니다. |
|
Released Cloud-Migrator v0.3.0: https://github.com/cloud-barista/cloud-migrator/releases/tag/v0.3.0 |
🎉 Announcing the Release of Cloud-Migrator Platform v0.3.0Cloud-Migrator Platform v0.3.0 릴리스 완료되었습니다. 모두 고생 많으셨습니다! |
Cloud-Migrator v0.3.0 릴리스 추진 계획
릴리스 일정 및 대상
2024. 11. 25(월)2024. 11. 14(수)통합 및 연동 테스트 방법 (담당: 전체)
통합 및 연동 테스트 목적 (v0.3.0)
Cloud-Migrator v0.3.0 단일 플랫폼으로 시연 예정👉 포털 기반의 통합 시험 절차 및 결과서로 대체릴리스 및 통합 세부 일정
📌 (Live 문서) Cloud-Migrator v0.3.0 release 계획 및 현황
🔈 일정에 이슈가 있는 경우, 사전에 이슈화 및 조율하여 주십시오.
🙏 연관된 API 그룹/세트의 개발이 완료될 때 마다, 상시/소규모 pre-release/release 추진하여 주시길 부탁드립니다.
👉 서브시스템들의 API docs: https://cloud-barista.github.io/api/
서브시스템간 연간 관계 및 테스트/통합 순서
🤗 다음은 서브시스템간 연관 관계 및 테스트/통합 순서를 간략히 정리한 자료입니다. 참고하시기 바랍니다.
통합 주요 기능 및 관계도
서브시스템간 상호 작용 및 흐름
🧜♀️ Sequence Diagrams: https://github.com/cloud-barista/cloud-migrator/blob/main/docs/sequence-diagrams-for-user-scenarios.md
Important
작성된 흐름을 바탕으로 의견을 나누고, 원활하게 통합하기 위해 작성된 자료입니다.
아래 서술된 연동 시나리오를 자세한 표현한 자료입니다.
Note
여전히 개선이 필요한 자료입니다. 상호 작용 및 흐름에 대해 점차 개선해 나가면 좋겠습니다.
담당 파트를 검토 후, 개선이 필요한 부분들에 대한 의견과 도움을 부탁드립니다.
개선/보완 사항들은 PR로 오픈 후, 건 별로 논의하면 좋을 것 같습니다.
Warning
다만, Sequence Diagram 작성 자체에 지나친 노력를 기울이지 않았으면 합니다.
Cloud-Migrator v0.3.0 연동 시나리오
[운영자] 환경 구성
[사용자] 컴퓨팅 인프라 마이그레이션
[사용자] SW 마이그레이션 (TBD)
[사용자] 컴퓨팅 인프라 마이그레이션 및 가격/비용 추정
저장소별 추진 사항 (담당: 각 저장소 메인테이너)
저장소별 상세 추진 사항
Click to see details
서브시스템 개발 및 테스트
서브시스템 실행 지원
Dockerfile또는docker-compose.yaml} 제공 및 구동 방법 제공 (README.md 반영)서브시스템 문서화
서브시스템 Release 생성
Generate release notes를 통해 자동 생성되는 내용을 활용하시기 바랍니다.통합 플랫폼 릴리스
담당: ETRI 멤버
각 장소의 Pre-release v0.2.x 및 통합 테스트 수행사항을 바탕으로 통합 플랫폼 릴리스를 진행
연기된 사항
유의미한 마이그레이션 항목 및 목표 수립 예정 (2025년 초)
세부 내용
통합 시험 목표 및 대상 (TBD)
(10/10) 제3차워크샵 회의록
The text was updated successfully, but these errors were encountered: