반응형 프로그래밍66 [Python] Python Image Crawling+Ubuntu18.04 ::우주를놀라게하자 개요 Image를 사용하여 data를 만들고 머신러닝을 학습시키기 위헤서 다량의 이미지 데이터가 필요해졌다. 알다시피 구글, 네이버 등에서 하나하나 데이터를 저정하는것이 시간이 상당히 오래걸리는 일이기 때문에 Crawling을 통해서 데이터를 수집하게 되었다. 참고로 나는 Beatifulsoup을 사용하지 않고 selenium만 사용해서 코드를 짜봤다.. 왜 Beatifulsoup을 사용하지 않은가에 대해서 의문이 있을텐데 내 경우는 아래와 같기 때문이다. (아래 이미지는 구글을 사용했으나 실질적으로 내가 긁어온 곳은 네이버이다...구글은 내가 한 방식으로는 안되기때문에...추가적으로 코드를 수정해서 구글도 되게끔 수정할 예정이다..) 구글에서 특정 단어를 가지고 입력을 하면 위와 같이 썸네일이 나오게 .. 2019. 8. 14. [Python] Python webCrawling+Ubuntu18.04 설정::우주를놀라게하자 구글이나 혹은 네이버에서 필요에 따라 다량의 사진을 받아올 경우가 있다. 그러한 상황에 맞춰서 사용할 수 있는 기술이 크롤링이다. 크롤링을 활용하기 전에 Selenim에 대해 소개하고 간단하게 웹을 띄우기까지 설정을 맞추는 방법에 대해서 설명하겠다.(*참고로...난 좀 헤맸다...다른 사람은 이런 불상사가 없길 바라며, 꼼꼼하게 적으려한다.) 1.Selenium 소개 Selenium은 웹 브라우저를 컨트롤하여 웹 UI를 다루는 도구중에 하나이다. Selenium 라이브러리 내의 webdriver에는 각 브라우져의 타입별로 구성되어 있는 Brower Driver가 포함되어 있다. 동작원리는....일단 패스한다...나도 어려워서 잘 모르겠다... 일단 Selenium을 설치해보자 Selenium 설치 pip.. 2019. 8. 9. [네트워크]라우터란?라우터의 구조::우주를놀라게하자 라우터란 무엇인가? 라우터:패킷을 목적지까지 전달하기 위해 다음 네트워크 지점을 결정하는 장치나 컴퓨터 내의 소프트웨어(패킷은 아래 라우팅 게시물에 설명해놨음) 인터넷을 작동시키는 네트워크 하드웨어 구성 요소는 라우터(router)이다. 인터넷의 핵심은 IP 패킷들이 여러 개의 다른 라우터를 통해 정확히 목적지로 라우팅될 수 있다는 것이다.(*즉, 인터넷은 라우터의 기능 없이는 존재할 수 없다) 라우터는 사실상 여러 개의 통신 회선에 연결된 특수한 컴퓨터로서 한 회선으로부터 받은 패킷을 조사하여 그 패킷의 최종 목적지에 가까운 회선으로 패킷을 라우팅하도록 프로그램이 되어있다. 즉, 라우터의 목적은 네트워크들을 함께 연결하기 위함이다. 또한 만약 원하는 통신 회선이 손상이 되었거나 트래픽이 많을 경우, 패.. 2019. 8. 8. [네트워크]인터넷이란? 인터넷의구조::우주를놀라게하자 인터넷의 정의 우리의 컴퓨터를 ISP(Internet Service Provider)에게 연결할 때 우리는 WAN의 일부분이 된다. 우리의 컴퓨터는 기존의 LAN의 일부분일 수도 있고 독립적인 컴퓨터일 수도 있다. 하지만 어떤 경우이든 대부분은 인터넷에 연결되어있다. LAN의 경우는 보통 전화 회사로부터 ISP에 대여된 통신 회선을 통해 인터넷에 연결되어있다.(전화선->모뎀: 이러한 구조는 기존의 전화 시스템을 통하여 ISP LAN에 연결된 구조) 케이블 모뎀으로 연결되어 있다면 케이블 TV 시스템을 통해서 ISP에 연결된 것이다. 인터넷사업자, 즉 인터넷을 깔아주는 회사는 POP(Point-Of-Presence)라고 불리는 교환 센터를 가지고 있다이 POP은 다시 더 큰 POP을 가지고 있으며 보다 고.. 2019. 8. 8. [네트워크] 라우팅이란? 무엇인가? ::우주를놀라게하자 라우팅이란 무엇인가?? 라우팅은 우리가 네트워크에서 특정 경로로 데이터를 보낼때 사용되는 과정을 말한다. 라우팅은 어떤 네트워크 안에서 데이터를 최적의 경로를 선택하는 과정을 말한다. 여기서 최적의 경로는 최단거리가 될 수도 있고, 가장 빠른 시간에 전달하는 것으로 계산될 수 도 있다. 예시를 들자면 우리가 서울에서 부산을 간다고 했을때 버스를 타고 갈 수도 있고, 비행기를 탈 수도 있고, 기차를 탈 수도 있다. 이러한 경로들 중에서 하나를 선택하는 것이 라우팅이라 할 수있다. 지도앱을 사용해서 경로를 검색할때 여러가지 경로가 나오기 전에 로딩시간이 있는데 이러한 로딩시간을 라우팅이라고 할 수도 있다. 라우팅의 구성요소*패킷: 데이터를 전송하는 하나의 단위 즉, 한 네트워크 회선에서 데이터 한 묶음의 단.. 2019. 8. 3. [Python] Ubuntu + Django를 활용하여 채팅 프로그램 만들기 2편 ::우주를놀라게하자 2. 채팅 서버 구축새 폴더,파일을 만듭니다 chat/templates/chat/index.html. 앱 디렉토리는 다음과 같다. templates로 만드는 이유는 django자체에서 templates라는 폴더를 인식하게끔 되어 있기 때문에 이름은 맞춰주고 하위에 app과 같은 이름의 폴더를 만들고 내부에 우리가 만들 페이지의 html을 구성해준다.chat/ __init__.py templates/ chat/ index.html urls.py views.pychat앱이 설치 되었다는 사실을 프로젝트에 알릴 필요가 있다. 편집 DjangoChat/settings.py파일을 추가합니다 'chat'받는 INSTALLED_APPS 에 우리가 만든 app 즉, chat을 추가해서 최상위 프로젝트에게 알려줍니다.#.. 2019. 7. 16. 이전 1 ··· 7 8 9 10 11 다음 반응형
