목록2024/08/20 (1)
imhamburger 님의 블로그
스파크(Spark) - JSON파일을 읽어와 아파치스파크에서 파싱하기
JSON파일을 읽어와 스파크에서 파싱하기 1. JSON파일 불러오기jdf = spark.read.option("multiline","true").json('/home/data/movies')json파일 안에 데이터 형식 단일이 아닌 여러줄로 구성되어 있는 경우, multiline 값을 true로 줘야한다. 2. JSON파일 schema 확인하기jdf.printSchema()root |-- companys: array (nullable = true) | |-- element: struct (containsNull = true) | | |-- companyCd: string (nullable = true) | | |-- companyNm: string (nullable = tr..
스파크(Spark)
2024. 8. 20. 12:24