欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

geotrellis使用(二十九)迁移geotrellis至1.1.1版

发布时间:2023/12/9 编程问答 66 豆豆
生活随笔 收集整理的这篇文章主要介绍了 geotrellis使用(二十九)迁移geotrellis至1.1.1版 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

目录

  • 前言
  • 升级过程
  • 总结
  • 一、前言

           由于忙着安装OpenStack等等各种事情,有半年的时间没有再亲密的接触geotrellis,甚至有半年的时间没能畅快的写代码。近来OpenStack折腾的稍见成效,历经九九八十一Failure后成功的在16台服务器上搭建了云平台,于是干了一件疯狂的事情——在OpenStack上创建建立几台虚拟机,并用他们搭建了Hadoop集群,完事将之前的geotrellis代码运行在集群上。一切看似很顺利,但是我是个有强迫症的人,一看geotrellis已经升级到了1.1.1版,那么我也就赶紧将自己的代码升级到此版本,于是有了本篇文章。

    二、升级过程

           从1.0版升级到1.1.1版变化不是非常大,主要是以下几个方面的变化:

    2.1 废弃spray,改用akka发布http服务

           之前geotrellis的习惯方式是使用spray来发布http服务,这样会造成总总的版本冲突,前面我还专门有写文章来探讨版本冲突及解决方案。1.1.1版直接使用akka发布http服务,而无需spray便少了很多冲突的可能性。build.sbt文件如下:

    import scala.util.Propertiesval gtVersion = "1.1.1" val scalaV = "2.11.8" val sparkV = "2.1.0" val hadoopV = "2.7.1" val akkaActorVersion = "2.4.17" val akkaHttpVersion = "10.0.3"name := "GeoTrellis-SJZX" scalaVersion := Properties.propOrElse("scala.version", scalaV) crossScalaVersions := Seq("2.11.8", "2.10.6") organization := "com.sjzx" licenses := Seq("Apache-2.0" -> url("http://www.apache.org/licenses/LICENSE-2.0.html")) scalacOptions ++= Seq("-deprecation","-unchecked","-Yinline-warnings","-language:implicitConversions","-language:reflectiveCalls","-language:higherKinds","-language:postfixOps","-language:existentials","-feature") publishMavenStyle := true publishArtifact in Test := false pomIncludeRepository := { _ => false }val geotrellis = Seq("org.locationtech.geotrellis" %% "geotrellis-accumulo" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-hbase" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-cassandra" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-s3" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-spark" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-spark-etl" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-shapefile" % gtVersion )val akka = Seq("com.typesafe.akka" %% "akka-actor" % akkaActorVersion,"com.typesafe.akka" %% "akka-http-core" % akkaHttpVersion,"com.typesafe.akka" %% "akka-http" % akkaHttpVersion,"com.typesafe.akka" %% "akka-http-spray-json" % akkaHttpVersion )val cluster = Seq("org.apache.spark" %% "spark-core" % sparkV,"org.apache.hadoop" % "hadoop-client" % hadoopV )val library = geotrellis ++ akka ++ clusterlibraryDependencies ++= libraryivyScala := ivyScala.value map {_.copy(overrideScalaVersion = true) }test in assembly := {}assemblyMergeStrategy in assembly := {case "reference.conf" => MergeStrategy.concatcase "application.conf" => MergeStrategy.concatcase "META-INF/MANIFEST.MF" => MergeStrategy.discardcase "META-INF\\MANIFEST.MF" => MergeStrategy.discardcase "META-INF/ECLIPSEF.RSA" => MergeStrategy.discardcase "META-INF/ECLIPSEF.SF" => MergeStrategy.discardcase _ => MergeStrategy.first }

           发布服务语句如下:

    import akka.http.scaladsl.Http Http().bindAndHandle(routes, host, port)

           其中host为本机ip,port为服务端口,而routes则为你定义的路由规则。定义方式如下:

    import akka.http.scaladsl.model.{ContentType, HttpEntity, HttpResponse, MediaTypes} def routes = pathPrefix(IntNumber / IntNumber / IntNumber) { (zoom, x, y) =>parameters('names,'mask ? "") { (names, maskz) =>complete {Future {val result = ...HttpResponse(entity = HttpEntity(ContentType(MediaTypes.`image/png`), result))}}}}

           可以看出基本与spray版本相同,只是此处引用的包均为akka的。不同的地方在于http的响应方式有变化,变为:

    HttpResponse(entity = HttpEntity(ContentType(MediaTypes.`image/png`), result))

           其中result为瓦片的字节数组。

           具体可以参考官方示例https://github.com/geotrellis/geotrellis-chatta-demo

    2.2 增加CollectionLayerReader查询瓦片方式

           如果需要根据范围或其他条件来查询瓦片集,之前版本只能通过LayerReader的方式,现增加了CollectionLayerReader的方式。其使用方式基本与LayerReader相同,唯一不同的是返回结果不再是RDD集合,而是Seq集合。从这一点也能看出CollectionLayerReader不再使用Spark调用瓦片,而是直接调用Accumulo或其他数据库中的瓦片数据,所以返回的不再是RDD集合。究竟两种方式哪种更好,我并未做大量的实验来进行测试,个人感觉CollectionLayerReader的方式可能更自由,速度也要稍微快些。以Accumulo为例,其创建方式如下:

    val instance = AccumuloInstance(config.getString("accumulo.instance"),config.getString("accumulo.zookeepers"),config.getString("accumulo.user"),new PasswordToken(config.getString("accumulo.password")) )val collectionLayerReader = AccumuloCollectionLayerReader(instance)

    三、总结

           本文并未包含过多的知识点,算是代码状态的一个回归吧。虽然部署OpenStack等运维层面的工作以及单片机、嵌入式等硬件层面的工作我都很喜欢,成功后都会给我带来深深的享受之感,其实我更喜欢写代码,一行行优美的如同艺术品的代码从大脑经过指尖展示在显示屏上,而后便能看到所有的事情全部按照自己预想的方式运行,这种快感是无法言表的。

           半年内也有很多人咨询我关于geotrelis的相关问题,有些我耐心的回答了,有些问的问题明显就是没有经过大脑的,用宝玉的话说:懒怠回答,只说几个字去看我的博客。有些人说看了我的博客之后学到很多,也有些人说没有讲清楚,所以我感觉可能是我真的表达的不太清楚,于是我后续可能再写一系列的博客针对geotrellis的各个部分或者功能来进行详细讲解,而不是像现在这样结合具体业务来进行分析,当然结合具体业务进行分析的方式也会继续进行。敬请期待!

    Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html

    转载于:https://www.cnblogs.com/shoufengwei/p/7144542.html

    总结

    以上是生活随笔为你收集整理的geotrellis使用(二十九)迁移geotrellis至1.1.1版的全部内容,希望文章能够帮你解决所遇到的问题。

    如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。