阿列夫科技
  1. 官方记录的问题汇总，随时翻阅，有益健康，避免血压升高

官方问题记录汇总docs.qq.com/doc/DSGZhdnpMV3lTUUxq?u=827338239ca74ce0b2787c82f4a2142e

  1. 注册中心注册服务是IP+服务名，数据库里保存的是hostname+服务名，造成服务匹配不上，调用失败

解决方案：在hosts文件中，加上ip + hostname配置

192.168.1.211  localhost
  1. 在Scriptis创建表，执行失败，提示没有找到对应版本的Spark插件

解决方案：打包好的安装包，对应的Spark版本为2.4.3 ，要么重新安装对应版本的Spark，要么自己从源代码编译对应插件

  1. Spark2.4.3执行show databases失败

解决方案：该版本默认没有hive-site.xml 配置文件，要从hive安装目录拷贝过来

  1. 管理后台无法登录

解决方案：hadoop启动较慢，要留出时间，等退出safemode即可

  1. 创建新的工作流失败，提示createContextID创建失败

解决方案：检查linkis_ps_instance_label_relation表中，服务是否被记录，以及对应的服务名是否和eureka名字一致，如果没有，重新启动服务，如果不对，检查hosts是否设置

  1. 创建工作流失败，提示联系schedulis管理员创建对应帐号

解决方案：在schedulis 系统中创建用户，在该系统中找不到系统管理，检查后发现github提供的release包有问题，用源代码编译打包安装后，可以显示系统管理菜单，创建对应用户即可

  1. schedulis报错连接mysql失败

解决方案：schedulis自带的mysql驱动是8.0版本，需替换成对应版本的驱动

  1. 执行job失败，提示：ORDER BY clause is not in SELECT list

解决方案：高版本mysql严格执行sql检查，关闭检查即可

临时解决：

SET GLOBAL sql_mode=(SELECT REPLACE(@@sql_mode,'ONLY_FULL_GROUP_BY',''));

最终解决：

[mysqld]

# RESOLVE order-by-clause-is-not-in-select-list by removing ONLY_FULL_GROUP_BY from the sql-mode list
sql-mode="STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION"
  1. 执行job报错，提示：
Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

解决方案，修改hadoop目录下yarn-site.xml

 <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
 <property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>
  1. hive创建表提示Unknown column 'mode_info' in 'field list'

解决方案：linkis_ps_datasource_field添加对应字段

  1. hive通过datagrip连接失败，提示
Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:E

解决方案：修改hadoop的core-site.xml

   <property>
    <name>hadoop.proxyuser.hadoop.hosts</name> 
    <value>*</value> 
   </property> 
   <property> 
    <name>hadoop.proxyuser.hadoop.groups</name> 
    <value>*</value> 
   </property>

Scriptis界面，创建hive表格成功，但是数据库界面无法显示

**解决方案：修改对应的权限配置为false，**linkis-ps-publicservice.properties

linkis.metadata.hive.permission.with-login-user-enabled=false
  1. hive执行查询表操作，提示：Necessary environment HADOOP_CONF_DIR is not exists!(必须的环境变量 HADOOP_CONF_DIR 不存在！)

解决方案：/etc/profile 中配置对应的地址

export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.2/etc/hadoop
  1. hive执行查询表操作，提示
ERROR [Linkis-Default-Scheduler-Thread-8] org.apache.hadoop.hive.metastore.RetryingHMSHandler 218 invokeInternal - Retrying HMSHandler after 2000 ms (attempt 2 of 10) with error: javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found.

解决方案

cp /opt/hive/apache-hive-2.3.3-bin/lib/datanucleus-* ~/dss/linkis/lib/linkis-engineconn-plugins/hive/dist/v2.3.3/lib
cp /opt/hive/apache-hive-2.3.3-bin/lib/*jdo*  ~/dss/linkis/lib/linkis-engineconn-plugins/hive/dist/v2.3.3/lib
  1. dss中不显示schedulis菜单

需配置相关权限

img

img

Last Updated: