40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 55 of 344  Not logged in ELOG logo
    Reply  Tue Oct 24 16:43:11 2017, Steve, Update, CDS, slow machine bootfest 
[ Gautam , Steve ]

c1susaux & c1iscaux were rebooted manually.
    Reply  Sat Oct 28 00:36:26 2017, gautam, Update, CDS, 40m files backup situation - ddrescue 415E2F09-3962-432C-B901-DBCB5CE1F6B6.jpegBFF8F8B5-1836-4188-BDF1-DDC0F5B45B41.jpeg
None of the 3 dd backups I made were bootable - at boot, selecting the drive put me into grub rescue mode, which seemed to suggest that the /boot partition
did not exist on the backed up disk, despite the fact that I was able to mount this partition on a booted computer. Perhaps for the same reason, but maybe
not.
    Reply  Mon Oct 30 11:15:02 2017, gautam, Update, CDS, slow machine bootfest + vacuum snafu 
Eurocrate key turning reboots today morning for c1psl
and c1aux.c1auxex
    Reply  Mon Nov 6 11:15:43 2017, gautam, Update, CDS, slow machine bootfest + IFO re-alignment 
Eurocrate key turning reboots today morning for and
c1susaux, c1auxex
Entry  Wed Nov 8 17:04:21 2017, gautam, Update, CDS, gds-2.17.15 [not] installed 
I wanted to use the foton.py utility for my NB tool, and I remember Chris telling me that it was shipping as standard with the newer versions of gds.
It wasn't available in the versions of gds available on our workstations - the default version is 2.15.1. So I downloaded gds-2.17.15 from http://software.ligo.org/lscsoft/source/,
and installed it to /ligo/apps/linux-x86_64/gds-2.17.15/gds-2.17.15.
    Reply  Thu Nov 9 15:33:08 2017, johannes, Update, CDS, revisiting Acromag  



Quote:



We probably want to get
a dedicated machine that will handle the EPICS channel serving for the Acromag system
Entry  Tue Nov 21 11:21:26 2017, gautam, Update, CDS, RFM network down RFMerrors.png
I noticed yesterday evening that I wasn't able to engage the single arm locking servos - turned out that they weren't getting triggered, which
in turn pointed me to the fact that the arm transmssion channels seemed dead. Poking around a little, I found that there was a red light on the CDS overview
screen for c1rfm.
Entry  Thu Dec 14 19:41:00 2017, gautam, Update, CDS, CDS recovery, NFS woes CDS_14Dec2017.pngCDS_errors.png
[Koji, Jamie(remote), gautam]

Summary: The CDS system seems to be back up and functioning. But there seems to be some pending
problems with the NFS that should be looked into.

We locked Y-arm, hand aligned transmission
    Reply  Fri Dec 15 00:26:40 2017, johannes, Update, CDS, Re: CDS recovery, NFS woes 



Quote:



Didn't touch Xarm because we don't know what exactly the status of
ETMX is.





The Xarm is currently in its original state, all cables are connected and c1auxex
    Reply  Fri Dec 15 01:53:37 2017, jamie, Update, CDS, CDS recovery, NFS woes 



Quote:




I would make a detailed post with how the problems were fixed, but unfortunately, most of what we did
was not scientific/systematic/repeatable. Instead, I note here some general points (Jamie/Koji can addto /correct me):
    Reply  Fri Dec 15 11:19:11 2017, gautam, Update, CDS, CDS recovery, NFS woes NFS.pngMCautolocker.png
Looking at the dmesg on c1iscex for example, at least part of the problem seems to be associated with FB1 (192.168.113.201, see Attachment #1). The "server"
can be unresponsive for O(100) seconds, which is consistent with the duration for which we see the MEDM status lights go blank, and the EPICS records get
frozen. Note that the error timestamped ~4000 was from last night, which means there have been at least 2 more instances of this kind of freeze-up overnight.
    Reply  Tue Jan 9 11:52:29 2018, gautam, Update, CDS, slow machine bootfest 
Eurocrate key turning reboots today morning for and
c1susaux, c1auxey
    Reply  Wed Jan 10 12:24:52 2018, gautam, Update, CDS, slow machine bootfest 
MC autolocker got stuck (judging by wall StripTool traces, it has been this way for ~7 hours) because c1psl was unresponsive so I power cycled it. Now MC is locked.
    Reply  Thu Jan 11 21:09:33 2018, gautam, Update, CDS, revisiting Acromag  
We'd like to setup the recording of the PSL diagnostic connector Acromag channels in a more robust way - the objective is to assess the long term
performance of the Acromag DAQ system, glitch rates etc. At the Wednesday meeting, Rana suggested using c1ioo to run the IOC processes - the advantage being that 
    Reply  Fri Jan 19 11:13:21 2018, gautam, Update, CDS, slow machine bootfest 
c1psl, c1susaux, and c1auxey today




Quote:


Entry  Thu Feb 8 00:01:08 2018, gautam, Update, CDS, Vertex FEs all crashed CDSrecovery_20180207.png
I was poking around at the LSC rack to try and set up a temporary arrangement whereby I take the signals from the DAC differentially and route them to
the D990694 differentially. The situation is complicated by the fact that, afaik, we don't have any break out boards
for the DIN96 connectors on the back of all our Eurocrate cards (or indeed for many of the other funky connecters we have like IDE/IDC 10,50
Entry  Tue Feb 20 21:14:59 2018, gautam, Update, CDS, RFM network errors 
I wanted to lock the single arm POX/POY config to do some tests on the BeatMouth. But I was unable to.


I tracked the problem down to the fact that the TRX and TRY triggers weren't getting piped correctly to the LSC model
In
fact, all RFM channels from the end machines were showing error rates of 16384/sec (i.e. every sample).
After watchdogging ETMX, I tried restarting
    Reply  Wed Feb 21 12:17:04 2018, gautam, Update, CDS, LO Power mon channels added to c1lsc 
To make this setup more permanent, I modified the c1lsc
model to pipe the LO power monitor signals from the Demod chassis to unused channels ADC_0_25 (X channel LO) and ADC_0_26 (Y channel LO) in the c1lsc model. I also added a couple of CDS filter
    Reply  Wed Apr 4 16:23:39 2018, gautam, Update, CDS, slow machine bootfest 
[johannes, gautam]

It's been a while - but today, all slow machines (with the exception of c1auxex) were un-telnetable. c1psl, c1iool0, c1susaux, c1iscaux1, c1iscaux2, c1aux and 
Entry  Thu Apr 5 10:38:38 2018, gautam, Update, CDS, CDS puzzle MC1_outputs.pngEllipTFCheck_MC1.pdfMC1_ELP.tgzEllipTFCheck_MC1.pdf
I'm probably doing something stupid - but I've not been able to figure this out. In the MC1 and MC3 coil driver filter banks, we have a digital
"28HzELP" filter module in FM9. Attachment #1 shows the MC1 filterbanks. In the shown configuration, I would expect the only
difference between the "IN1" and "OUT" testpoints to be the transfer function of said ELP filter, after all, it is just a bunch of
Entry  Thu Apr 5 19:31:17 2018, gautam, Update, CDS, EPICS processes for c1ioo dead 
I found all the EPICS channels for the model c1ioo
on the FE c1ioo to be blank just now.
The realtime model itself seemed to be running fine, judging by the IMC alignment (as the WFS loops seemed to still be running okay). I couldn't find
    Reply  Fri Apr 6 10:00:29 2018, gautam, Update, CDS, CDS puzzle 



Quote:



Clearly,
there is a discrepancy for f>20Hz. Why? 
Entry  Fri Apr 6 16:07:18 2018, gautam, Update, CDS, Frequent EPICS dropouts EPICS_dropout.png
Kira informed me that she was having trouble accessing past data for her PID tuning tests. Looking at the last day of data, it looks like there are frequent EPICS data dropouts, each up to a few hours. Observations (see Attachment
#1 for evidence):
    Reply  Wed Apr 18 10:44:45 2018, gautam, Update, CDS, slow machine bootfest MCautolocker_MEDM_revamp.png
All slow machines (except c1auxex)
were dead today, so I had to key them all. While I was at it, I also decided to update MC autolocker screen. Kira pointed out that I needed to change the
EPCIS input type (in the RTCDS model) to a "binary input", as opposed to an "analog input", which I did. Model recompilation and restart
    Reply  Thu May 3 12:19:13 2018, gautam, Update, CDS, slow machine bootfest 
Reboot for c1susaux and c1iscaux today. ITMX precautions were followed.
Reboots went smoothly.
Entry  Wed May 30 16:12:30 2018, Jonathan Hanks, Summary, CDS, Looking at c1oaf issues 
When c1oaf starts up there are 446 gain channels that should be set to 0.0 but which end up at 1.0.  An example channel is C1:OAF-ADAPT_CARM_ADPT_ACC1_GAIN. 
The safe.snap file states that it should be set to 0.  After model start up it is at 1.0.

We ran some tests, including modifying the safe.snap to make sure it was reading the snap file we were expecting.  For this I set the setpoint
    Reply  Thu Jun 7 12:20:53 2018, gautam, Update, CDS, slow machine bootfest ITMX_stuck.png
FSS slow wasn't running so PSL PZT voltage was swinging around a lot. Reason was that was c1psl unresponsive. I keyed the crate, now it's okay. Now ITMX is stuck - Johannes just told be about an un-elogged 
Entry  Fri Jun 8 14:40:55 2018, c1lsc, Update, CDS, i am dead 31.png
 
    Reply  Fri Jun 8 20:15:08 2018, gautam, Update, CDS, Reboot script 31.png
Unfortunately, this has happened (and seems like it will happen) enough times that I set up a script for rebooting the machine in a controlled way, hopefully
it will negate the need to repeatedly go into the VEA and hard-reboot the machines. Script lives at /opt/rtcds/caltech/c1/scripts/cds/rebootC1LSC.sh. SVN committed.
    Reply  Mon Jun 11 18:49:06 2018, gautam, Update, CDS, c1lsc dead again 36.png
Why is this happening so frequently now? Last few lines of error log:

[
 575.099793] c1oaf: DAQ EPICS: Int = 199  Flt = 706 Filters = 9878 Total = 10783 Fast = 113
Entry  Mon Jun 11 23:22:53 2018, gautam, Update, CDS, EX wiring confusion 
 [Koji, gautam]

Per this elog, we don't need any AIOut channels or Oplev channels. However, the
latest wiring diagram I can find for the EX Acromag situation suggests that these channels are hooked up (physically). If this is true, there are 12 ADC
    Reply  Wed Jun 13 23:23:44 2018, johannes, Update, CDS, EX wiring confusion c1auxex_channels.pdfXEND_slow_wiring.pdf
It's true.

I went through the wiring of the c1auxex crate today to disentangle the pin assignments. The full detail can be found in attachment #1, #2 has
less detail but is more eye candy. The red flagged channels are now marked for removal at the next opportunity. This will free up DAQ channels as follows:
    Reply  Thu Jun 14 10:41:00 2018, gautam, Update, CDS, EX wiring confusion 
Do we really have 2 free ADC channels at EX now? I was under the impression we had ZERO free, which is why we wanted to put a new ADC unit in. I think
in the wiring diagram, the Vacuum gauge monitor channel, Seis Can Temp Sensor monitor, and Seis Can Heater channels are missing. It would also be good
to have, in the wiring diagram, a mapping of which signals go to which I/O ports (Dsub, front panel BNC etc) on the 4U(?) box housing all the Acromags,
    Reply  Thu Jun 14 15:31:18 2018, johannes, Update, CDS, EX wiring confusion XEND_slow_wiring.pdfc1auxex_channels.pdf
Bad wording, sorry. Should have been channels in excess of ETMX controls. I'll add the others to the list as well.

Updated channel list and wiring diagram attached. Labels are 'F' for 'Front' and 'R' for - you guessed it - 'Rear',
the number identifies the slot panel the breakout is attached to.
Entry  Thu Jun 21 22:13:12 2018, gautam, Update, CDS, pianosa upgrade 
pianosa
has been upgraded to SL7. I've made a controls user account, added it to sudoers, did the network config, and mounted /cvs/cds using /etc/fstab. Other
capabilities are being slowly added, but it may be a while before this workstation has all the kinks ironed out. For now, I'm going to follow the instructions
    Reply  Fri Jun 22 00:59:43 2018, gautam, Update, CDS, pianosa functional, but NO DTT 
MEDM, EPICS and dataviewer seem to work, but diaggui still doesn't work (it doesn't work on Rossa either, same problem as reported here,
does a fix exist?). So looks like only donatella can run diaggui for now. I had to disable the systemd firewall
per the instructions page in order to get EPICS to work. Also, there is no MATLAB installed on this machine yet. sshd has been enabled.
    Reply  Fri Jun 22 15:13:47 2018, gautam, Update, CDS, DTT working Screenshot_from_2018-06-22_15-12-37.png
Seems like DTT also works now. The trick seems to be to run sudo /usr/bin/diaggui instead of just diaggui. So this is indicative of some conflict
    Reply  Fri Jun 22 15:22:39 2018, sudo, Update, CDS, DTT working 



Quote:



Seems like DTT also works now. The trick seems to be to run sudo /usr/bin/diaggui instead of just 
Entry  Wed Jun 27 21:18:00 2018, gautam, Update, CDS, Lab maintenance scripts from NODUS---->MEGATRON 
I moved the N2 check script and the disk usage checking script from the (sudo) crontab of nodus  to the controls user crontab on 
    Reply  Thu Jun 28 08:09:51 2018, Steve, Update, CDS, vacuum pneumatic N2 pressure 320d_N2.png
The fardest I can go back on channel C1: Vac_N2pres is  320 days

C1:Vac-CC1_Hornet Presuure gauge started logging Feb. 23, 2018

Did you update the " low N2 message"  email addresses?
    Reply  Thu Jun 28 10:28:27 2018, rana, Update, CDS, vacuum pneumatic N2 pressure 
we disabled logging the N2 Pressure to a text file, since it was filling up disk space. Now it just sends an email to our 40m mailing list, so we'll
all get a warning.

The crontab uses the 'bash' version of output redirection '2>&1', which redirects stdout and stderr, but probably we just
Entry  Sun Aug 5 13:28:43 2018, gautam, Update, CDS, c1lsc flaky 
Since the lab-wide computer shutdown last Wednesday, all the realtime models running on c1lsc
have been flaky. The error is always the same:

[58477.149254]
    Reply  Mon Aug 6 00:26:21 2018, gautam, Update, CDS, More CDS woes CDSoverview.png
I spent most of today fighting various CDS errors.


I rebooted c1lsc around 3pm, my goal was to try and do some vertex locking and figure out what the implications were of having only ~30%
power we used to have at the AS port.
Shortly afterwards (~4pm), c1lsc crashed.
Using the reboot script, I was able to bring everything
    Reply  Mon Aug 6 14:38:38 2018, gautam, Update, CDS, More CDS woes CDScrash.pngMC1failures.png
Stability was short-lived it seems. When I came in this morning, all models on c1lsc were dead already, and now c1sus is also dead (Attachment #1). Moreover,
MC1 shadow sensors failed for a brief period again this afternoon (Attachment #2). I'm going to wait for some CDS experts to take a look at this since
any fix I effect seems to be short-lived. For the MC1 shadow sensors, I wonder if the Trillium box (and associated Sorensen) failure somehow damaged the
    Reply  Mon Aug 6 19:49:09 2018, gautam, Update, CDS, More CDS woes IMG_7106.JPG
I've left the c1lsc frontend shutdown for now,
to see if c1sus and c1ioo can survive without any problems overnight. In parallel, we are going to try and debug the MC1 OSEM Sensor problem - the idea
will be to disable the bias voltage to the OSEM LEDs, and see if the readback channels still go below zero, this would be a clear indication that the problem
    Reply  Tue Aug 7 11:30:46 2018, gautam, Update, CDS, More CDS woes 
Overnight, all models on c1sus and c1ioo seem to have had no stability issues, supporting the hypothesis that timing issues stem from c1lsc. Moreover,
the MC1 shadow sensor readouts showed no negative values over a ~12hour period. I think we should just observe this for another day, in any case I don't
think there is any urgent IFO related activity scheduled.
    Reply  Tue Aug 7 22:28:23 2018, gautam, Update, CDS, More CDS woes 
I am starting the c1x04 model (IOP) on c1lsc to see how it behaves overnight.

Well, there was apparently an immediate reaction - all the models on c1sus and c1ioo reported an ADC timeout and crashed. I'm going to reboot
them and still have c1x04 IOP running, to see what happens.
    Reply  Wed Aug 8 23:03:42 2018, gautam, Update, CDS, c1lsc model started 
As part of this slow but systematic debugging, I am turning on the c1lsc model overnight to see if the model crashes return.
    Reply  Thu Aug 9 12:31:13 2018, gautam, Update, CDS, CDS status update 
The model seems to have run without issues overnight. Not completely related, but the MC1 shadow sensor signals also don't show any abnormal excursions
to negative values in the last 48 hours. I'm thinking about re-connecting the satellite box (but preserving the breakout setup at 1X6 for a while longer)
and re-locking the IMC. I'll also start c1ass on the c1lsc frontend. I would say that the other models on c1lsc
Entry  Thu Aug 9 22:50:13 2018, gautam, Update, CDS, AlignSoft script modified MichelsonFringing.png
After this work of increasing the series resistance on ETMX, there have been numerous occassions
where the insufficient misalignment of ETMX has caused problems in locking vertex cavities. Today, I modified the script (located at /opt/rtcds/caltech/c1/medm/MISC/ifoalign/AlignSoft.py)
ELOG V3.1.3-